摘要：本文主要介绍百度搜索在全网万亿级规模内容做内容理解的工程实践，涉及机器学习工程化、资源调度、存储优化等多个Topic。当前系统支持搜索出图、视频搜索、图片搜索等十多个业务方向，支持数百个算子的研发和上线，天级数百亿的计算调用，支持全网万亿规模内容特征的例行更新。
本研究旨在优化离线特征计算的性能，故创建了大型计算特征平台。此平台全面优化各环节，高效地达成理想的执行成果。文中详细阐述了构建计算平台时所面临的挑战及对应策略，其中包括模型服务构架、模型服务平台、推理优化及计算调度系统等关键领域。
模型服务框架：Python性能优化
我们所采用的模型服务框架整合了批量运算特性以及封装服务功能。鉴于Python在高效性和低成本方面的强大优势，被算法团队选作首选。然而，我们必须关注到它的性能局限性，尤其是全局解释器锁对多核CPU利用率的限制，这将直接影响到服务处理效率。因此，对Python进行性能优化显得尤为重要。
针对Python运行效率问题，我们正在采用多种策略加以改善，其中包括推理调度、推理过程优化、模型量化与压缩等措施。然而，优化推理技术的应用无疑是关键所在。尽管现有TensorRT工具在评估中表现出色，但仍须注意其在实践中所面临的动态图静态化失效以及TensorRTOp覆盖不全的问题。因此，在设计模型服务系统时，对推理流程进行深度优化显得尤为重要，这将有助于提高服务处理效率。
模型服务平台与算子管理
在此，模型服务系统发挥着核心作用，有效推动了模型开发、维护和成果转换工作。基于"算子"的管理方式，每一个"算子"负责执行各项具体功能，例如影像分类等，这就需要多模型共同协作完成任务。为了提高服务管理效能以及调度精度，我们急需应对几个关键性挑战：
应用KubernetesCRD技术，我们为ServiceBundles（即算子部署容器）提供定制化配置。同时引入控制器，实现在PaaS等外部平台的高效部署作业，简化算子管理及部署流程。
集中管理的统一网关全权负责网络流量的分配与指引，以流控和精确路由技术保障系统稳健运行。
批量计算平台优化策略
夜间资源充裕时期，大型计算机系统常常遭遇表扫描吞吐瓶颈与离线任务效能提升难题。为破此局，建议采纳如下策略：
-定制化OLAP/OLTP存储体系建构：面对OLAP复杂环境，量身设计高度可靠的OLAP存储器，有效消解混合应用场景下的性能与负载挑战。此架构还可依据业务需求灵活调整容量扩充提交给百度收录，大幅提高存储和计算效能。
任务开发模式与自动化准入流程
本着简化繁复计算任务开发流程的初衷提交给百度收录，我司推出了预设模式、KQL和离线框架三大编程模型。预设模式以其低投入和便捷性深受好评，离线框架凭借其高自由度与灵活性脱颖而出。然而，无论选择哪种模式，最终生成的离线任务皆基于离线框架基本架构，仅在特定情况下进行深度封装。
所有任务完成后，根据特性分别部署到MapReduce或FaaS系统中。其中，KQL任务必须先进行句法解析，生成实际可用的调度任务；对于业务应用框架生成的任务，因其存在潜在故障风险，需要通过全面的自动化准入和DevOps流程来保证其稳定且高效率地运行。
