第四范式 李瀚-生产级AI应用开发挑战与工程实践.pdf

1、生产级生产级AIAI应用开发挑战与工程实践应用开发挑战与工程实践李瀚李瀚 平台架构师平台架构师个人简介个人简介李瀚第四范式平台架构师，多年推荐搜索等智能系统及机器学习平台设计经验，先后负责第四范式先知，4paradigm Sage HyperCycle等核心产品的设计和开发。现负责公司零售方向数字化项目落地及主持开源产品FlowEngine（全场景任务编排框架）的研发及运营工作。目录目录01AIAI 场景应用开发的痛点场景应用开发的痛点02FlowEngineFlowEngine 功能和架构介绍功能和架构介绍03应用案例分享应用案例分享1.个性化优惠券推荐系统2.大模型问答检索系统04展望展望

2、内容概述内容概述 AI价值感越来越强，新的AI场景不断萌生，越来越多开发者想要开发自己的AI场景应用(如推荐，问答)，但从AI模型到AI应用中间有巨大的鸿沟，由于涉及到AI，大数据，云原生等交叉领域，存在着开发运维门槛高，工具流程繁杂，链路漫长，角色分散，中小团队和个人难以承受如此高的复杂度，这对于AI落地存在着相当大的阻碍。作者团队基于长期的AI产品开发和项目落地经验，借鉴平台工程思路，以场景流程任务编排集成作为切入点，集成管理底层中间件，固化AI应用开发流程，给场景开发者统一的声明式接口，开发者只需要编写Serverless任务即可完成生产级AI应用服务构建，极大提升了开发的速度及开发质量

3、，并降低了开发成本。该框架现已作为MLOPS产品在公司客户项目中得到了广泛的应用，现以对外开源，也收获到了开发者和用户的支持。本次分享介绍AI场景应用痛点及一般开发流程，并介绍自依托研开源的框架FlowEngine开发AI场景应用的最佳范式。AIAI 模型模型 !=!=AIAI 系统系统 ！=AIAI 产品产品AI Model（LLM）AI Systemhttps:/ PC is more than its microprocessorA PC is more than its microprocessor!An Apple is better than a PCAn Apple is bet

4、ter than a PC!AI Productvertically integratedStable Diffusion 2.1man ride mono cycle balancing slacklineshutterstockScenario integration不仅仅是不仅仅是“Technical Debt Technical Debt”ServiceintegrateData IntegrationStrategy integrationThe algorithmic code is only a small component of any machine learning so

5、lution.Source:Author inspired by Hidden Technical Debt in Machine Learning Systems.阿列克谢格里戈里耶夫开发痛点一：知识密度大，门槛高开发痛点一：知识密度大，门槛高机器学习云原生大数据算法数据工程The 2023 MAD(Machine Learning,Artificial Intelligence&Data)Landscapehttps:/mlops.neptune.ai/开发痛点二：系统复杂度高，开发运维困难开发痛点二：系统复杂度高，开发运维困难离线近线在线数据错误数据丢失数据时序数据定义模型/策略服务与组

6、件接入，存储，计算，编排监控，质检，可信版本化，服务自动化softwaresoftware datadata x modelmodel数据和服务链路数据质量维护迁移升级开发痛点三：角色多，链路长，缺乏最佳实践开发痛点三：角色多，链路长，缺乏最佳实践快速发展期，流程变种多，调研选型成本高领域标记数据微调向量数据库LLM推理Prompt构造LLM APIChatGPT等本地模型场景服务context知识库Embedding预训练模型调研数据建模接入线上数据ETL（批/流）模型训练推理调优特征构造模型方案模型行为反馈回流场景服务MLOpsMLOps 流程流程LLMOPSLLMOPS 流程流程问题问题