肖然-大模型时代的AI能力工程化.pdf

《肖然-大模型时代的AI能力工程化.pdf》由会员分享，可在线阅读，更多相关《肖然-大模型时代的AI能力工程化.pdf（18页珍藏版）》请在三个皮匠报告上搜索。

1、 2024 Thoughtworks 大模型时代的AI能力工程化肖然肖然 ArchSummit 2024 2024 Thoughtworks|Confidential 2 2024 Thoughtworks 3李开复在2023年3月19日发布Project AI 2.0时谈到AI 1.0和AI 2.0的关键变化Source：量子位AI应用的成本越低，AI应用的范围越大AI 进入2.0时代当具备跨领域知识的基础模型出现之后，微调适应不同领域任务的AI模型的成本极低海量数据标注海量数据标注VSVS自监督学习自监督学习单一领域任务单一领域任务VSVS基础模型基础模型（跨领域知识的跨领域知识的）高成本

2、模型训练高成本模型训练VSVS低成本模型微调低成本模型微调基础模型基础模型：On the Opportunities and Risks of Foundation Models 2024 Thoughtworks You4AI助理用自然语言提出问题LLMLLMLarge Language ModelTasksTask 1Task 2Task 3Task nTask ChainTool aModel aTool bModel nTool/Model MeshMemoryOutput用自然语言给出答案内部或外部的 工具/模型Line of VisibilityLine of Visibility

3、GoalsSource:Generative AI PoV-Generative AI in Fashion我们正在进入一个新应用时代！2024 Thoughtworks AI 驱动创新产品市场营销、销售、客户服务、公共信息.AI 辅助 SDLC软件工程、数据工程.5AI 增强个人能力培训,问答系统,人工智能助手,AI4Science,.AI 平台工程人工智能服务平台、MLOps、Dataloop人工智能服务商业软件开发基础模型研发用户客户SDLC创新产品个人能力平台工程经验工程效果有效性增强个人能力增强个人能力增强企业能力增强 SDLC打造人工智能服务出现了许多新的应用场景数据工程师 算法工

4、程师 2024 Thoughtworks6融合AI技术的应用开发变得更复杂Existed Backend ServicesExisted Application(CMS,CRM,etc.)AI AgentsAI ToolsBackend DatabasesBackend Data PlatformVectorstoreEmbedding ModelsLLMs&Prompt ManagementSecurity(Cybersecurity,AI security,and Privacy)Public Cloud Service(Azure GPT,OpenAI,etc.)MLOps&LLMOps

5、(deployment,serving,fine-tuning)Compliance&Dataloop(Audit&Logs)为了将 GenAI 应用于生产环境，我们需要考虑一系列问题，如安全性与合规性、模型选择与部署、资源应用与购买等。如果我们需要大规模应用 GenAI 怎么办?2024 Thoughtworks 上一个AI时代企业应用的惊人事实87%的AI模型开发项目未投入生产-VentureBeathttps:/ 2024 Thoughtworks 小数据量小数据量单机可完成模型开发AI 模型的治理仍然很随机8大数据量大数据量模型开发需要多机多卡简单数据简单数据(结构化数据为主，包含简单

6、文本数据)复杂数据复杂数据(非结构化数据为主，另含视频、雷达等多模态数据)常见场景常见场景：推荐引擎、精准营销、异常检测等业务场景；非结构化数据以文本分类，情感分析为主开发模式开发模式：本地，单机即可完成数据处理、训练和发布等所有工作，GPU资源需求小难点挑战难点挑战：难以获取数据，数据权限管理和内部流程平台需求平台需求：开放数据、模型管理、部署和运行常见产品常见产品：Dataiku,Databricks常见场景常见场景：以OCR、语音识别、语音合成、文本生成、视频生成等多模态生成式AI为主的应用场景开发模式开发模式：以云端服务器微调的方式训练模型，难点难点挑战挑战：数据标注与数据合成，GPU