宋晨川 Agentic AI 企业应用.pdf

《宋晨川 Agentic AI 企业应用.pdf》由会员分享，可在线阅读，更多相关《宋晨川 Agentic AI 企业应用.pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、AI 技术平台组大数据平台研发中心Agentic AI 企业应用目录顺丰科技Agent生态发展Agentic 工具Agentic 应用示例010203顺丰科技AI平台Agent生态发展现状顺丰AI平台作为集团AI生态底座目前接入的大模型涵盖DeepSeek，Qwen等开源大模型，火山Doubao，阿里Qwen等商业大模型；模型类型涵盖文本生成，语音，视觉等类别。活跃智能体数达到了可统计1000+，累积对话消息量可统计千万级+。同时内部的测评平台也在主要Agent应用里得到了积极的应用。基建底座我们自研的EGPU池化技术，搭配混合云推理优化，资源调度优化最大化利用GPU资源顺丰科技AI平台Age

2、nt生态发展现状顺丰AI平台的整体架构会分为功能层以及算力&云原生应用层，核心技术特性将在算力以及云原生应用层中封装；包含多云架构，EGPU等技术；提供了顺丰灵活的使用GPU资源，提升大模型资源效率，降低了大模型资源成本。平台功能层负责“业业务务流程编编排”集群SDK 做中间衔接,提供统一的集群对接能力，实现天级对接新集群算力+云原生层负责“任务执务执行与资资源支撑”（用算力跑模型、处理数据）整体实现“AI 应应用开发发 算力调调度 AI应应用落地”的闭环顺丰科技AI平台Agent生态发展现状DIFY内部上线1DIFY初步在内部应用，最先在数据任务场景落地，同时应用于运维场景，开启了顺丰Age

3、nt体系建设的开端上线模型广场2024年年底实现顺丰内部的模型广场，先上线Qwen2.5系列模型，补齐向量化，语音生成，语音识别等模型，提供RAG基础能力底座2DEEPSEEK在内部私部署上线3DeepSeek 时时刻！春节回来第一周实现DeepSeek顺丰内部上线，快速在招聘场景落地上线测评平台，支持性能测评4上线工具化大模型性能测评，助力DeepSeek 推理性能成倍上升，不断降低大模型部署成本。也支撑着内部应用稳定运行QWEN3等大模型上线实现商业模型即日达，开源SOTA模型即日达5上线效果测评在NL2SQL场景，客服意图识别场景快速落地6MCP市场上线7快速帮助用户上线MCP工具，也快

4、速帮助用户使用MCP工具。实现开源MCP工具快速引入，实现内部API快速升级为MCP工具。实现1000+智能体活跃上线，每日消耗TOKEN 20亿+，并且还在快速上升中8顺丰科技AI平台Agent生态发展现状大模型服务尽可能丰富的大模型稳定可靠，性能保障安全可信成本可衡量大模型测评在离线测评性能以及效果测评解决模型以及Agent可信组成LLMOps中的一环Agent平台&工具生态规范化，对齐企业技术流程规范模块化，方便开发快速组合，低代码开发高效执行开放生态，通过开放的生态与企业内部已有内容工具打通LLMOps观测平台平台内部全链路跟踪，包含大模型，Agent平台支持OTEL协议，跟企业内部可

5、观测实践对齐整个顺丰科技Agent生态主要模块可以分为大模型【模型广场】，Agent平台【Dify】，LLMOps观测平台【Langfuse】，基于企业内部的实践，我们总结了一下Agent生态所需的工具的需求特性目录顺丰科技Agent生态发展Agentic 工具Agentic 应用示例010203Agentic 工具-模型广场模型广场覆盖私部署/商业的文本/视觉/语音多模态大模型服务，日均调用十亿级Token，支撑大模型的应用发展。开发者直接使用大模型服务开发人员需要对接不同供应商的大语言模型API，以满足业务开发需求。同时需求快速对接，快速试错，权限需要收敛，兼顾个人提效需求AI应用调用大模

6、型服务企业内部的AI应用通过调用大模型服务来处理复杂任务，同时需要做好权限，性能，安全，解决环境差异性带来的多种问题 对接模型出现协议不统一情况，Agent开发者倾向于统一使用OpenAI协议/SDK 大模型有多家供应商，Agent开发者希望由平台提供统一入口，同时记录调用量/调用成本。Agent开发期望有丰富模型种类，满足内部需求，包含文本生成，多模态，语音生成，语音识别，Embedding，Rerank等 多环境需求 私部署模型成本高，如何做多环境资源复用 内网图片文件无法被商业模型获取，业务又不想改造Base64 鉴权 鉴权与公司内部API市场鉴权统一，同时考虑产品形态需求 数据安全合规