刘云-大模型在B端落地思考实践.pdf

1、刘云360产品体验总监大模型在B端落地思考实践2024 全球产品经理大会AI在B端应用的重要性具备的挑战思考框架成功案例展望与机遇AI在B端应用的重要性AI是企业发展新质生产力的基石AI帮助企业战略价值、创收创利、降本增效B端有效帮助企业重塑业务优化运营数 据 来 源：亿 欧 智 库 AI发展从“技术导向”迈向“价值导向”特斯拉 Optimus 进场打螺丝，重塑制造业工作流程大模型在可控、模态、基础能力、体量上逐渐进化,解决更多不可能问题大模型加持特斯拉FSD操控更像老司机，重塑出行价值链已部署大模型企业，55%已经看到清晰价值大模型加持 Optimus 进场打螺丝，重塑制造业生产三要素数 据

2、 来 源：信 通 院 中 关 村 产 业 研 究 院 具备的挑战 海量数据垂直领域数据模型算力需求物理算力大模型时代三大挑战 大数据、大算力、大工程训练优化推理优化RAGAgent高质量数据难点：训练一次所需数据越来越多Llama3使用15B数据进行训练难点：获取高质量数据越来越难趋势：人工标注转向合成需求：类型越多越好难点1：垂类数据数量有限难度2：质量难以评估难点3：且散落在各个孤岛之中结果：通用模型很难进入行业等垂类领域 模型大小和算力需求：呈非线性增长关系 实际算力新增跟不上模型新增算力需求挑战3：大工程支持DP，PP，TP，SP等多种并行方式降低预训练算力和显存需求，提升训练效率，降

3、低成本长短记忆工具使用 规划逻辑专家Flow支持32k上下文支持200+工具同时使用function并行调用信息抽取版面分析实体识别文本分类知识推理已开源350k长文本能力量化、模型剪裁、压缩KV大幅降低推理资源消耗挑战1：大数据挑战2：大算力市场认知&行业Know How&数字化水平 认认知知严严重重不不足足：部分企业并不认可大模型能力 认认知知预预期期过过高高：客户对大模型能力有较高预期，预期为直接AGI化 大模型企业对B端行业Know How理解不够深入 B端企业数字化水平影响大模型场景落地效果能力认知行业Know How数字化水平360数转智改并行方法论适合不同企业情况的分阶段数转智改

4、体系360提出了数转智改的分阶段体系通用模型：智脑7K模型开源国家人工智能标准化总体组大模型专题组联合组长单位中国人工智能产业发展联盟安全治理委员会副组长单位首批通过国家大模型标准符合性测试360已参评2 20 0项项大模型标准：1 3 项国 家 标 准 3 项行 业 标 准 4项团 体 标 准 参评多项国家标准OpenCompass评测：同等参数模型排名第三在C-Eval、MMLU、HellaSwag、LAMBADA等多个单项能力测试中排名第一支持4k、32k、360k上下文模型权重、训练代码、推理部署代码等工具链一并开源垂类模型，打造差异化优势低算力专业助手模型长文档信息抽取大模型多模态内

5、容理解大模型2B本地部署高性能7-70B精准抽取兼容不同层次需求10B垂类适配落地主力360数转智改并行方法论打造ToC、ToB优秀大模型技术能力思考框架20年安全大数据积累+专家知识训练出高水平的大模型智脑大模型能力规划中枢语言中枢记忆中枢道德中枢判别中枢MoE+Agent 专家经验 安全知识 本脑平台 安全工具集训练 高质量精标数据 海量非结构化数据调度/反馈调度/反馈4.智能化响应处置3.威胁研判分析1.自动化威胁狩猎2.安全告警运营训练大模型时代“以模制模”保障模型安全保保障障训训推推成成本本友友好好大大模模型型与与业业务务深深度度结结合1.通用大模型训练2.专业大模型微调3.场景价值

6、落地找到明显场景挖掘领域数据训练专业大模型多个小模型配合强化通用能力训练多模态能力完成大部分通用任务大模型与业务深度结合 场景价值落地赋能千行百业成为“新质生产力”核心支撑成为数转智改有力武器一切都需要建构在稳定的工程能力之上数字化工程保障数字化协作企业服务研发效能AI服务视频云安全运营云计算IDC运维大数据20亿级用户200应用产品百万台IoT设备2EB安全大数据稳定的数字化工程保障零信任安全办公云计算大模型开发平台企业云盘智效办公企业AI浏览器 智智算算移动应用安全防护安全浏览器业务协作CDN运维观测低代码开发平台 I IT T 业业务务 安安全全360数智政企客户一站式AI落地方案 底座