2024龙蜥大会Workshop：EPAI：企业大模型应用开发及实践-王超.pdf

1、EPAI：企业大模型应用开发及实践王超浪潮信息 高级产品经理基础大模型，生成式AI在行业和应用落地发展的核心支撑高效算力利用大模型的计算效率提升，依靠更高效的模型训算法设计，决定着大模型能力“扩展”创新模型结构大模型的突破性进展，源于更好的Transformer结构，决定着大模型能力“上限”高质量数据准备大模型的生成准确性，依赖质量更高的训练数据集，决定着模型能力“下限”从Transformer到GPT-4，基础大模型的能力持续提升，行业应用落地依托于强大的基础模型能力基础大模型GPTLlama2Llama3MistralGLMBaichuan.Yuan2.0-2BYuan2.0-51BYua

2、n2.0-102B|大语言基础模型|专业模型与行业模型的算法基石|多规格、开源可商用模型|ModelsGPT-4ChatGPTLlama 2源2.0HumanEval86.6%66.8%29.9%77.4%GSM-8K92.0%68.6%56.8%86.2%AGIEval-GaokaoMathCloze16.1%7.3%-15.2%AGIEval-GaokaoMathQA47.0%36.5%-45.5%TruthfulQA59%34.0%*-58%源2.0：1026亿参数中英文语言大模型源1.0：2457亿参数中文语言大模型创新LFA结构 精度显著领先开源结构LLaMA创新训练算法 分布式训练

3、性能提升33%CLUE零样本、小样本学习10项精度记录智源指数CUGE评测第一模型参数量交叉熵（越低越好）芯片数量计算效率源1.02457亿1.64212845%GPT-31750亿1.731000021%大模型率先布局 持续深化技术创新全面开源 产业赋能首款 千亿参数全面开源大模型1TB 高质量数据集开放软件社区服务共训计划社区合作魔搭社区始智社区模型开源最高102B参数10+个模型软件开源应用框架模型代码多模多元 适配难 成本高模型1模型3模型N模型2模型数量众多 算力类别多样CPU、GPU、ASIC、XPU幻觉影响应用精度 效果差基础模型难微调，知识驱动难实现种类繁多 内容复杂 知识提取

4、门槛高专业度低信息虚假逻辑不清基础模型缺专业知识场景应用幻觉频发报表文档代码应用开发流程复杂 门槛高应用开发多个环节数据微调RAG部署上线运维研发难度大大模型落地面临诸多挑战元脑企智 EPAI（Enterprise Platform of AI），为企业AI大模型落地应用提供高效、易用、安全的端到端开发平台，提供数据准备、模型训练、知识检索、应用框架等系列工具，支持调度多元算力和多模算法，帮助企业高效开发部署生成式AI应用、打造智能生产力。元脑企智 EPAI长上下文数据工具微调检索API对话式UI智能体全链路安全防护工具多元算力infra面向多模和多元算力的计算框架多元算力管理与调度多元算力高

5、吞吐分布式存储低延迟无损网络大模型库 LLMs源2.0LLaMAChatGLMBaichuanQwen.偏好工具基础知识行业知识企业知识知识库生成编码问答风格语言风格代码执行计算工具微调数据行业数据企业数据数据元脑企智 EPAI行业/企业知识库数据的高质量生成与安全管理预置编码模型编码模型微调知识库自动构建文字抽取多文档处理微调数据生成微调数据数据安全数据加密权限管理数据审核私域知识库高质量数据数据管控知识库自动构建文字抽取精度98%数据使用安全、合规、保证私域性微调数据基础大模型模型评价支持 10+基础大模型千亿参数模型微调 强化学习工具支持 百万tokens上下文窗口微调大模型库 LLMs

6、源2.0LLaMAChatGLMBaichuanQwen.开源数据数据工具原生数据格式转换数据清洗数据生成数据抽取微调工具、方法UI界面调优强化学习工具微调方法SDK测试与评价模型服务测试模型能力测试领域大模型领域模型高效微调提供高效、易用、安全的端到端开发平台，提供知识库构建、单文档预览与阅读模式、互联网检索增强等功能插件管理多模切换模型配置知识库检索内容审核会话管理大模型高效的开发平台全面的知识库构建能力专业知识驱动，提升大模型应用效果。EPAI支持检索增强生成（RAG）技术，通过本地化检索基础知识+行业知识+