提升大模型知识密度做高效的终端智能-李大海.pdf

1、提升模型知识密度 做效的终端智能演讲：李海壁智能CEO&联合创始效模型 就是壁智能更快速度，更低成本 提供最优智能实现案效是种惯性，壁是模型前沿持续引领者发布 CPM-Bee 多语百亿模型，登顶ZeroCLUE发布智能体通平台 AgentVerse 发布多智能体协作开发框架 ChatDev，屡次登顶 GitHub Trending 发布超强 AI 智能体应框架 XAgent，全超越海外最强框架 AutoGPT领先向端侧智能登顶世界级榜单领跑智能体超越 GPT-3.5超前局模型2019年，发布 世界个 知识增强模型 ERNIE 2020年，发布 国内个 中模型CPM-1 2021年，发布持续学习

2、模型 CPM-2 2022年，发布可控成模型 CPM-3发布第三代千亿参数多模态模型 CPM-Cricket，评分超越GPT-3.5，逻辑能肩GPT-42023Q32023Q42024Q12023Q2201920222023Q1公司成 开启商业化运作2，发布旗舰级端侧模型MiniCPM-2B 4，发布MiniCPM 2.0版本，更新4款参数模型GPT 3.5发布GPT 4发布GPTs公开|第代模型技术第三代模型技术第四代模型技术第代模型技术|效，来对模型科学化的不懈追求2018年以来证模型规模法则（Scaling Law）OpenAI引领验证，在数据+算持下，越的模型可以产越强的智能平，即规模

3、法则2018年以来证模型规模法则（Scaling Law）OpenAI引领验证，在数据+算持下，越的模型可以产越强的智能平，即规模法则7？难道AI就是“暴美学”追求越越好？模型的可持续发展之路会是什么？半导体发展趋势：摩尔定律半导体业在摩尔定律指引下，持续改进芯制造艺、提升芯制程，核是提升芯电路密度 实现了计算设备型化83.4 kg226 g4.1 kg13.6 kg5.2 kg194第台通通电计算机 195195个台式机 IBM 650PDP-119819827 t2.8 t730 kg智能机 华为Pura 70 Ultra202笔记本电脑 202197APPLE II轻薄笔记本电脑 App

4、le MacBook Air M1199IBM 1.29 kg效模型第性原理模型数据驱动技术向致确定 模型架构-算法-数据技术案仍速迭代 需持续改进模型制程，极致提升知识密度知识密度=模型能/模型参数参与计算的模型发展趋势随数据-算-算法协同发展，模型知识密度持续增强：20年GPT-3 175B能24年2B参数量即可达到10model MiniCPM 2.4B为壁智能团队2024年2发布语模型10过去四年模型知识密度 平均每8个翻倍知识密度持续增强：模型时代的“壁定律”摩尔定律半导体发展趋势集成电路上可容纳的晶体管数，约每隔两年增加倍芯电路密度每18个提1倍壁定律模型发展趋势随数据-算-算法协

5、同发展，模型知识密度持续增强，2020年GPT-3 175B能到2024年MiniCPM 2.4B模型即可达到，知识密度提约86倍！模型知识密度每8个提1倍MiniCPM 2.4B为壁团队2024年2发布语模型芯制程带来终端算持续增强，模型制程带来模型知识密度持续增强，两者交汇揭示端侧智能巨潜13智能科学化：推动模型质量发展科学化历程将引领质量发展，数据驱动的模型技术向致确定，架构-算法-数据的技术路线速迭代，需要围绕如何极致提升“知识密度”，探索模型科学化建设案科学化引领质量发展第架喷式机（1939年）涡轮机械三元流动理论（吴仲华 1950年代）基于三元流动理论的 斯发动机（1960年代）三

6、叉戟客机A-7EF4K歼8（国产）科学化发展引领质量发展模型科学化问题探索智能表示架构 Mamba、KAN探索模型成规律 模型洞探索质量数据合成与多模态融合机制 GPT4o14训练损失函数训练时间训练损失函数训练时间基于经验的 学习曲线基于模型洞的 学习曲线10?10 23构建模型洞，在模型效寻找最优数据和超参配置并外推模型，让模型成摆脱“炼丹”窘境智能科学化-成效：模型洞技术模型科学化结晶壁模型洞探寻模型效成规律，摆脱“炼丹”窘境更知识密度带来更效模型同等参数更性能，同等性能参数更在模型上效寻找最优数据和超参配置，并外推模型通过科学提升训练法与数据质量，2024年2发布MiniCPM 2.4