高效端侧大模型的技术趋势与产业应用观察 井晨哲 .pdf

1、高效大模型技术创新高效大模型技术创新与应用发展观察与应用发展观察演讲人：井晨哲 面壁智能/OpenBMB 开源社区规模法则 Scaling Law：通用人工智能曙光初现 大语言模型的模型性能随着计算量增加不断提升以 ChatGPT（GPT-3.5）、GPT-4 为代表的超大规模语言模型（深度神经网络）在众多任务中取得了优越的成绩，通用人工智能曙光初现模型性能随计算量不断提升模型性能随计算量不断提升 11注：困惑度常用于反映大语言模型的能力，其值越低模型性能越好；圆圈大小表示模型训练计算量GPT-4 GPT-4 在多项专业考试中的排名在多项专业考试中的排名已经超越大部分人类已经超越大部分人类 2

2、2困惑度大模型发展面临资源受限难题进入2025年，规模定律面临 训练数据训练数据 和 计算资源计算资源 方面的可持续发展问题？Llama-3Llama-3 405B405B 1.61.6万万 H100H1001000B1000B 4 4万万 H100H10010000B10000B 4040万万 H100H100100000B100000B 400400万万 H100H1002023年全部H100 GPU产能近十倍近十倍1用电功率超过美国一座10001000万人万人城市2人类计算集群并行数量上限上限4040倍倍31Nvidia is estimated to sell over half of

3、 a million of its high-end H100 compute GPUs worth tens of billions of dollars in 2023,reports Financial Times.2微软数据中心技术治理和战略部门首席电气工程师保罗楚诺克（Paul Churnock）预测：“英伟达的 H100 GPU 峰值功耗为 700 瓦，按照 61%的年利用率计算，相当于一个美国家庭的平均功耗（假设每个家庭 2.51 人）3目前已知最大规模并行计算集群为XAI的100000张H100 GPU以计算资源为例启示：算力普惠带来信息革命7070 亿亿 部手机部手机 222

4、0242024年年全球预计接近全球预计接近1313 亿亿 个人计算机（个人计算机（PCPC）11数据来源：1 https:/ https:/ https:/iot- https:/ 5台主机台主机足以满足整个世界市场。足以满足整个世界市场。IBM董事长沃森(Thomas J.Watson)180180 亿亿 接入互联网的接入互联网的IoTIoT设备设备 3 320002000 亿亿 正在运行的正在运行的CPUCPU 443.43.4 kgkg226226 g g4.14.1 kgkg13.613.6 kgkg5.25.2 kgkg1945首首台台通用电子计算通用电子计算机机 ENIACENIA

5、C19541959个人台式机个人台式机IBMIBM PCPCIBM 650IBM 650PDP-1PDP-1198119852727 t t2.82.8 t t730730 kgkg智能手机智能手机华为华为PuraPura 7070 UltraUltra2024笔记本电脑笔记本电脑东芝东芝 T1100T110020201977APPLEAPPLE II II轻薄轻薄笔记本电脑笔记本电脑Apple MacBook Air Apple MacBook Air M1M11992IBM IBM ThinkPad 700ThinkPad 7001.291.29 kgkg启示：芯片行业的摩尔定律5半导体行

6、业在摩尔定律指引下，持续改进制造工艺，提升芯片制程，核心是提升芯片电路密度电路密度而非芯片尺寸，实现计算设备小型化普惠化小型化普惠化电路密度电路密度 计算单元数量芯片面积知识密度知识密度 智能水平模型参与计算参数摩尔定 律摩尔定 律密度法 则密度法 则芯片电路密度每 18 18 个月个月 翻倍大模型知识密度每 100 100 天天 翻倍摩尔定律 vs 密度法则高效技术思想：从大力出奇迹到高效低成本能力密度：兼顾效果与效率的评测指标能力密度：兼顾效果与效率的评测指标使用使用 Predictable ScalingPredictable Scaling 技术技术估算模型相对密度估算模型相对密度11