曾国洋-端侧模型的知识密度：迈向 AGI 的关键技术实践.pdf

1、曾国洋面壁智能：端侧大模型主要内容大模型技术发展历史趋势大模型前沿技术与实践大模型未来发展格局的预测：了解大模型技术趋势，提前布局应用：掌握行业应用发展规律，辅助长期研判：交换认知收获灵感，推动 AGI 早日到来开源大模型利好大模型应用落地没有智能的产品会落后于时代，跟不上趋势将会被洗牌。DS 出圈将智能的需求植入到广大消费者的心中，大模型正在改变工作模式+LLM+LLM+LLM大模型技术发展历程大模型的技术迭代在优化什么？大模型技术发展历程价格效果=模型知识密度不断提升密度越高的模型技术越先进大模型技术迭代的刻度尺知识密度是什么知识密度=模型效果推理价格如何评估模型知识密度？知识密度的定量计

2、算知识密度=等效参考模型规模实际模型运算规模Densing Law of LLMs：大模型的知识密度法则大模型知识密度发展规律密度规律在各行各业普遍存在知识密度的尽头在哪知识密度的上限如何提升知识密度上限如何提升知识密度上限如何提升知识密度上限如何提升知识密度上限合成数据之间亦有差别数据本身的信息量不同012300123110322230133210012303200131312130232210通向更高知识密度的路径更容易学习的数据更容易学习的数据012303200131312130232210012303200131312130232210012303200131312130232210012303200131312130232210012303200131312130232210012303200131312130232210012303200131312130232210更容易学习的数据模型规模与思维链的猜想如何获取思维链利用思维链提升知识密度通向更高知识密度的路径总体判断：不要高估短期技术发展，不要低估长期应用价值技术趋势：知识密度之外还需要攻克的挑战应用落地：面向未来模型能力布局大模型正在重新定义软件Large Language Model Is Redefining The Software