传媒行业AIGC系列之十一：腾讯大模型高效训练与快速应用的典范-230403（17页）.pdf

1、行业及产业传媒申万宏源研究SWS RESEARCH2023年04月03日腾讯大模型：高效训练与快速应用行业研究行业点评的典范看好AIGC系列之十一相关研究腾讯“混元”大模型：低成本可落地的万亿大模型。其完整覆盖了CV、NLP和多模态能“微软GDC中国行之后，如何看待被低力，万亿参数模型HunYuan-NLP-1T在多个权威榜单登顶。腾讯团队在MoE模型结构估的AI+游戏2023年4月2日证券研究报告热启动和课程学习、注意力权重复用、路由算法等方面研究优化，大幅降低了万亿大模型“AI+第一轮普涨后，如何继续布局-互联的训练成本。该模型用干亿模型热启动，最快仅用256卡在一天内即可完成万亿参数大模

2、网传媒周报20230327-20230401型的训练，整体训练成本仅为冷启动训练万亿模型的1/82023年4月1日腾讯大模型的四重技术特色，实现大模型低成本快速训练：1）采用MoE结构，节约训练成本。通过提升FFN数量，模型的性能持续提升；通过引入路由，在训练过程中只激活部证券分析师分FFN的参数参与计算，从而节约训练成本。2）热启动和课程学习，在有限的资源内训林起贤A0230519060002练收敛。首先在小规模的模型上训练收敛，然后将小模型的知识迁移到大模型，逐步增加模型的规模。3）注意力权重复用，降低训练复杂度。在模型计算过程中以一定概率复用夏嘉励A023052209000注意力权重使得

3、AttentionWeights总时间复杂度降低50%大模型预训练提速约20%。袁伟嘉A02305190800134）词向量路由机制，保证路由稳定性。引入词向量路由机制，将路由和SA层进行解耦，保证相同的词分配到相同的FFN提取特征，提高了路由稳定性的同时加速了模型收敛。施鑫展A底层太极平台，实现更高效的模型训练、行业落地。腾讯开发了：1）太极AngeIPTM预洪依真A0230519060003训练加速组件，192张卡就可以训练万亿模型。2）太极-HCFToolkit压缩和分布式推理李国盛A0230521080003组件，使得HunYuan-NLP1T大模型推理只需96张A100卡。3）星脉高

4、性能网络，实现了AI大模型通信性能的10倍提升，模型训练成本降低30%60%。宁柯瑜A云智融合，“混元”拓展腾讯AI应用生态。AI在腾讯的定位是加速器，一方面进一步改善刘洋A0230513050006现有业务、提高内容生产效率、加速商业化，另一方面拓展新业务、新方向。腾讯将在A开发、大数据、物联网平台之上进一步构建消费互联网和产业互联网等发展生态。联系人施鑫展腾讯消费互联网生态中，AI主要与自身产品融合，包括腾讯广告、QQ、微信搜索、游戏（8621）23297818x等泛娱乐和社交业务：1）社交方面：通过AI增强用户的使用体验、或将成为潜在新入口。2）广告方面：腾讯已打造以混元AI大模型为技术

5、底座的广告多媒体AI技术矩阵。3）内容创作方面：混元大模型已应用于内容智能创作助手。4）数字人方面：A技术驱动数字人由形似走向神似，数字人产业发展或将进入新阶段。5）游戏方面，通过“绝艺”+“绝悟”发展通用竞技AI，AIGC技术赋能游戏的开发创作。产业互联网生态中，AI将与各大企业的业务结合，为企业赋能。1）金融行业：云智融合加速行业智能化转型。2）工业制造方面：人工智能贯穿工业制造全生命周期，工业AI生态发展前景广阔。3）融合媒体方面：公司推出腾讯云智媒体AI中台建议关注腾讯系持股或与腾讯有重要合作标的：世纪华通、完美世界、三七互娱、巨互联网传媒领域：核心标的腾讯控股。游戏相关人网络、掌趣科

6、技、电魂网络。版权相关华策影视、新媒股份、博纳影业、中文在线平治信息；港股及其他相关阅文集团、呼喱畔喱、快手、创梦天地、祖龙娱乐、腾讯音乐。计算机领域：金山办公（与腾讯在文档领域合作）泛微网络（腾讯持股）四维图新（腾讯持股）博思软件（腾讯持股）长亮科技（腾讯持股）超图软件（与腾讯地图战略合作）风险提示：大模型技术中美仍存在差异，部分技术尚处于实验室阶段，存在落地风险。请务必仔细阅读正文之后的各项信息披露与声明#page#SMSC行业点评1.腾讯“混元”：低成本可落地的万亿大模型腾讯“混元”（HunYuan）大模型于2022年4月首次对外披露研发进展。其完整覆盖了CV（计算机视觉）、NLP（自然