百度-港股公司研究报告-大模型研究笔记（一）-230514（47页）.pdf

《百度-港股公司研究报告-大模型研究笔记（一）-230514（47页）.pdf》由会员分享，可在线阅读，更多相关《百度-港股公司研究报告-大模型研究笔记（一）-230514（47页）.pdf（47页珍藏版）》请在三个皮匠报告上搜索。

1、 本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请参阅最后一页的重要声明。证券研究报告证券研究报告美股公司深度美股公司深度 软件与服务软件与服务 百度：大模型研究笔记（一）百度：大模型研究笔记（一）核心观点核心观点 大模型规模竞赛强度有望下降，精益优化可能成为主要方向，如数据清洗、初始化策略、大批量训练等。另一方面，模型压缩与内存管理、计算能力、下游部署等可能是大模型产品化落地的关键技术，有望打开未来 to C 市场的想象空间。我们认为中长期 AI领域具备广阔

2、前景，看好百度在 AIGC 领域的布局和先发优势。大模型研究大模型研究笔记笔记（一）（一）现有的市场研究主要聚焦下游应用，即大语言模型能够实现什么功能，满足什么市场需求，而将大语言模型本身视为黑匣子，缺乏对语言模型本身机制的研究。本篇报告主要是对学界在 LLM模型架构、预训练各环节、下游调优等领域的探索进行系统梳理，旨在增进市场对 LLM 技术原理的理解。需要指出的是，由于相关文献较多，本报告可能存在遗漏，并引致风险。模型结构方面，现有的主流模型均基于模型结构方面，现有的主流模型均基于 Transformer 架构。架构。行业发展的关键节点在于 1）下游任务逐渐被统一；2）研究总结出Scali

3、ng Law，从而催生规模竞赛；3）Google 团队提出 CoT 研究，大模型+CoT prompt 效果显著提升。因此，此前行业主流范式是训练更大的模型，通过引入代码数据等方式激活模型的潜在能力。但一些最新研究表明规模效应带来的涌现可能是度量选择的结果，规模带来的性能提升可能没有此前的研究所表明的那么显著，因而引发一些对进一步推动规模扩展的谨慎观点。预训练仍存在非常充分的优化空间。预训练仍存在非常充分的优化空间。1）训练数据集上，）训练数据集上，当前参数规模相比数据集过度扩张明显，训练数据集一定程度上制约了性能的提升。另一方面，数据集扩大可能带来重复数据的问题，而研究表明训练中的重复数据会

4、显著影响模型的性能提升，因此对数据的清洗可能是业界实践中比较重要的环节；2）知识图谱方）知识图谱方面，面，一些团队如百度 ERNIE 将知识图谱引入 LLM 训练，实现性能提升，但研究表明，由于知识图谱数据库搭建的高成本，且也不适用于所有类别/场景的数据，规模化难度较高。此外，知识图谱的性能提升是以推理速度的下降为代价的；3）参数规模方面，）参数规模方面，OpenAI 提出的 Scaling Law 引发此前行业的规模竞赛，但斯坦福大学团队近期研究质疑了这一规律，并通过实验表明规模提升带来的效果突变是测试函数表达形式的结果，剔除影响后模型性能随规模变化更接近线性曲线。考虑到其他环节的优化空间，

5、规模进一步大幅扩张可能不是厂商们的首要考虑目标；维持维持 买入买入 孙晓磊 SAC 编号:s1440519080005 SFC 编号:BOS358 崔世峰 SAC 编号:S1440521100004 许悦 SAC 编号:s1440523030001 发布日期：2023 年 05 月 14 日 当前股价：118.90 美元 目标价格 6 个月：140 美元 主要数据主要数据 股票价格绝对股票价格绝对/相对市场表现（相对市场表现（%）1 个月 3 个月 12 个月-17.99/-19.80-19.70/-24.08 11.52/5.64 12 月最高/最低价（美元）160.22/76.57 总股本

6、（万股）34,959.72 流通股本（万股）27,751.54 总市值（亿美元）415.67 流通市值（亿美元）415.67 近 3 月日均成交量（万）339.34 主要股东 Robin Yanhong Li 16.30%股价表现股价表现 相关研究报告相关研究报告 -28%-8%12%32%52%72%2022/5/112022/6/112022/7/112022/8/112022/9/112022/10/112022/11/112022/12/112023/1/112023/2/112023/3/112023/4/11百度纳斯达克综指百度百度(BIDU.O)/百度集团百度集团-SW(9888