《百度-美股公司研究报告-大模型研究笔记（三）-230621（29页）.pdf》由会员分享，可在线阅读，更多相关《百度-美股公司研究报告-大模型研究笔记（三）-230621（29页）.pdf（29页珍藏版）》请在三个皮匠报告上搜索。

1、本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请务必阅读正文之后的免责条款和声明。证券研究报告证券研究报告美股公司深度美股公司深度软件与服务软件与服务百度：大模型研究笔记（三）百度：大模型研究笔记（三）核心观点核心观点大模型规模竞赛强度有望下降，精益优化可能成为主要方向，如数据清洗、初始化策略、大批量训练等。另一方面，推理部署环节的优化进度较快，主要思路包括调整模型架构实现计算并行度提升，或通过捕捉参数结构实现混合精度推理，降低计算复杂度。这些技术演进有望大幅

2、降低大模型产品的部署、应用门槛，打开to C 产品的想象空间。我们认为中长期 AI 领域具备广阔前景，看好百度在 AIGC 领域的布局和先发优势。大模型研究笔记（三）大模型研究笔记（三）模型结构方面模型结构方面，Meta 研究团队于 2023 年 5 月提出 Megabyte，基于对 Transformer 架构做出改进：Transformer 架构是以 token 为基本单位的，而 token 形式的目的是将输入数据转换成计算机可以处理的形式，但 token 与单词并非一一对应，这等于带来额外的分词成本。Megabyte 对模型处理的基础单元做出修改，从 token改为 patch，此外引入

3、局部模块预测 patch 内文本序列，相当于引入二次注意力机制，最终实现计算成本降低、速度提升。预训练环节预训练环节，现有超大参数模型部署端侧时受限于终端计算资源和功耗，需要小、低延迟和低能耗的神经网络模型，从而节省成本。混合精度训练是把 FP32 表示的权重、参数和激活值用 FP16、INT8、INT4 重新表示，并且通过浮点数转定点数将连续的数值映射为离散化的数值，从而加快训练速度和降低存储占用。最新的进展来自 ETH 的 SpQR，将剪枝思想迁移至推理环节的混合精度，在 1%的性能损失下大幅提升推理效率。下游调试方面下游调试方面，1 1）A Alignmentlignment 环节的数据

4、质量和多样性可能比数环节的数据质量和多样性可能比数量重要量重要。Meta 研究团队提出 Alignment 实质是模型在预训练阶段学习知识，在 Alignment 阶段学习人类交互形式。研究团队通过控制变量比较了数据质量、规模对 Alignment 后模型性能的影响，发现数据质量对性能影响显著，数量影响则不显著；2）PrompPrompt t环节环节 T ToToT 提升提升 L LLMLM 解决复杂问题的能力。解决复杂问题的能力。Google DeepMind 等团队于 2023 年 5 月提出 Tree-of-thoughts（ToT）。ToT 则是借鉴人类思考的思维树范式，相比于 CoT

5、，ToT 增加了对问题的分解和评估，实现模型解决复杂问题的表现提升。维持维持买入买入崔世峰SAC 编号:s1440521100004许悦SAC 编号:s1440523030001发布日期：2023 年 06 月 21 日当前股价：143.52美元/142.70 港元目标价格 6 个月：173美元/169 港元主要数据主要数据股票价格绝对股票价格绝对/相对市场表现（相对市场表现（%）1 个月3 个月12 个月13.71/3.009.02/-10.700.20/-23.1412 月最高/最低价（美元）160.22/76.57总股本（万股）34,959.72流通股本（万股）27,751.54总市值（

6、亿美元）507.30流通市值（亿美元）507.30近 3 月日均成交量（万）297.81主要股东Robin Yanhong Li16.30%股价表现股价表现相关研究报告相关研究报告百度百度(BIDU.O)(BIDU.O)/百度集团百度集团-SW-SW（9888.HK9888.HK）美股公司深度报告百度百度请务必阅读正文之后的免责条款和声明。3 3）R RLHLHF F 环节环节，引入过程监引入过程监督督 R RMM 提升面向复杂问题的解决能力提升面向复杂问题的解决能力。2023 年 5 月 OpenAI 团队提出 Lets VerifyStep by Step，主要解决 CoT 下过程缺乏监督