《百度-美股公司研究报告-百度：大模型研究笔记（二）-230530（29页）.pdf》由会员分享，可在线阅读，更多相关《百度-美股公司研究报告-百度：大模型研究笔记（二）-230530（29页）.pdf（29页珍藏版）》请在三个皮匠报告上搜索。

1、 本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请参阅最后一页的重要声明。证券研究报告证券研究报告美股公司深度美股公司深度 软件与服务软件与服务 百度：大模型研究笔记（百度：大模型研究笔记（二二）核心观点核心观点 大模型规模竞赛强度有望下降，精益优化可能成为主要方向，如数据清洗、初始化策略、大批量训练等。另一方面，模型压缩与内存管理、计算能力、下游部署等可能是大模型产品化落地的关键技术，有望打开未来 to C 市场的想象空间。我们认为中长期 AI领域具备广阔前

2、景，看好百度在 AIGC 领域的布局和先发优势。大模型研究大模型研究笔记笔记（二二）模型结构方面，模型结构方面，Context Window 拓展下游应用场景拓展下游应用场景。技术路线上，引入局部注意力机制能一定程度上延长 context window，但难以实现量级的拓展。斯坦福大学和纽约州立大学团队于 2022 年5 月提出的 FlashAttention 结合前述研究，并基于 CUDA 对底层内存读取做出优化，实现 context window 的大幅拓展。斯坦福大学和蒙特利尔大学的研究团队于 2023 年 2 月进一步提出 Hyena架构，较此前 FlashAttention 进一步实

3、现性能优化。预训练预训练环节存在广阔优化空间环节存在广阔优化空间。1）并行化环节并行化环节，主要思路是结合模型并行与数据并行，并引入分片策略，核心差异在于分片应用环节不同，以及不同并行策略应用顺序的差异。从公开研究所披露的效果看，英伟达谷歌微软；2）大规模计算集群大规模计算集群方面方面，阿里巴巴在大规模计算集群的通信优化方面较为领先，同时在确定性网络、准确测量两条路径上均有重要工作，基本处于国内领先地位，与谷歌、思科等国际大厂仍存在一定差距；3）内存置换与内存置换与checkpoint 优化优化方面，方面，该领域偏向训练过程的工程技巧，法国国家信息与自动化研究所将 offload 与 chec

4、kpoint 结合，实现在训练环节降低训练损耗。此前，Google 团队在 Palm 论文也提到对checkpoint 做出的其他优化，提升模型训练的稳定性。下游调试方面下游调试方面，比较重要的研究来自微软和 CMU 研究团队于2021 年 6 月提出 LoRA，核心思想是通过秩分解矩阵来间接训练神经网络中的一些密集层，同时冻结预训练模型权重，降低存储占用，同时提升训练速度。LoRA 降低了模型二次调优的门槛，并成为简单应用开发的重要技术。后续斯坦福大学研究团队基于LLaMA 模型，收集 ChatGPT 回答并应用 LoRA 调优，实现低成本、高效率的小模型开发（参数规模在 713B，远小于

5、ChatGPT），并实现简单任务上的性能匹配。此外，Anthorpic 与 OpenAI 引入基于 AI 反馈的强化学习（RLAIF），并实现无害性优化。维持维持 买入买入 孙晓磊 SAC 编号:s1440519080005 SFC 编号:BOS358 崔世峰 SAC 编号:S1440521100004 许悦 SAC 编号:s1440523030001 发布日期：2023 年 05 月 30 日 当前股价：118.90 美元 目标价格 6 个月：140 美元 主要数据主要数据 股票价格绝对股票价格绝对/相对市场表现（相对市场表现（%）1 个月 3 个月 12 个月-17.99/-19.80-1

6、9.70/-24.08 11.52/5.64 12 月最高/最低价（美元）160.22/76.57 总股本（万股）34,959.72 流通股本（万股）27,751.54 总市值（亿美元）415.67 流通市值（亿美元）415.67 近 3 月日均成交量（万）339.34 主要股东 Robin Yanhong Li 16.30%股价表现股价表现 相关研究报告相关研究报告 -28%-8%12%32%52%72%2022/5/112022/6/112022/7/112022/8/112022/9/112022/10/112022/11/112022/12/112023/1/112023/2/1120