计算机行业深度研究：LLaMA等开源模型凸显先进算法及行业数据的重要性-230416（16页）.pdf

《计算机行业深度研究：LLaMA等开源模型凸显先进算法及行业数据的重要性-230416（16页）.pdf》由会员分享，可在线阅读，更多相关《计算机行业深度研究：LLaMA等开源模型凸显先进算法及行业数据的重要性-230416（16页）.pdf（16页珍藏版）》请在三个皮匠报告上搜索。

1、 敬请参阅最后一页特别声明 1 自 2017 年 Transformer 发布以来，大语言模型经历了由开源到逐步闭源的转变，头部公司先进模型的壁垒逐步形成。目前 OpenAI、Google 等领先的头部 AI 大厂对于先进模型大多采用部分开源或仅开放使用的模式，以此构建技术护城河。然而，将 AI 大模型直接应用于垂直行业，存在通用能力过剩、行业专业知识储备不足、推理过程消耗算力过高等问题。基于开源模型进行垂类模型开发可兼顾开发成本和数据安全，尤其是对于党政军、金融、电网、先进制造等数据敏感性较高的行业而言。Meta 旗下 LLaMA 大模型的开源或能为垂类模型落地提供预训练模型底座。LLaMA

2、 基于通用领域的开源数据集进行训练，训练数据涵盖 40 种语言，包含约 1.4 万亿 Tokens。尽管 LLaMA 模型参数量较小，但性能丝毫不逊色于 PaLM、GPT-3 等大语言模型。并且较小的参数规模显著降低了 LLaMA 模型的落地部署和二次开发难度。LLaMA 作为完全开源的领先模型，具备高度的灵活性、可配置性和泛化能力，可以作为垂类 AI 模型的通用基座。基于 LLaMA，垂类 AI 开发者可以根据其行业特点、应用行业数据定制开发相应的“行业发行版 AI 模型”。LLaMA 模型一经发布就对外完全开源，吸引了广大 AI 开发者和研究者。目前，用户可在全球知名 AI 模型开源社区

3、Hugging face中获取 LLaMA 的模型权重与训练代码。能够自由下载并使用 LLaMA 模型，既可以将其部署至设备直接进行推理，也可以基于 LLaMA 进行研究与二次开发。我们测算了模型在迁移学习阶段的训练算力成本，在模型微调阶段，由于训练量级较小，仅为万级，相关的算力成本相比之下可忽略不计。例如，斯坦福大学于 2023 年 3 月对外发布 Alpaca，这是一个基于 LLaMA-7B 基座，应用 5.2万指令对模型微调训练得到的对话类语言模型，该模型基于 8 块 A100 微调，微调时长 3 小时，算力成本不超过 300元。在推理阶段，根据我们的初步测算，由 8 块 A100 组成

4、的 AI 服务器可为规模达 2,000 人的中大型企业提供 AI 服务，离线部署方案每年的推理算力成本约为 33.2 万元，若采用云计算方案则每年需花费约 66 万元算力成本。基于上述推理成本分析，推理成本并不高昂，绝大多数中型以上企业足以负担，为各领域垂类模型落地提供了极为广阔的市场空间。LLaMA 等优质开源模型的推出极大加速了下游行业 AI 应用开发效率。基于“通用基座+迁移学习+微调”的垂类 AI模型开发范式或将成为主流，优质的行业数据资源成为影响模型性能的关键。在此趋势之下，我们看好两类企业：1）拥有开发先进大模型能力的企业。这类企业在先进模型逐步走向闭源的趋势下，有望保持算法优势，

5、如商汤科技、科大讯飞等。2）拥有丰富行业数据的头部公司。这类企业有望基于稀缺的行业数据以及开源模型，开发出可用性更强的垂类模型。如东方财富、同花顺、恒生电子等。海外基础软硬件使用受限；骨干网络创新放缓；应用落地不及预期 行业深度研究 敬请参阅最后一页特别声明 2 内容目录内容目录 1.头部领先模型走向闭源，垂类模型开发呼唤开源.3 1.1 头部公司大模型逐步走向闭源.3 1.2 为什么垂类 AI 开发呼唤开源？.5 2.LLaMA 在通用开源模型中性能领先.6 2.1 LLaMA 具有参数量低、性能优异、完全开源等特点.6 2.2 小参数量可降低垂类模型开发及部署难度.7 2.3 LLaMA

6、提供通用开发基座，泛化能力更强.8 3.“通用模型+迁移学习+微调”有望成为开发新范式，数据是重要壁垒.9 3.1 使用“迁移学习”向模型注入新知，开发难度相对较低.9 3.2 叠加先进算法微调，进一步释放模型性能.10 3.3 算力消耗并非海量，成本效益匹配.11 3.4 赋予垂类 AI 开发者离线部署能力和离线迭代能力.13 4.投资建议.13 5.风险提示.14 图表目录图表目录 图表 1：头部公司大模型从完全开源逐步走向部分开源.3 图表 2：OpenAI 的系列模型开始向闭源发展.4 图表 3：大多数已完全开源模型准确率低于非开源模型.5 图表 4：基于开源模型训练垂类模型是较为理想