《清华五道口：2024大型语言模型行业图谱研究报告（52页）.pdf》由会员分享，可在线阅读，更多相关《清华五道口：2024大型语言模型行业图谱研究报告（52页）.pdf（52页珍藏版）》请在三个皮匠报告上搜索。

1、 研究报告 （2024 年第 3 期 总第 35 期）2024 年 01 月 26 日 大型语言模型行业图谱大型语言模型行业图谱1 1 科创金融研究中心 朱雅姝 刘碧波 【摘要】【摘要】行业图谱研究是本中心科技成果转化研究的一项子课题，目标定位于清晰理解前沿科技成果的技术核心、科创企业的技术竞争力及科研工作者的研究进度，从而助力科技成果转化效率的提升。行业图谱研究将以系列形式展开，选取国家战略重点科技领域的商业应用场景逐一进行，时效性较强。本报告为行业图谱研究之计算机科学系列中的课题：大型语言模型（含 ChatGPT）行业图谱。ChatGPT 的成功引发了全球对大型人工智能模型的浓厚兴趣，加速

2、了学术界和商业界的发展。自2017年起，美国在战略层面高度重视人工智能，将其应用于经济、文化和社会福 1 感谢资本市场与公司金融研究中心的实习生许喜远同学对本报告的助研工作。许喜远同学是清华大学医学院2022 级博士。祉等众多领域。到 2023 年，中国也迅速跟进，采用自主研发的技术平台取得领先地位，显示出 ChatGPT及相关技术已成为未来国家战略支持的重点。ChatGPT 的发展可分为五个研究阶段，从初期的专家系统演变为基于深度学习和大数据的方法。核心变革之一是 GPT-3 模型，它凭借大规模参数和创新的“提示语”概念，显著提升了理解和生成自然语言的能力，并在情感分析、机器翻译等多个领域得

3、到应用。技术上，ChatGPT 利用基于 GPT-3.5 的人类反馈强化学习，实现了语言生成能力的显著提升，增强了模型对新指令的适应性，超越了仅依赖于参数量增加的限制。成功的关键因素包括 OpenAI 的战略转型、技术突破、巨额资金投入、强大算力支持以及顶尖团队，共同构成了 ChatGPT的成功基础。ChatGPT 以其基于 GPT-3.5 的先进技术，在准确性、多任务处理和泛化能力上占据市场优势，但面临着时效性不足、高成本和专业领域局限性的挑战。与此同时，国际竞争对手如 Google 和 Meta在技术研发及商业应用上保持领先地位。战略上，ChatGPT 通过 API和订阅模式获得了市场先机

4、，而 Google 和百度更专注于 B 端市场。在中国，国内的通用大型语言模型正处于发展阶段，公司如百度和华为正在追赶国际趋势，但在数据、算力和工程化实施方面面临挑战。语言大型模型的国际研发现状呈现明显的区域差异。在国际领域，以爱丁堡大学的 Geoffrey Hinton、布尔诺理工大学的 Tomas Mikolov、斯坦福大学的 Chris Manning 和 Quoc Le、以及多伦多大学的 Ilya Sutskever 等人为代表，他们开发的技术位于行业前沿，具有重大的创新性。而在国内，清华大学计算机系的唐杰教授、自然语言处理与社 会人文计算实验室的孙茂松、交互式人工智能课题组的朱小燕教

5、授、智能产业研究院的张亚勤以及复旦大学的邱锡鹏教授团队、哈尔滨工业大学的王晓龙教授等，作为国内在语言大模型研发方面的顶尖技术代表，他们在自然语言处理 AI 的底层技术研究领域也取得了新的突破。大型语言模型改变了数字产业的人机交互方式，提升了软件的用户友好性和功能性。它们在降低企业应用构建成本、推动新生态平台发展方面扮演关键角色，并在对话式 AI 领域显著提升了产品的智能和感知能力。这些模型还促进了多行业的功能升级和生态整合。ChatGPT 及类似大型 AI 模型在全球科技界的崛起，尽管其带来了商业与创新价值，却也引发了众多安全与伦理问题，如对人类角色的替代、数据偏见和隐私泄露等，导致业界和科研

6、人员对 AI 发展提出质疑和暂停的呼声。为此，采用了如基于人类反馈的强化学习和监管框架等手段减轻这些风险。通用人工智能（Artificial General Intelligence，AGI）技术如 GPT-4 不仅提高了生产力和经济增长，还可能改变人类的思维模式和文化传统，推动相关学科发展。通过本报告，我们旨在为 ChatGPT技术和产业的发展提供参考和引导，共同推动产业合作，促进行业健康快速发展。目录 一、ChatGPT 的技术研发基础.4（一）自然语言处理的发展历史.4（二）大规模预训练语言模型的技术发展.7 二、OpenAI ChatGPT 技术发展历程.8（一）ChatGPT：生成式