1、中国信息通信研究院人工智能研究所 人工智能关键技术和应用评测工业和信息化部重点实验室 2024年6月 大模型基准测试体系研究报告大模型基准测试体系研究报告 (2022024 4 年年)版权声明版权声明 本报告版权属于中国信息通信研究院，并受法律保护。本报告版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应转载、摘编或利用其它方式使用本报告文字或者观点的，应注明注明“来源：中国信息通信研究院来源：中国信息通信研究院”。违反上述声明者，本院。违反上述声明者，本院将追究其相关法律责任。将追究其相关法律责任。前前 言言 近几年，大模型推动人工智能技术迅猛发展

2、，极大地拓展了机器智能的边界，展现出通用人工智能的“曙光”。如何准确、客观、全面衡量当前大模型能力，成为产学研用各界关注的重要问题。设计合理的任务、数据集和指标，对大模型进行基准测试，是定量评价大模型技术水平的主要方式。大模型基准测试不仅可以评估当前技术水平，指引未来学术研究，牵引产品研发、支撑行业应用，还可以辅助监管治理，也有利于增进社会公众对人工智能的正确认知，是促进人工智能技术产业发展的重要抓手。全球主要学术机构和头部企业都十分重视大模型基准测试，陆续发布了一系列评测数据集、框架和结果榜单，对于推动大模型技术发展产生了积极作用。然而，随着大模型能力不断增强和行业赋能逐渐深入，大模型基准测

3、试体系还需要与时俱进，不断完善。本研究报告首先回顾了大模型基准测试的发展现状，对已发布的主要大模型评测数据集、体系和方法进行了梳理，分析了当前基准测试存在的问题和挑战，提出了一套系统化构建大模型基准测试的框架“方升”大模型基准测试体系，介绍了基于“方升”体系初步开展的大模型评测情况，并对未来大模型基准测试的发展趋势进行展望。面向未来，大模型基准测试仍存在诸多开放性的问题，还需要产学研各界紧密合作，共同建设大模型基准测试标准，为大模型行业健康有序发展提供有力支撑（联系人：韩旭，）。目目 录录 一、大模型基准测试发展概述.1（一）大模型基准测试的重要意义.2（二）蓬勃发展的大模型基准测试.4（三）

4、大模型评测发展共性与差异.9 二、大模型基准测试现状分析.11（一）大模型基准测试体系总体介绍.11（二）代表性的大模型基准测试体系.17（三）问题与挑战.20 三、大模型基准测试体系框架.23（一）“方升”大模型基准测试体系.23（二）“方升”自适应动态测试方法.27 （三）“方升”大模型测试体系实践.30 四、总结与展望.35（一）形成面向产业应用的大模型评测体系.35（二）构建超自动化的大模型基准测试平台.36（三）探索 AGI 等先进人工智能的评测技术.36 图图 目目 录录 图 1 大模型发展历程 .1 图 2 大模型基准测试领域占比分布.5 图 3 大模型基准测试数据集发布时间.6

5、 图 4 大模型基准测试数据集发布机构排名.7 图 5 大模型基准测试数据集发布国家分布.8 图 6 大模型基准测试数据集开源分布.9 图 7 大模型基准测试体系构成.11 图 8 大模型基准测试流程.13 图 9 大模型基准测试工具 LLMeBench 框架图.17 图 10 大模型评测基准 HELM 原理图.18 图 11“方升”大模型基准测试体系.24 图 12 自适应动态测试方法原理图.27 图 13 大模型基准测试标签体系.28 图 14“方升”大模型首轮试评测模式.31 图 15 开源大模型评测榜单结果.33 表表 目目 录录 表 1 代表性大模型官方发布结果中使用的评测数据集.6

6、 附表 1 语言大模型通用能力的代表性评测数据集.38 附表 2 语言大模型行业能力的代表性评测数据集.39 附表 3 语言大模型应用能力的代表性评测数据集.40 附表 4 语言大模型安全能力的代表性评测数据集.41 附表 5 多模态大模型通用能力的代表性评测数据集.41大模型基准测试体系研究报告（2024 年）1 一、大模型基准测试发展概述 近几年，大模型推动人工智能技术迅猛发展，极大地拓展了机器智能的边界，展现出通用人工智能的“曙光”，全球各大科技巨头和创新型企业纷纷围绕大模型加强布局。如图 1 所示，2018 年，谷歌公司提出基于 Transformer 实现的预训练模型 BERT，在机