《SuperCLUE：中文大模型基准测评2025年9月报告（25页）.pdf》由会员分享，可在线阅读，更多相关《SuperCLUE：中文大模型基准测评2025年9月报告（25页）.pdf（25页珍藏版）》请在三个皮匠报告上搜索。

1、中文大模型基准测评中文大模型基准测评2022025 5年年9 9月月报告报告 2025.10.16 2025年中文大模型阶段性进展9月评估SuperCLUE团队精准量化通用人工智能（AGI）进展，定义人类迈向AGI的路线图Accurately Quantifying the Progress of AGI,Defining the Roadmap for Humanitys Journey towards AGI.2报告摘要报告摘要国内模型的API价格大多数处于0-10元/百万Tokens，平均API价格为3.88元/百万Tokens，而海外模型的API价格比较分散，从2-200元/百万Tok

2、ens不等，海外模型平均API价格为20.46元/百万Tokens，是国内模型API价格的5倍以上。国内推理模型平均每题的推理耗时为101.07秒，而海外推理模型仅有41.60秒，海外推理模型的推理效率远高于国内推理模型。在本次9月通用测评中，海外模型占据了榜单前6，其中GPT-5(high)以69.37分遥遥领先，o4-mini(high)（65.91分）、Claude-Sonnet-4.5-Reasoning（65.62分）、Claude-Opus-4.1-Reasoning（64.87分）、Gemini-2.5-Pro（64.68分）等紧随其后。国内的DeepSeek-V3.2-Exp-

3、Thinking、Doubao-Seed-1.6-thinking-250715分别以62.62分和60.96分并列国内第一。1.1.海外模型保持头部优势，国内模型继续海外模型保持头部优势，国内模型继续追赶。追赶。国内的DeepSeek-V3.2-Exp-Thinking（62.62分）、openPangu-Ultra-MoE-718B（58.87分）和Qwen3-235B-A22B-Thinking-2507（57.73分）分别位于开源模型榜单前三，大幅度领先海外开源最好模型gpt-oss-120b（53.05分）。2.2.国内开源模型优势显著。国内开源模型优势显著。020201010303

4、九月测评九月测评三大三大要点要点3.3.国内模型更具性价比，海外模型推理效率国内模型更具性价比，海外模型推理效率更高。更高。中文语言理解测评基准CLUE（The Chinese Language Understanding Evaluation）是致力于科学、客观、中立的语言模型评测基准，发起于2019年。SuperCLUE是大模型时代CLUE基准的发展和延续，聚焦于通用大模型的综合性测评。本次2025年9月中文大模型基准测评聚焦通用能力测评，测评集由六大任务六大任务构成，总量为12601260道简答题，测评集的介绍如下：SuperCLUE九月中文大模型基准测评简介1.1.数学推理数学推理介绍

5、介绍：主要考察模型运用数学概念和逻辑进行多步推理和问题解答的能力。包括但不限于几何学、代数学、概率论与数理统计等竞赛级别数据集。评价方式评价方式：基于参考答案的0/1评估，模型答案与参考答案一致得1分，反之得0分，不对回答过程进行评价。本次评估的人类一致性约98%。2.2.科学推理科学推理介绍介绍：主要考察模型在跨学科背景下理解和推导因果关系的能力。包括物理、化学、生物等在内的研究生级别科学数据集。评价方式评价方式：基于参考答案的0/1评估，模型答案与参考答案一致得1分，反之得0分，不对回答过程进行评价。本次评估的人类一致性约98%。3.3.代码生成代码生成介绍介绍：该任务分为两大类型：一是独

6、立功能函数生成，生成覆盖数据结构、算法等领域的独立函数。二是Web应用生成，要求模型构建旅游订票、电商、社交媒体等完整的交互式网站。评价方式评价方式：通过单元测试进行0/1评分（独立功能函数生成)；通过模拟用户交互的功能测试进行0/1评分（Web应用生成)，本次评估的人类一致性约99%。4.4.智能体智能体AgentAgent介绍介绍：主要考察在中文场景下基于可执行的环境，LLM作为执行代理在对话中调用工具完成任务的能力。包括单轮对话和多轮对话。涉及的中文场景包括但不限于汽车控制、股票交易、智能家居、旅行规划等10余个场景。评价方式评价方式：结合任务完成与否、系统状态比对的0/1评估，本次评估