A1--张航--大模型评估之道-可信与高效的评估体系构建及对应案例实践.pdf

1、大模型评估之道-可信与高效的评估体系构建及对应案例实践张航百度 资深工程师张航百度 资深工程师硕士毕业于哈尔滨工业大学计算机科学与技术。2015年毕业入职百度，9年工作经验。在大数据、AI领域经验丰富。现担任AI平台部测试技术负责人（深耕传统模型、大模型技术链），攻坚多个从0到1项目，突破技术难点的同时，一作发表多篇技术专利和沉淀多套工具平台。目录C O N T E N T S1.大模型评估的重要性与挑战2.评估架构与方法论概述3.针对各评估痛点的解决方案4.典型场景的评估实例大模型评估的重要性与挑战01大模型评估的重要性与挑战数字化转型降本增效精准营销生态构建、跨界合作标杆打造提升风控能力0

2、102统筹大模型发展统筹大模型发展03防范未知风险防范未知风险摸底模型能力摸底模型能力全面评估大模型的能力和潜力，以便更好地指导其在实际中的应用需要警惕数据污染、道德伦理。和安全等潜在风险，并采取措施防范其他大模型评估的重要性与挑战模型选择策略模型选择策略一、企业一、企业多家厂商 PK：赛马机制合作伙伴固定合作模式：运营商+模型提供商性价比驱动 VS 只看闭源主力模型二、个人开发者二、个人开发者个人喜好价格驱动性价比驱动以前：以前：榜单驱动、PR 稿驱动、无系统评估（领导驱动）现在：现在：客户与供应商联合集中评估、抽样数据主观感受（模型赛马）、榜单驱动模型评估方式大模型应用知识储备越来越成熟。

3、为了用起来-需要真的用起来大模型评估的重要性与挑战频繁的模型切换频繁的模型切换频繁的模型评估频繁的模型评估完善的评估场景完善的评估场景Q1：如何精准、有效评估？评估者精力评估效率评估结论不一致！评估结论不一致！Q2：如何安全、可信评估评估数据隐私、评估标准灵活且认同评估结论可靠评估公平性保证评估公平性保证评估数据隐私保障评估数据隐私保障评估架构与方法论概述02整体评估框架输入：评测集选取适合的数据集执行：评估规则BY 场景、应用的评估标准输出：评估结论模型与应用匹配度场景划分量级划分难度划分标签划分评估方式评估技巧评估策略评估频率人工自动组合抽样全量单/多人协作指标统计报告管理数据分析结论产出

4、对比分析可视化输出整体评估框架|评测数据数据构造数据回流数据采集数据获取分布统计质量检查数据优化数据洞察去重异常过滤去隐私数据清洗从已有资料中抽取从场景模板中泛化从 demo 数据中增强数据增强数据筛选 标注数据审核场景识别 挖掘数据确认模型特定场景应用能力例行场景专属评测集：结合实际应用场景、领域行业实际应用数据基座模型能力生物医疗教育法律金融其他道德犯罪歧视偏见共情能力共情能力社会负面虚假内容其他更多理解与问答创作与改写指令引擎数理逻辑形式化语言记忆学习工具调用信息抽取摘要翻译常识问答信息提炼安安全全能能力力领域专属能力领域专属能力认知认知与与生成生成能力能力基础语言处理能力基础语言处理能

5、力整体评估框架|评估规则能力类型能力类型考察能力考察能力应用能力基础知识：通识类基础能力专业领域：在各细分场景下完成具体任务的能力学习能力ICLSFT通用能力指令约束满足、上下文记忆、跨语言处理、安全隐私考察能力考察能力客观评估客观评估含参考答案、指令遵循量化指标（规则映射、F1-Score/accuracy/Rouge）主观评估主观评估满意度评价（3/5/百分分制）量化指标统一：平均分、优质率、可接受度占比多维度加权：内容丰富度、趣味性、互动性复杂应用场景：工程模块中间结果效果指标（如 Agent、RAG）裁判员选取：原始Base模型：GPT4、EB4、Claude专用打分模型：Pandal

6、m/自训裁判员模型评估方式：GSB评估 By 模型计分式评估扣分制加分制综合打分LLMLLM评估评估专业评估组 初标注初标注 -一轮审核一轮审核 -二轮专家审核二轮专家审核人员组成：男女比例文科/理科分布任务分发：每位评估人员评估的对话数量应大体相同每位评估人员分到的对话在难度分布难度分布上基本相同每位评估人员独立独立对自己评估的所有对话进行合分人工评估人工评估整体评估框架|评估规则指定角色、任务角色、任务描述打分依据依据，权重高的依据重点描述，权重低或者无关依据弱化给出回答示例示例，利用LLM的ICL能力 （引入引导策略：告知badcase规避）描述简化简化，尽量少用if else灵活运用加