SAS：模型风险管理解决方案（2023）（25页）.pdf

1、Copyright SAS Institute Inc.All rights reserved.SAS 模型风险管理解决方案马宁 博士2022年12月Copyright SAS Institute Inc.All rights reserved.与生俱来的模型风险数据收集/准备模型开发现实世界模型上线模型应用/决策 模型的本源性问题：是拟合而不是真实世界。Essentially,all models are wrong,but some are useful.George E.P.Box 不良的数据质量 缺少关键变量 样本量有限 时间窗口过短 不当的数据转换 歧视性的变量 模型过于简化/复杂

2、模型假设不满足 不当的算法选择 不当的模型超参数 不足的模型性能 模型可解释性差 模型部署周期长 模型工程化错误 模型执行效率低 线上/线下表现不一致 模型应用场景不匹配 不当的配套策略 模型性能自然衰退 缺乏模型监控验证 缺乏模型校准、重训练与退休机制模型管理 缺乏标准化流程 晦涩的代码 文档缺失 审计日志缺失 缺乏风险量化标准 缺乏明确职责划分模型技术/应用Copyright SAS Institute Inc.All rights reserved.SAS 对于模型技术风险的防范Copyright SAS Institute Inc.All rights reserved.1.模型歧视模

3、型歧视可能来自训练数据或模型开发过程中的假设。这种数据偏见可能来自于数据的抽样、收集和处理方式。训练数据并不代表模型将被应用的人群，导致不公平的决定。在美国，平等信贷机会法（ECOA）保护消费者在贷款决定中不受歧视。该法规规定，任何债权人在信贷交易的任何方面基于种族、肤色、宗教、国籍、性别、婚姻状况或年龄而歧视任何申请人都是非法的。评估公平性的一个很好的出发点是通过比较一个模型或决策在不同的受保护变量值上的预测和表现。可信人工智能伦理指南欧盟委员会的人工智能高级专家组，2018人工智能伦理问题建议书联合国教科文组织，2021新一代人工智能伦理规范国家新一代人工智能治理专业委员会，2021Cop

4、yright SAS Institute Inc.All rights reserved.SAS 的模型歧视检测模型偏倚评估页面单个变量不同水平的模型偏倚分析为了在模型部署前简化公平性和偏见分析，SAS 提供了自动化的计算能力，阐述模型的性能和它在像种族、性别这样的变量内群体间的预测水平的差异。帮助我们判断模型是否在一些重要维度上存在歧视。Copyright SAS Institute Inc.All rights reserved.2.模型可解释性模 型 可 解 释 性预测准确性深度神经网络组合方法支持向量机决策树广义线性回归线性回归模型后解释原生可解释模型可解释性图片来源：Dr.Zhang

5、,HKU可解释 AI 的意义 识别和防止偏差 揭示模型改进方向 模型可信度与透明度Copyright SAS Institute Inc.All rights reserved.SAS 的模型解释技术全局解释局部解释变量重要性Variable Importance部分依赖图PD Plot个体条件期望图ICE Plot局部可解释的模型无关解释 LIMESHapley 附加说明SHAP替代模型Surrogate model全局解释Global Explanation全局解释给出AI模型比较宏观的解读，比如模型的重要变量，它们对预测结果的贡献等。局部解释Local Explanation局部解释给出

6、AI模型具体到每个样本的微观解读，阐述为什么模型在这个样本上给出特定的概率/得分。部份依赖图（PD图）PD 研究少数变量（通常13个）变换的情况下，对目标变量的改变情况。个体条件期望图（ICE图）ICE 研究的是单个样本，在假设其它变量固定的前提下，展现的是单独的输出。局部可解释的模型无关解释（LIME）LIME 是使用线性回归作为替代模型的技术；根据局部样本与研究样本的距离进行加权。SHapley 附加说明（SHAP）SHAP 的目标是给出每一个特征对研究样本模型评分的贡献；计算贡献的方法是在模型中去掉某个特征，然后观察模型输出的改变。SAS 的模型解释界面可对任何有监督机器学习模型进行后解