《可信AI操作指引(18页).pdf》由会员分享,可在线阅读,更多相关《可信AI操作指引(18页).pdf(18页珍藏版)》请在三个皮匠报告上搜索。
1、产品需求多样化 。1)AI 系统提供方在保护用户个人信息隐私的前提下,应明确基本和潜在服务用户范围,对不同类别的用户进行实际需求调研,整理分析不同用户的交互方式和操作习惯,保证产品原型设计阶段满足用户多样化需求,并尽量考虑潜在产品服务对象的隐性需求。 2)AI 系统提供方在符合产品投放地区法律法规的前提下,宜实施产品用户体验测试,在产品开发和生产过程中,根据 AI 系统的应用场景,有阶段性地选择面向不同地域、国籍、性别、年龄等用户进行实际产品试用,通过用户反馈和数据分析形成需求链条跟踪机制,进而适时调整产品结构。 训练数据全面化 。1)AI 系统提供方应保证训练数据集的数据
2、的多样性,并可针对数据集中不同的类别群体进行分析测试,同时依据测试结果相应地调整数据集的结构。 2)AI 系统提供方应依据任务需求完成训练数据集设计方案,通过统计学的方式或相关工具集,检查模型训练数据集中样本与方案的符合程度,保证训练数据的准确性和完整性。算法公平性测试验证 。1)AI 系统提供方宜将公平性度量纳入算法评价内容,兼顾各类群体特征信息,以防算法存在偏见。若算法上有设计缺陷,则改进算法,减轻算法对特定变量对应的权重的依赖,尽量避免对某些特定群体做出带有歧视和偏见的决策。 2)AI 系统提供方应保证算法决策判断的鲁棒性,在无特殊要求的前提下,充分考虑适用场景下可能
3、出现的特殊情况,保证算法输出结果不会由于某些环境指标改变而发生分歧。因此,AI 系统提供方在合法合规的前提下,应构建包含通用场景和特殊场景的测试数据集,经过对算法充分测试验证,保证算法对面向对象决策结果一致。系统决策过程描述 。1)AI 系统提供方应根据用户需求和应用场景,建立向不同背景的利益相关者解释 AI 系统决策逻辑的能力。例如,对于专业人员,解释 AI 系统中的模型和算法逻辑;对于普通用户,解释 AI 系统的功能逻辑;对于内部监管决策者,解释在相应领域使用 AI 系统的原因。 2)AI 系统提供方宜以 AI 系统可解释为目标,在保证系统性能能够满足任务需求的前提下,尝试使用可解释性较强的模型替代复杂的黑盒模型。如使用传统机器学习模型替代复杂的深度学习模型,或尝试使用集成学习模型、贝叶斯深度学习模型以融合传统机器学习模型较强的可解释性和复杂深度学习算法模型的高性能,或使用其他模型或相关工具在算法逻辑层面提高 AI 系统决策的可解释性。 3)AI 系统提供方应根据不同的应用场景,如自动驾驶应用、日常生活娱乐应用等,评估用户是否可以介入 AI 系。