张润滋 CIS2019-XAI与可信任安全智能-（41页）.pdf

1、XAI与可信任安全智能张润滋张润滋绿盟科技 高级安全研究员提纲1可信任的安全智能2XAI与模型可解释性3XAI+Security实践1可信任的安全智能人工智能图片来源：中国信息通信研究院和中国人工智能产业发展联盟安全智能（恶意）软件分析恶意代码检测、分类、家族，漏洞挖掘流量分析Web攻击、DDoS、恶意软件通信、DGA、加密流量入侵检测异常检测、行为预测、实体画像团伙挖掘情报、APT欺诈检测、风控网站指纹攻击恶意邮件协议分析AI对抗 4文本分析、目标检测、图像识别、聚类、词嵌入、图嵌入、社团分析文本分析、目标检测、图像识别、聚类、词嵌入、图嵌入、社团分析云、物联网、5G、边缘、AI平台端点、网

2、络、文件、行为、情报、蜜罐免费的午餐？不存在的对抗预期现状阶段一：现状阶段一：1.1.需要大量标注数据；需要大量标注数据；2.2.经验化调参；经验化调参；未来：未来：模型模型易调试、决策可解易调试、决策可解释、自动化知识提取、释、自动化知识提取、人机交互，高度自动化人机交互，高度自动化技术认知基本：依赖专家样本分基本：依赖专家样本分析、写规则、分析结果析、写规则、分析结果现状阶段二：现状阶段二：1.1.测试集上高性能，实际高误报；测试集上高性能，实际高误报；2.2.相对专家规则的一目了然，模相对专家规则的一目了然，模型说啥就是啥？还是要人工确认；型说啥就是啥？还是要人工确认；理想：相对于专家规

3、则，基于理想：相对于专家规则，基于机器学习、深度学习的方法大机器学习、深度学习的方法大幅自动化分析流程幅自动化分析流程现状阶段三：现状阶段三：1.1.伴生新的安全问题伴生新的安全问题2.2.合规、道德约束合规、道德约束可信任的安全智能=可信人工智能+安全场景可解释性性能安全性合法合规道德约束可审计p技术层面数据处理算法模型系统架构评估方法p非技术层面法规标准涵盖面最广，透明可解释是涵盖面最广，透明可解释是核心需求之一核心需求之一常被列为隐含选项，是安全常被列为隐含选项，是安全场景下需要优化的目标之一场景下需要优化的目标之一合规、合法、公平、可控、合规、合法、公平、可控、以人为本以人为本可信任的

4、核心需求与主要技可信任的核心需求与主要技术实现之一术实现之一提纲1可信任的安全智能2XAI与模型可解释性3XAI+Security实践XAI与模型可解释性2XAI定义pXAI(eXplainable Artificial Intelligence)XAI定义pXAI(eXplainable Artificial Intelligence)https:/www.darpa.mil/program/explainable-artificial-intelligenceBlack BoxMachine LearningProcessTraining DataLearnedFunctionToday

5、Why did you do that?Why not something else?When do you succeed?When do you fail?When can I trust you?How do I correct an error?Decision orRecommendationTaskUserXAI定义pXAI(eXplainable Artificial Intelligence)https:/www.darpa.mil/program/explainable-artificial-intelligenceNew Machine LearningProcessTra

6、ining DataXAI I understand why I understand why not I know when you succeed I know when you fail I know when to trust you I know why you erredTaskUserExplainable ModelExplanation Interface develop a range of new or modified machine learning techniques to produce more explainable models integrate sta