部分可观下APT攻击行为捕获：马尔可夫决策助力AI模型_孟雷（29页）.pdf

1、部分可观下APT攻击行为捕获：马尔可夫决策助力AI模型孟雷孟雷斗象科技高级机器学习专家（照片部分由主办方添加）AgendaAPT威胁严峻AI模型助力APT检测马尔可夫决策助力AI模型Data Exfiltration 检测与防御总结极光行动（2009-2019）夜龙行的（2007-2011）沙虫（2009-2019）震网（2006-2010）Duqu（2007-2012）火焰（2010-2012）高斯（2010-2011）黑袋行动（2010-2011）索尼事件（2014）TAO攻击（1998-2013）KBS事件（2003-2013）Hearbeat（2009-2012）Hangover（20

2、10-2013）Darkhotel APT（2018-2019）海莲花（2012-2018）Winnti（2009-2013）Safe行动（2012-2013）RSA入侵（2011）APT1（2009-2019）乌克兰电网攻击（2015.12）响尾蛇APT（2012-2019）网络旅行者（2004-2013）全球高级持续威胁（APT）以精确打击要害及核心信息窃取为主要目，对企业网络安全，信息资产安全构成严重威胁。APT|威胁持续中Social EngineeringSpear phishing0-Day ExploitsCustom MalwareMalware Variants metamo

3、rphism&packerConvert/Encrypted Tunnel攻击行为挖掘|Cyber Kill Chain and ATT&CK智能检测|基于人工智能和大数据的威胁分析检测AI模型平台漏洞盒子安全专家 C&C 连接 内部异常访问 异常数据传输网络流量分析 邮件附件 Web页面下载文件 其它文件文件分析智能检测|基于人工智能的威胁检测建模监督学习DGA检测模型DNS隧道检测模型恶意加密流量检测非监督学习Webshell检测模型异常流量检测模型ICMP隧道检测深度学习恶意文件检测模型僵尸网络检测恶意文件家族检测Decision Tree Random forestlogistics

4、regressionIsolation forest k-means SVM检测能力/时间复杂性困境|未知的威胁严峻，防御是与时间赛跑有效处理有效告警没有告警误报造成的平均损失:每年130万美元19%40%4%快速响应平均降低了40%的成本反应慢造成的损失:成本增加40%40%新型攻击：隐蔽 伪装APT 0day 渗透入侵无处不在挑战|海量告警响应&模型准确性提升无法及时响应，资产数据已受损模型存在噪声模型运算成本提升模型准确性快速响应部分可观环境（检测模型存在噪声）弱智能体强智能体解决|构造一个强智能体analyze，block，passnormal，anomalyState:blockin

5、g，passing计算资源、算力、分析损耗DGA模型恶意文件模型Webshell模型DNS隧道模型ICMP隧道模型加密流量模型Mysql模型含噪音的AI模型集RewardObservationAction部分可观马尔可夫决策马尔可夫模型|MC HMM MDP POMDPNo observation uncertainty,with decisionWith observation uncertainty,no decisionWith both observation uncertainty and decisionMarkov Chain(MC)Hidden Markov Model(HMM

6、)Markov Decision Process(MDP)Partially Observable Markov Decision Process(POMDP)WORLDTransition DynamicsObservationRewardActionSEPolicybAgentPOMDP 通过六元组（S，A，T，R，Z，O）表示一个序贯决策过程。相对于MDP，智能体并无法直接观察目前状态，必须根据部分区域观测结果推断状态的分布。S是有限集，其中sS代表一个状态A是有限集，其中aA代表一个行动T：SA(S)称为状态转移函数，用T(s,a,s)表示在状态s上执行a达到s的概率P(s|s,a)R