因果性学习初探.pdf

《因果性学习初探.pdf》由会员分享，可在线阅读，更多相关《因果性学习初探.pdf（40页珍藏版）》请在三个皮匠报告上搜索。

1、因果性学习初探蔡瑞初数据挖掘与信息检索实验室广东工业大学什么是因果性学习？2 人类是如何学习的？什么是因果性学习人类学习人类学习技能下棋、游戏、驾驶书籍观察实验 人类是如何学习的？什么是因果性学习人类学习人类学习机器学习（相关性）技能下棋、游戏、驾驶书籍观察实验数据模型 认知：视频分析、图像识别 决策：游戏、驾驶相关性学习 人类是如何学习的？什么是因果性学习人类学习人类学习机器学习（相关性）技能下棋、游戏、驾驶书籍观察实验数据模型 认知：视频分析、图像识别 决策：游戏、驾驶相关性学习机器学习（因果性）数据知识行为模型 认知：视频分析、图像识别 决策：游戏、驾驶因果性学习 更强的泛化性为什么需要

2、因果性学习6 6沙漠驼峰骆驼沙漠驼峰骆驼相关性因果性为什么需要因果性学习 更好的可解释性:7?相关性因果性为什么需要因果性学习 更容易的先验引入方式:8?因果知识数据拟合能力数据与知识混合驱动的机器学习有哪些因果性学习方法9基于先验因果结构的因果性学习方法已知因果结构问题：因果知识如何利用？思路：因果结构+深度学习基于因果发现的因果性学习方法未知因果结构问题：因果知识哪里来？+怎么利用？思路：因果发现+（因果结构+深度学习）基于先验因果结构的因果性学习方法10 Traditional supervised learning：Might not be the case in practice:基

3、于先验因果结构的因果性学习方法：领域自适应11Source(Train)Target(Test)Domain adaptation基于先验因果结构的因果性学习方法：候选的因果结构 Domain Adaptation in Causal View:Graphical Model12Zhang,Kun,et al.Domain adaptation under target and conditional shift.International Conference on Machine Learning.PMLR,2013.DXYCovariate ShiftTarget ShiftDYXDYX

4、Conditional ShiftDYXGeneralized Target Shiftdomainfeaturelabel基于先验因果结构的因果性学习方法：候选的因果结构 Domain Adaptation in Causal View:Graphical Model13Zhang,Kun,et al.Domain adaptation under target and conditional shift.International Conference on Machine Learning.PMLR,2013.DXYCovariate ShiftTarget ShiftDYXDYXCon

5、ditional ShiftDYXGeneralized Target Shiftdomainfeaturelabel基于先验因果结构的因果性学习方法：DSR From the causal view,the latent domain representation and the sematic representation are disentangled14Entangledand distorted feature space Cai R,Li Z et al.Learning disentangled semantic representation for domain adapta

6、tionC.IJCAI 2019domain latent representationfeature space基于先验因果结构的因果性学习方法：DSR From the causal view,the latent domain representation and the sematic representation are disentangled15Entangledand distorted feature space Cai R,Li Z et al.Learning disentangled semantic representation for domain adaptati

7、onC.IJCAI 2019domain latent representationfeature spaceCausal view of the generation process基于先验因果结构的因果性学习方法：DSR From the causal view,the latent domain representation and the sematic representation are disentangled16Disentangledlatent representationEntangledand distorted feature space Cai R,Li Z et

8、al.Learning disentangled semantic representation for domain adaptationC.IJCAI 2019semantic latent representation domain latent representation domain latent representationfeature spaceCausal view of the generation process基于先验因果结构的因果性学习方法：DSR Solution:using VAE to disentangle the latent representation

9、 with the help of the causal structure 17Cai R,Li Z et al.Learning disentangled semantic representation for domain adaptationC.IJCAI 2019基于先验因果结构的因果性学习方法：DSAN 单一的特征提取器不能提取领域不变的特征 修改因果图18?,?|?Stojanov,Petar,Zijian Li,Mingming Gong,Ruichu Cai,Jaime Carbonell,and Kun Zhang.Domain Adaptation with Invari

10、ant Representation Learning:What Transformations to Learn?.Advances in Neural Information Processing Systems 34(2021).基于先验因果结构的因果性学习方法：DSAN 通过少数修改将191.Encoder 中引入domain 信息3.约束domain对于z-x过程影响很小，即z依然保留y的信息（类似风格迁移的思路）2.Decoder 中模仿conditional shift的数据生成过程，即,Stojanov,Petar,Zijian Li,Mingming Gong,Ruichu

11、Cai,Jaime Carbonell,and Kun Zhang.Domain Adaptation with Invariant Representation Learning:What Transformations to Learn?.Advances in Neural Information Processing Systems 34(2021).基于先验因果结构的因果性学习方法：more examples 进一步引入intervention 操作20Kun Kuang,Peng Cui,Susan Athey,Ruoxuan Xiong and Bo Li.Stable Pred

12、iction across Unknown Environments.KDD,2018Kaihua Tang,Jianqiang Huang,and Hanwang Zhang.Long-tailed classification by keeping the good and removing the bad momentum causal effect.“NeurIPS 2020Yang Zhang,Fuli Feng,et al.Causal intervention for leveraging popularity bias in recommendation.SIGIR 2021.

13、Stable LearningIn Computer VisionIn Recommendation基于先验因果结构的因果性学习方法：有待解决的问题 给定的因果图可识别吗？21Cai et.al IJCAI 2019Kong et.al ICML2022Li et.al NeurIPS2023基于先验因果结构的因果性学习方法：有待解决的问题 一些初步的结果：inductive biases+explicit supervision22Locatello,Francesco,et al.“Challenging common assumptions in the unsupervised lea

14、rning of disentangled representations.”ICML best paper，2019.基于先验因果结构的因果性学习方法：有待解决的问题 一些初步的结果23Shu,R.,Chen,Y.,Kumar,A.,Ermon,S.,&Poole,B.,“WEAKLY SUPERVISED DISENTANGLEMENT WITH GUARANTEES”ICLR2020基于先验因果结构的因果性学习方法:有待解决的问题 到底需要多少监督信号？242n+1 Supervised Signaln+1 Supervised SignalLingjing Kong,Shaoan Xi

15、e,Weiran Yao,Yujia Zheng,Guangyi Chen,Petar Stojanov,Victor Akinwande,Kun Zhang Partial Disentanglement for Domain Adaptation.ICML2022Zijian Li,Ruichu Cai,Guangyi Chen,Boyang Sun,Zhifeng Hao,Kun Zhang.Subspace Identification for Multi-Source Domain Adaptation.NeurIPS2023基于因果发现的因果性学习方法25基于因果发现的因果性学习方

16、法：时间序列挑战 Challenges in time series domain adaptation多种偏移：不同的偏移(Offset),值域(Value Range)和不同变量之间的时延(Response Time).复杂依赖：即使一阶markov，第一时刻也会影响整个序列26Causal Mechanism Transfer Network for Time Series Domain Adaptation in Mechanical Systems.TIST.Zijian li,Ruichu Cai,Hongwei Ng.and etc.基于因果发现的因果性学习方法：数据生成过程的启

17、发27 现实世界的数据生成过程共享的因果机制不同场景下的体现基于因果发现的因果性学习方法：SASA Sparse Associated Structure Alignment28不同领域的时序数据有着不同的偏移(Offset),值域(Value Range)和不同变量之间的时延(Response Time).因果结构难以获得情况下，我们通过稀疏相关结构对齐的方法解决时序迁移的问题Time Series Domain Adaptation via Sparse Associative Structure Alignment.AAAI 2020.Ruichu Cai,Jiawei Chen,Zij

18、ian Li,Wei Chen,Jie Qiao,Keli Chen,Junjian Ye,Zhuozhang Li,Xiaoyan Yang,Zhenjie Zhang基于因果发现的因果性学习方法：SASA Sparse Associated Structure Alignment29Time Series Domain Adaptation via Sparse Associative Structure Alignment.AAAI 2020.Ruichu Cai,Jiawei Chen,Zijian Li,Wei Chen,Jie Qiao,Keli Chen,Junjian Ye,Z

19、huozhang Li,XiaoyanYang,Zhenjie Zhang通过注意力机制，求出不同时间序列之间的稀疏相关矩阵，通过相关矩阵对齐的方法，解决时序迁移问题基于因果发现的因果性学习方法：GCA Granger Causality Alignment30Transferable Time-Series Forecasting under Causal Conditional Shift.Under Submission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun Zhang?Causal Structure asLatent Variables?基于

20、因果发现的因果性学习方法：GCA Granger Causality Alignment31Transferable Time-Series Forecasting under Causal Conditional Shift.Under Submission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun Zhang基于因果发现的因果性学习方法：GCA Granger Causality Alignment32Transferable Time-Series Forecasting under Causal Conditional Shift.Under Su

21、bmission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun Zhang基于因果发现的因果性学习方法：GCA Generalization bound for Semi-supervised Time-series Domain adaptation33Transferable Time-Series Forecasting under Causal Conditional Shift.Under Submission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun ZhangCausal Structures Discrep

22、ancy 基于因果发现的因果性学习方法：GCA Granger Causality Alignment34Transferable Time-Series Forecasting under Causal Conditional Shift.Under Submission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun Zhang基于因果发现的因果性学习方法：GCA Granger Causality Alignment35在人体骨架行为序列迁移任务中，因为人体关节本质上是一种因果结构，我们的方法取得更好的效果。在空气质量预测数据集上，我们在解决PM2.5预测

23、任务的同时，揭露了PM2.5产生的机制Transferable Time-Series Forecasting under Causal Conditional Shift.Under Submission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun Zhang基于因果发现的因果性学习方法：有待解决的问题36因果发现算法的局限因果发现和深度学习融合的困难因果发现往往具有强假设机器学习往往是开放问题因果发现普遍依赖独立检验等工具机器学习普遍基于优化方法强假设与开放场景之间的矛盾两类方法基础工具方法的不调和小结37基于先验因果结构的因果性学习方法可能路径：通过引

24、入领域知识/归纳偏置提升泛化性/解决数据偏差有待解决：模型的可识别性基于因果发现的因果性学习方法可能路径：通过挖掘数据内在因果结构提升泛化性/可解释性有待解决：开放场景的因果发现算法+因果发现与深度学习的融合Causality+AI=Toward General AI？基于探索的因果性学习方法？可能路径：通过因果强化学习等探索策略解决未知环境学习问题？读书观察尝试causal-learn:因果发现算法平台 基于Python实现了经典和部分最新的因果学习算法。其中包含了因果发现的经典算法与API，并且提供了模块化的代码 GitHub:https:/ 文档:https:/causal-learn.

25、readthedocs.io/en/latest/简单使用案例：https:/ causal-learn支持：基于约束的因果发现方法（Constrained-based causal discovery methods）:PC、FCI、CD-NOD算法等；基于评分的因果发现方法（Score-based causal discovery methods）：包含BIC、BDeu、generalizedscore等评分的GES算法；基于函数因果模型的因果发现方法（Functional causal models-based causal discovery methods）:LiNGAM及其拓展方法、ANM、PNL等；隐因果表征学习方法（Hidden causal representation learning）：GIN方法；格兰杰因果分析（Granger causal analysis）；多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标；更多最新的因果发现算法，如gradient-based methods等。3940Thanks&questions？Resources:email:codes:https:/