导语
真实场景中往往存在着测试分布与训练分布之间的分布偏移，如何利用异质数据学习具有良好分布外泛化能力的模型被称为分布外泛化问题。而如何从数据中学习稳定不变的预测关系一直以来是分布外泛化问题的核心。在本次分享中，我们将首先介绍不变性与因果性的关系，并且刻画并阐述数据异质性对于学习不变性的作用。此外，我们还将介绍经典的不变学习方法，以及其在潜在异质性下的拓展方法。最后，我们将介绍这些方法的发展方向与应用前景。
因果科学读书会第四季主要围绕因果表征学习引论、理论基础、技术框架，以及在机器学习领域和在工业界中的具体的应用进行深度探讨，系统梳理因果表征学习领域并促进相关的研究。自2022年12月31日开始，每周六晚上20:00-22:00举办，持续时间预计 10 周。欢迎对本话题感兴趣的朋友报名参加！
无监督解耦表征学习是深度学习领域中一个非常重要且有前途的研究方向。其主要目的是将数据的复杂表示分解成独立的隐变量，从而更好地表征数据。其中，以变分自编码器模型为基础的方法是一个研究热点。本次分享的论文——“Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations”对该领域的研究工作进行了大规模的比较，挑战了目前的假设，并为未来的研究提供了建议；“Robustly Disentangled Causal Mechanisms: Validating Deep Representations for Interventional Robustness”给表征学习提供了一个因果理论框架，其中包括解耦表征学习和领域迁移，进而为深度隐变量模型的定量评估引入一个新的指标。
与读书会整体的主题之间的关系
与读书会整体的主题之间的关系
与读书会之间的关系：无监督解耦表征学习和因果表征学习共同追求的目标是生成更好的数据表示。无监督解耦表征学习可以为因果表征学习提供基础，因为因果表征学习需要一种高效的数据表示，以便可以进行因果推理。
与复杂系统之间的关系：因果表征学习是连接因果科学、机器学习与复杂系统的桥梁，作为因果科学的前沿方法，与复杂系统中的因果涌现关系密切：涌现是从微观到宏观的产生过程， 这与因果表征学习恰好对应。因果表征表征学习也是一个从微观到宏观的学习过程，它从一些微观的信息 (比如图像或者音频) 中可以学到宏观的、可解释的因果变量，这也有望解决复杂系统中定量刻画涌现现象等问题。
主要涉及到的知识概念
主要涉及到的知识概念
变分自编码器 Variational AutoEncoder 解耦表征学习 Disentangled Representation Learning 深度生成模型 Deep Generative Model
分享简介
分享简介
参考文献：
具体的解读信息：本次分享论文一Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations， ICML 2019 best paper award。论文二Robustly Disentangled Causal Mechanisms: Validating Deep Representations for Interventional Robustness
论文一：无监督学习解耦表征的关键思想是，真实数据是由少数几个解释因素产生的，可以通过无监督学习算法识别出来。本次分享的文章对该领域的最新进展进行了冷静的分析，并对一些常见的假设提出了挑战。作者首先从理论上表明，如果没有对模型和数据的归纳偏见，无监督学习解耦表征上是不可能的。然后，作者在七个不同的数据集上进行了可重复的大规模实验研究，训练了12000多个模型，涵盖了六个主流方法和六个评价指标。实验结果显示这些方法的效果并不稳定，而且对下游任务没有明显帮助。 论文二：作者引入了一个统一的因果框架，预设数据生成过程有独立的因果机制，进而引入一个新的验证指标，即干预稳健性得分，并设计了一个高效的算法可以在真实数据集上计算这个分数。实验表明，干预稳健性是对既有解耦表征评价指标的补
分享大纲
分享大纲
论文一基本信息 Basic Information of Paper I 无监督解耦表征学习 Unsupervised Learning of Disentangled Representations 无监督解耦表征学习在理论上是不可能的 The Impossibility Theorem 论文涉及的方法 Investigated Methods
beta-VAE/AnnealedVAE/FactorVAE/TCVAE/DIP-VAE-I/DIP-VAE-II
实验 Experiments 论文二基本信息Basic Infomation of Paper II 背景介绍 Background 因果介绍Causal Perspective 干预稳健性Interventional Robustness: High-level idea 干预稳健性分数Interventional Robustness Score 解耦评估Disentanglement Estimation 实验Experiments
主持人简介
主持人简介
参考文献
参考文献
直播信息
直播信息
因果科学读书会第四季启动
因果科学读书会第四季主要围绕因果表征学习引论、理论基础、技术框架，以及在机器学习领域和在工业界中的具体的应用进行深度探讨，系统梳理因果表征学习领域并促进相关的研究。自2022年12月31日开始，每周六晚上20:00-22:00举办，持续时间预计 10 周。欢迎对本话题感兴趣的朋友报名参加！（附第四季资源列表）