德国著名机器学者Bernhard Schölkopf日前发表了一篇名为“Causality for Machine Learning”(http://t.cn/AigAU2xG)的综述文章。这篇综述文章很值得大家阅读。
在这篇综述文章中,作者表述了这么一些值得思考的观点:
第一,作者阐述了一个核心思想,那就是对因果关系(Causaility)的理解有助于建立模型的”不变性“(Invariant)和”健壮性“(Robustness)的理解。在这里,作者把对因果关系的理解上升到我们对于信息处理(Information Processing)这个更大命题的理解。具体说来,他类比了18世纪以来的工业革命中对于能量(Energy)这一重要概念的理解,从而认为信息也许和能量一样,不能被创造而只能被不断更改形式。能量的数学理解,特别是对于不同情况下的变换而守恒的精髓,有可能可以激发我们对于信息的理解。换句话说,作者认为我们需要去建立一套针对信息变换中如何也像能量守恒一样的守恒理解。这种信息守恒的核心关系也许就来自于因果关系的建立。
第二,作者开始谈论从统计模型(Statistical Models)到因果模型(Causal Models)的一个转变。作者认为过去一段时间来机器学习的成功主要是体现在对于IID(Independent and Identically Distributed)数据的处理,而对于非IID的数据,我们目前的处理方法并不多也不见得很有效。作者认为因果模型,特别是SCM(Structural Causal Models)提供了一种可以对现实中的不同假设,特别是某种因果假设进行处理的新的框架。
第三,作者认为目前有好几种不同层次的因果建模(Causal Modeling)机制。最直接的应该是物理模型(Mechanistic/Physical Model)。这一类模型直接对于物理现实甚至是物理世界的运行机理进行建模,并且有可能还对于时间对于物理世界的运行有精确的描述。最不直接的应该就是统计建模,也就是我们常说的机器学习。这一类模型主要是通过大量数据而得到某一些变量之间的相关性(Association)信息。
第四,作者开始建立一种叫做独立因果机制(Independent Causal Mechanism)的概念。这是作者对于第一点中所说的模型不变性所提出的一种具体的解决框架。独立因果机制总的理念是认为一个系统的因果产生机制是来源于互相不进行影响的子模块。换句话说,如果一个变量对于结果的影响不应该受到其他变量的变化而变化。这是作者对于模型不变性和因果关系所建立的直接关联。
第五,作者对于机器学习可以帮助发现因果关系(Causal-Effect Discovery)进行了简单的阐述。这里面的重要思想是对于函数类别(Function Class)进行进一步的限制和假设。
第六,作者又回到了关于模型不变性以及模型健壮性的讨论。在这部分的讨论中,作者把半监督学习(Semi-supervised Learning)、多任务学习(Multi-task Learning)和强化学习(Reinforcement Learning)中的多个观点和学习模型不变性结合起来,可以说是为这些传统的机器学习领域和因果建模进行结合提供了一系列崭新的思路。
最后,作者讨论了因果表示学习(Causal Representation Learning)的一些新思想。简单说来,作者认为,因果关系的建立,特别是SCM和产生式建模(Generative Modeling)有非常紧密的联系。而表示学习是今年来机器学习得以大规模进步的一个重要思想。能把表示学习和因果建模挂钩,可以说是作者极力推崇的一个新研究方向。
这篇文章有很多引文,所以作为这个方向的入门读物是一个不错的选择。
作者还在2017年合著过Elements of Causal Inference: Foundations and Learning Algorithms(http://t.cn/AigO36ha)一书,也是作者在因果推断方向的一部力作。推荐阅读。
