本文正在参加 人工智能创作者扶持方案

上一篇的综述论文读的比较懵。为此,从这一篇开始记载Judea Pearl的Causal Inference in Statistics: A Primer的阅览笔记,将经典的因果推断理论基础打好后再考虑机器学习领域的因果推断。

结构因果模型

  • 结构因果模型(Structural Causal Model, SCM)
    结构因果模型运用有向图(一般为有向无环图,Directed Acyclic Graph, DAG)来建模变量间的因果关系。

基本概念

  • 外源变量(exogenous variables)UU:处在模型之外(指模型中没有指向它的原因变量)的变量,无需建模其他变量指向它的因果。在因果有向图中,外源变量悉数为根节点。外源变量一般充当内源变量的差错项(在模型建模的因果关系外影响内源变量取值的要素)。
  • 内源变量(endogenous variables)VV:模型内(建模)的变量。每个内源变量被至少一个外源变量指向(存在有向边)。
  • 映射函数 ff:从原因变量到成果变量的映射函数,解说因果关系怎么发生作用。

乘积分解规矩

  • 乘积分解规矩(rule of product decomposition)
    运用因果变量间的条件概率的乘积分解一切变量的联合概率:
P(x1,x2,…,xn)=∏iP(xi∣pai)P(x_1,x_2,\ldots,x_n)=\prod_i P(x_i|pa_i)

其间paipa_i表明变量XiX_i的父节点变量的取值。例如,已知链状有向因果图X→Y→ZX\to Y\to Z,则它们的取值的联合概率为:

P(X=x,Y=y,Z=z)=P(X=x)P(Y=y∣X=x)P(Z=z∣Y=y)P(X=x,Y=y,Z=z) = P(X=x)P(Y=y|X=x)P(Z=z|Y=y)

有向图模型

  • 结构因果模型中的有向图模型及其使用
    依据图的构型,将有向图模型分为三类:
  • Chains:X→Y→ZX\to Y\to Z,链状衔接
  • Forks:X→Y,X→ZX\to Y, X\to Z,一个原因变量决议一切成果变量。其间那仅有的原因变量被称作common cause
  • Colliders:X→Z,Y→ZX\to Z, Y\to Z,一切原因变量决议一个成果变量(磕碰节点,collision node)
graph TB
Ux1((Ux1))
X1((X1))
Uy1((Uy1))
Y1((Y1))
Uz1((Uz1))
Z1((Z1))
Ux2((Ux2))
Uy2((Uy2))
X2((X2))
Y2((Y2))
Uz2((Uz2))
Z2((Z2))
Ux3((Ux3))
X3((X3))
Uy3((Uy3))
Y3((Y3))
Uz3((Uz3))
Z3((Z3))
X1-->Y1
Y1-->Z1
X2-->Y2
X2-->Z2
X3-->Z3
Y3-->Z3
Ux1-->X1
Uy1-->Y1
Uz1-->Z1
Ux2-->X2
Uy2-->Y2
Uz2-->Z2
Ux3-->X3
Uy3-->Y3
Uz3-->Z3

上图从左到右每个连通图依次为Chains, Forks, Colliders。其间U*表明外源变量。

Chains & Forks & Colliders 中的三条独立性规矩

R1. Chains中的条件独立性:给定两个变量XXYY,称它们在给定变量ZZ时是独立的,假如XXYY之间只要一条单向途径,并且该途径被ZZ切断。

解说:假如X→…→Z→…→YX\to…\to Z\to…\to YXXYY的途径只要这一条,那么他俩便是关于ZZ条件独立的。

R2. Forks中的条件独立性:假如变量XX是变量YY和变量ZZ的仅有原因变量,那么变量YYZZ是关于XX条件独立的。

了解:当XX固守时,仅有影响YYZZ的取值的只要它们各自的外源变量UyU_yUzU_z。因为UyU_yUzU_z是独立的(外源变量不依靠于任何其他变量),因而YYZZ是条件独立的。

R3. Colliders中的条件独立性:假如变量ZZXXYY的磕碰节点,并且XXYY之间只要这一条途径(留意,不仅是有向途径),那么XXYY在无条件时是独立的,但在给定ZZZZ的恣意后继节点时是条件不独立的。

了解:R3是对因果关系的研讨中极其重要的一条规矩!它可以了解为,假如成果变量ZZ是固定的,那么当XX的值改动时,需求改动YY的值,从而补偿XXZZ造成的影响。例如一次考试包括理论、试验两部分。那么“总分”便是“理论分”和“试验分”的磕碰节点。假如总分固定,且某人的理论分较高,那么它的试验分有必要较低从而使总分固定,反之亦然。那么理论分和试验分便是关于总分条件不独立的。

有向别离&有向衔接(d-*)

  • 有向别离:d-seperation(‘d’的意思是directional)用于识别节点对处于的状态(有向别离态或有向衔接态)的过程。
  • 有向衔接态:d-connected,表明存在衔接两个节点的途径。有向衔接态的节点对是不独立(一个依靠另一个)的。
  • 有向别离态:d-seperated,表明不存在衔接两个节点的途径。有向别离态的节点对一定是独立的。

判别一对节点是否是有向别离态的,其方法在于判别衔接它们的一切途径(留意,不是有向途径)是否都是阻断的(blocked)。假如一切途径都是阻断的,那么此二者便是有向别离态的,不然它们是有向衔接态的。

  • 假如“依靠性”不能从某个节点沿着经过节点ZZ(对ZZ不取条件)的途径传递到另一个节点,那么称ZZ阻断这条途径。
  • 被阻断的对象是衔接两个节点的一条途径,而不是两个节点。
  • 假如节点ZZ是节点XXYY的一条途径上的磕碰节点(collider),那么ZZ必定是可以阻断这条途径的。

除了磕碰节点,还有满意以下条件的节点可以阻断一条途径:

  • 假如咱们对一个节点集KK取条件(即固定节点集中的变量的值),且节点ZZ满意:
    • ZZ是磕碰节点且Z∉KZ\notin K,且ZZ的恣意后继节点都不归于KK
    • Z∈KZ\in KZZ是一个chain或fork的中间节点

满意上述恣意一种条件的节点ZZ都能阻断条件中提及的途径。

根据“阻断”的界说,咱们可以给出有向别离的界说:


界说(有向别离,d-separation):一条途径pp可以被一个节点集ZZ阻断,当且仅当:

  1. pp包括chain A→B→CA\to B\to C或fork A←B→CA\leftarrow B\to C使得中间节点B∈ZB\in Z(即BB取条件),或
  2. pp包括collider A→B←CA\to B\leftarrow C使得磕碰节点B∉ZB\notin Z,且BB的恣意后继节点都不归于ZZ

若上述节点集ZZ阻断节点XXYY之间的一切途径,那么称XXYY是关于ZZ有向别离的(d-separated, conditional on ZZ),因而是关于ZZ条件独立的。


参考文献

  1. Judea Pearl, Madlyn Glymour, Nicholas P.Jewell.Causal Inference in Statistics: A Primer.2016.WILEY

本文正在参加 人工智能创作者扶持方案