间奏：独立、均值独立与不相关

定义

随机变量 $X$ 与 $Y$ 是相互独立的，如果满足其一：

1↔2： $P (X | Y) = \frac{P (X Y)}{P (Y)} = P (X)$
2↔3：等式两边对 $X$ 和 $Y$ 求导/积分

随机变量 $X$ 与 $Y$ 是线性不相关的，如果满足其一：

1↔2：二者同号

随机变量 $X$ 与 $Y$ 是均值独立的，如果 $E [Y | X] = 0$

Theorem

相互独立 ⟹ 均值独立 ⟹ 线性不相关

【相互独立一定线性不相关】

\begin{aligned} C o v [X, Y] & = E (X Y) - E (X) E (Y) \\ = \int_{x} \int_{y} x y f_{X Y} (x, y) d x d y - \int_{x} x f_{X} (x) d x \int_{y} y f_{Y} (y) d y \\ = \int_{x} \int_{y} x y f_{X} (x) f_{Y} (y) d x d y - \int_{x} x f_{X} (x) d x \int_{y} y f_{Y} (y) d y \\ = E (X) E (Y) - E (X) E (Y) = 0 \end{aligned}

特别地，如果 $(X, Y) \sim N$ ，则独立↔不相关。

【均值独立一定线性不相关】

\begin{aligned} C o v [X, Y] & = E [(X - E [X]) (Y - E [Y])] \\ = E {E [(X - E [X]) (Y - E [Y])] ∣ X} \\ = E {(X - E [X]) E [Y - E [Y] ∣ X]} \\ = E {(X - E [X]) [E (Y ∣ X) - E (Y ∣ X)]} \\ = 0 \end{aligned}

联系 Linear CEF Model 中的 $E [e ∣ X] = 0$ 和 Linear Projection Model 中的 $C o v (X_{j}, e_{p}) = 0$ 可以发现前者是比后者更强的假设。

【相互独立一定均值独立】

\begin{aligned} E [Y | X] - E [Y] & = \int_{y} y \cdot \frac{p (x, y)}{p_{X} (x, y)} d y - \int_{y} y \cdot p_{Y} (x, y) d y \\ = \int_{y} y \cdot p_{Y} (x, y) d y - \int_{y} y \cdot p_{Y} (x, y) d y \\ = 0 \end{aligned}