随机变量的特征和性质

基本特征

设 $X$ 和 $Y$ 是两个连续随机变量，联合概率密度函数（joint PDF）为 $f_{X, Y} (x, y)$ ，满足

\int_{y} \int_{x} f_{X, Y} (x, y) d x d y = 1

$X$ 的边际概率密度函数（marginal PDF）为

f_{X} (x) \equiv \int_{- \infty}^{\infty} f (x, y) d y

$X$ 的期望（expectation）为

E (X) \equiv \int_{x} x \cdot f_{X} (x) d x

$X$ 的方差（variance）为

V a r (X) \equiv E [(X - E (X))^{2}] = E (X^{2}) - E (X)^{2}

$Y$ 和 $X$ 的协方差（covariance）为

C o v (Y, X) \equiv E {[Y - E (Y)] [X - E (X)]} = E (X Y) - E (X) (Y)

给定 $X = x$ 时， $Y$ 的条件概率密度函数（conditional PDF）为

f_{Y ∣ X} (y ∣ x) \equiv \frac{f (x, y)}{f_{X} (x)}

根据这个定义可以得到贝叶斯定理（Bayes' theorem）

f (x, y) = f_{Y ∣ X} (y ∣ x) \cdot f_{X} (x) = f_{X ∣ Y} (x ∣ y) \cdot f_{Y} (y)

$Y$ 的条件期望（conditional expectation）为

E [Y ∣ X = x] = \int_{y} y \cdot f_{Y ∣ X} (y ∣ x) d y

$Y$ 给定 $X$ 的条件方差（conditional variance）为

V a r [Y ∣ X] = E {[Y - E (Y ∣ X)]^{2} ∣ X} = E (Y^{2} ∣ X) - [E (Y ∣ X)]^{2}

对于随机变量 $X$ 的任意函数 $g (X)$ ，

E [g (X) ∣ X] = g (X)

对于随机变量 $X$ 的任意函数 $a (X)$ 和 $b (X)$ ，

E [a (X) Y + b (X) ∣ X] = a (X) E [Y ∣ X] + b (X)

如果随机变量 $X$ 和 $Y$ 相互独立，

E [Y ∣ X] = E [Y]

对于随机变量 $X$ 的任意函数 $a (X)$ 和 $b (X)$ ，

V a r [a (X) Y + b (X) ∣ X] = [a (X)]^{2} V a r (Y ∣ X)

如果随机变量 $X$ 和 $Y$ 相互独立，

V a r [Y ∣ X] = V a r [Y]

方差分解定理：

V a r (Y) = E [V a r (Y ∣ X)] + V a r [E (Y ∣ X)]

证明：

\begin{aligned} V a r (Y) & = E (Y^{2}) - E (Y)^{2} \\ = E [E (Y^{2} ∣ X)] - E [E (Y ∣ X)]^{2} \\ = E [E (Y^{2} ∣ X)] - E [E (Y ∣ X)^{2}] + E [E (Y ∣ X)^{2}] - E [E (Y ∣ X)]^{2} \\ = E [E (Y^{2} ∣ X) - E (Y ∣ X)^{2}] + {E [E (Y ∣ X)^{2}] - E [E (Y ∣ X)]^{2}} \\ = E [V a r (Y ∣ X)] + V a r [E (Y ∣ X)] \end{aligned}