随机变量的概率特征

无条件特征

假设连续型随机变量 $(X, Y)$ 的联合概率密度函数（joint probability density function）为 $p (x, y)$

$X$ 的边缘概率密度函数（marginal probability density function）为

p_{X} (x) \equiv \int_{- \infty}^{\infty} p (x, y) d y

$X$ 的期望（expectation）为

E (X) \equiv \int_{x} x \cdot p_{X} (x) d x

$X$ 的方差（variation）为

V a r (X) \equiv E [(X - E (X))^{2}] = E (X^{2}) - E (X)^{2}

$Y$ 和 $X$ 的协方差（covariation）为

C o v (Y, X) \equiv E {[Y - E (Y)] [X - E (X)]} = E (X Y) - E (X) (Y)

$Y$ 给定 $X$ 的条件概率密度函数（conditional probability density function）为

p_{Y ∣ X} (x, y) \equiv \frac{p (x, y)}{p_{X} (x, y)}

根据这个定义可以得到贝叶斯定理（Bayes' theorem）

p (x, y) = p_{Y ∣ X} (x, y) \cdot p_{X} (x) = p_{X ∣ Y} (x, y) \cdot p_{Y} (y)

$Y$ 给定 $X$ 的条件期望（conditional expectation）为

E [Y ∣ X = x] = \int_{y} y \cdot p_{Y ∣ X} (x, y) d y

Tip

对于任意一个实数 $x$ 都仅存在一个实数 $E [Y ∣ X = x]$ 与之对应，因此也可以称之为条件期望函数（conditional expectation function）；若写为 $E [Y ∣ X]$ 则表示随机变量到随机变量的映射。

$Y$ 给定 $X$ 的条件方差（conditional variation）为

V a r [Y ∣ X] = E {[Y - E (Y ∣ X)]^{2} ∣ X} = E (Y^{2} ∣ X) - [E (Y ∣ X)]^{2}

性质 1

V a r [a (X) Y + b (X) ∣ X] = [a (X)]^{2} V a r (Y ∣ X)

性质 2

V a r (Y) = E [V a r (Y ∣ X)] + V a r [E (Y ∣ X)]

证明 2

\begin{aligned} V a r (Y) & = E (Y^{2}) - E (Y)^{2} \\ = E [E (Y^{2} ∣ X)] - E [E (Y ∣ X)]^{2} \\ = E [E (Y^{2} ∣ X)] - E [E (Y ∣ X)^{2}] + E [E (Y ∣ X)^{2}] - E [E (Y ∣ X)]^{2} \\ = E [E (Y^{2} ∣ X) - E (Y ∣ X)^{2}] + {E [E (Y ∣ X)^{2}] - E [E (Y ∣ X)]^{2}} \\ = E [V a r (Y ∣ X)] + V a r [E (Y ∣ X)] \end{aligned}