依分布收敛和中心极限定理

依分布收敛

定义若随机变量序列 ${X_{n}}$ 对应服从累计分布函数序列 ${F_{n} (x)}$ ，而另一个随机变量 $X$ 服从连续的累计分布函数 $F (x)$ ，对于任意 $x$ 满足

lim_{n \to \infty} F_{n} (x) = F (x)

则称该序列依分布收敛（convergence in distribution）于 $X$ ，记作 $X_{n} \overset{d}{\to} X$

定理若 ${X_{n}}$ 和 ${Y_{n}}$ 是两个随机变量序列，满足 $X_{n} \overset{d}{\to} X$ 和 $Y_{n} \overset{p}{\to} c$ ，而 $g (\cdot)$ 是一个连续函数，则

$g (X_{n}) \overset{d}{\to} g (X)$
$X_{n} + Y_{n} \overset{d}{\to} X + c$
$X_{n} Y_{n} \overset{d}{\to} c X$
$\frac{X_{n}}{Y_{n}} \overset{d}{\to} \frac{X}{c}$ if $c \neq 0$

特别地，CLT 给出 $\sqrt{n} ({\bar{X}}_{n} - μ) \overset{d}{\to} N (0, σ^{2})$ 、WLLN 给出 $s^{2} \overset{p}{\to} σ^{2}$ ，因此

\frac{\sqrt{n} ({\bar{X}}_{n} - μ)}{s^{2}} \overset{d}{\to} N (0, 1)

中心极限定理

定理若 $X$ 是一个随机变量，方差 $σ^{2}$ 有限（因此期望 $μ$ 有限），其 i.i.d 样本设为 ${X_{1}, \dots, X_{n}}$ ，则样本均值 ${\bar{X}}_{n} = \frac{1}{n} \sum_{i}^{n} X_{i}$ 满足

\frac{{\bar{X}}_{n} - μ}{\sqrt{V a r ({\bar{X}}_{n})}} = \frac{\sqrt{n} ({\bar{X}}_{n} - μ)}{σ} \overset{d}{\to} N (0, 1)

或

\sqrt{n} ({\bar{X}}_{n} - μ) \overset{d}{\to} N (0, σ^{2})

或

{\bar{X}}_{n} \overset{d}{\to} N (μ, \frac{σ^{2}}{n})

定理若 $X$ 是一个随机向量，协方差矩阵 $Σ = E [(X - μ) (X - μ)^{T}]$ 有限，其 i.i.d 样本设为 ${X_{1}, \dots, X_{n}}$ ，则样本均值 ${\bar{X}}_{n} = \frac{1}{n} \sum_{i}^{n} X_{i}$ 满足

\sqrt{n} ({\bar{X}}_{n} - μ) \overset{d}{\to} N (0, Σ)