依概率收敛和弱大数定律

依概率收敛

定义若随机变量序列 ${X_{n}}$ 和另一个随机变量 $X$ 对于任意 $ε > 0$ 满足

lim_{n \to \infty} P (| X_{n} - X | > ε) = 0

则称该序列依概率收敛（convergence in probability）于 $X$ ，记作 $X_{n} \overset{p}{\to} X$

定理若 ${X_{n}}$ 和 ${Y_{n}}$ 是两个随机变量序列，满足 $X_{n} \overset{p}{\to} a$ 和 $Y_{n} \overset{p}{\to} b$ ，而 $g (\cdot)$ 是一个连续函数，则

定理若 $X$ 是一个随机变量，方差 $σ^{2}$ 有限（因此期望 $μ$ 有限），其 i.i.d 样本设为 ${X_{1}, \dots, X_{n}}$ ，则样本均值 ${\bar{X}}_{n} = \frac{1}{n} \sum_{i}^{n} X_{i}$ 满足

{\bar{X}}_{n} \overset{p}{\to} μ

证明根据定义可知 $E ({\bar{X}}_{n}) = μ$ 以及 $V a r ({\bar{X}}_{n}) = \frac{σ^{2}}{n}$ ，使用 Chebyshev’s inequality

P (| {\bar{X}}_{n} - μ | \geq t) \leq \frac{V a r ({\bar{X}}_{n})}{t^{2}} = \frac{σ^{2}}{n t^{2}}

当 $n \to \infty$ 时，不等式右侧趋近于零，证毕。

定理样本 $k$ 阶中心距依概率收敛于总体 $k$ 阶中心距

\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - {\bar{X}}_{n})^{k} \overset{p}{\to} E (X - μ)^{k}

证明

\begin{aligned} \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - {\bar{X}}_{n})^{k} & = \frac{1}{n} \sum_{i = 1}^{n} [\sum_{j = 0}^{k} (\binom{n}{k}) X_{i}^{j} (- {\bar{X}}_{n})^{k - j}] \\ = \sum_{j = 0}^{k} [(\binom{n}{k}) (\frac{1}{n} \sum_{i = 1}^{n} X_{i}^{j}) (- {\bar{X}}_{n})^{k - j}] \\ \overset{p}{\to} \sum_{j = 0}^{k} [(\binom{n}{k}) E (X^{j}) (- μ)^{k - j}] = E (X - μ)^{k} \end{aligned}

特别地，样本方差依概率收敛于总体方差：

\begin{aligned} \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - {\bar{X}}_{n})^{2} & \overset{p}{\to} E (X - μ)^{2} \\ s^{2} & \overset{p}{\to} σ^{2} \end{aligned}

根据依概率收敛的性质，显然也有 $s \overset{p}{\to} σ$