总体与样本

定义

总体（Population）是一组随机变量（Random Variable），可以理解为一种数据生成过程（Data Generating Process）。

在回归分析中，总体一般记作 $(Y,X)$，其中 $Y$ 是一个随机变量，$X$ 是一个随机变量或随机向量。随机向量 $X$ 记作 $X=(X_1,X_2,\dots ,X_k{)}^T$。

样本（Sample）既可以在理论分析中（事前）看作一组随机变量，也可以在统计分析中（事后）看作一个数据集（Dataset）。

一般地，样本可以记作 $\{(Y_i,X_i):i=1,\cdots ,n\}$，其中 $(Y_i,X_i)$ 称为一个观测值（Observation）。随机向量 $X_i$ 表示 $(X_{1i},X_{2i},\dots ,X_{ki}{)}^T$。

常见地，样本可以记作 $(\mathbf{Y},\mathbf{X})$。其中，$\mathbf{Y}=(y_1,y_2,\dots ,y_n{)}^T$ 是因变量数据向量；$\mathbf{X}$ 是自变量数据向量或数据矩阵。数据矩阵 $\mathbf{X}$ 的每个列分块是一个自变量数据向量，记作 $\mathbf{X}=({\mathbf{X}}_1,{\mathbf{X}}_2,{\mathbf{X}}_3,\dots ,{\mathbf{X}}_k)$，其中

注意区别，$X_i$ 包含观测值 $i$ 的所有自变量，为 $(k\times 1)$ 列向量；${\mathbf{X}}_j$ 包含自变量 $j$ 的所有观测值，为 $(n\times 1)$ 列向量。

样本往往被假设为是独立同分布的（independent and identically distributed，i.i.d），即如果 $(Y,X)\sim F$ ，则 $(Y_i,X_i)\sim F$ ，且各观测值之间相互独立。

违背独立同分布假设的情形：

• spatial
• time-series
• network
• clustered