Geometry of Projection

矩阵形式的样本回归方程写作

Y = X \hat{β} + e

考虑自变量矩阵分块 $X = [X_{1}, \dots, X_{k}]$ ，其中 $X_{j}$ 为第 $j$ 个自变量向量，每个自变量向量的维数都为 $n$ ，因此 $X b$ 可以表示 $k$ 个向量在 $n$ 维空间的张成空间，即 $s p a n (X_{1}, \dots, X_{k}) \in R^{n}$ ；Linear Projection 即在张成空间内找到一个距离 $Y$ 距离最近的向量定义为 $\hat{Y}$ 。换言之，设定 $Y$ 在 $s p a n (X)$ 上的投影为 $\hat{Y}$ （这是因为投影的距离最近），也就是向量 $X \hat{β}$ ，二者的距离为 $| e |$

根据立体几何原理， $e$ 应当垂直于整个张成空间，因此

\begin{aligned} X^{T} e & = 0_{k \times 1} \\ X^{T} (Y - X \hat{β}) & = 0 \\ X^{T} Y & = X^{T} X \hat{β} \\ \hat{β} & = {(X^{T} X)}^{- 1} (X^{T} Y) \end{aligned}

这里相当于为 Moment Estimation 赋予了一种几何意义。

Projection Matrix

定义投影矩阵

P \equiv X (X^{T} X)^{- 1} X^{T}

显然，投影矩阵对 $X$ 有类似×1的效果

PX = X (X^{T} X)^{- 1} X^{T} X = X

事实上，投影矩阵对任意 $Z = X Γ$ 有类似×1 的效果

PZ = X (X^{T} X)^{- 1} X^{T} X Γ = Z

特别地

\begin{matrix} PY = X (X^{T} X)^{- 1} X^{T} Y = X \hat{β} = \hat{Y} \\ Pe = P (Y - X \hat{β}) = \hat{Y} - X \hat{β} = 0 \end{matrix}

总之，投影的矩阵的几何意义是给出任意一个向量在 $s p a n (X)$ 的投影向量，若作用在本就处于张成空间内的向量自然就有还原效果。

投影矩阵的重要性质：对称幂等

$P$ is symmetric ( $P^{T} = P$ )
$P$ is idempotent ( $PP = P$ )（幂等）

投影矩阵的迹：

\begin{aligned} Tr (P) & = Tr (X (X^{T} X)^{- 1} X^{T}) \\ = Tr ((X^{T} X)^{- 1} X^{T} X) \\ = Tr (I_{k}) \\ = k \end{aligned}

(refer Trace Operator)
投影矩阵的迹表示了投影的维度，大小取决于 $s p a n (X)$ 的维度

Annihilator Matrix

定义消除矩阵

M \equiv I_{n} - P = I_{n} - X (X^{T} X)^{- 1} X^{T}

显然，消除矩阵对 $X$ 有类似 ×0 的效果

MX = (I_{n} - P) X = X - PX = X - X = 0

事实上，消除矩阵对任意 $Z = X Γ$ 有类似 ×0 的效果

MZ = Z - PZ = Z - Z = 0

特别地

\begin{matrix} MY = Y - PY = Y - \hat{Y} = e \\ Me = M (Y - X β) = e - 0 = e \end{matrix}

总之，消除矩阵的几何意义是给出任意一个向量到 $s p a n (X)$ 的距离向量，若作用在本就处于张成空间内的向量就得到零向量。

消除矩阵的重要性质：对称幂等

$M$ is symmetric ( $M^{T} = M$ )
$M$ is idempotent ( $MM = M$ )（幂等）

消除矩阵的迹：

\begin{aligned} Tr (M) & = Tr (I_{n} - P) \\ = Tr (I_{n}) - Tr (X (X^{T} X)^{- 1} X^{T}) \\ = Tr (I_{n}) - Tr ((X^{T} X)^{- 1} X^{T} X) \\ = Tr (I_{n}) - Tr (I_{k}) \\ = n - k \end{aligned}

(refer Trace Operator)

消除矩阵的迹表示了消除的维度，大小取决于到底消除了多数信息。一般地，若不存在完全共线性，消去 $m$ 个自变量信息的消除矩阵的迹为

Tr (M_{∖ m}) = n - m

P/M Matrix of Constant

特别地，令 $X = 1_{n}$ ，投影矩阵和消除矩阵为

\begin{aligned} P_{0} & = 1_{n} {(1_{n}^{T} 1_{n})}^{- 1} 1_{n}^{T} \\ M_{0} & = I_{n} - P_{0} = I_{n} - 1_{n} {(1_{n}^{T} 1_{n})}^{- 1} 1_{n}^{T} \end{aligned}

考虑 $P_{0}$ 的定义， $(1_{n}^{T} 1_{n})^{- 1} = \frac{1}{n}$ 而 $1_{n} 1_{n}^{T}$ 是一个所有元素全为 1 的 n×n 矩阵，后者右乘任意 n×1 的列向量都得到所有元素都为 n 维求和值列向量，再乘 $\frac{1}{n}$ 就得到 n 维平均值列向量；类似地，右乘任意 n×k 的矩阵就得到 n×k 的平均值矩阵（均值在列方向上取）。因此， $M_{0}$ 矩阵右乘任意 n×k 矩阵得到 n×k 的去均值矩阵。

定义 ${\bar{X}}_{i} = 1_{n} {\bar{X}}_{i}$ ，则有

\begin{aligned} P_{0} X & = [\begin{array}{c} {\bar{X}}_{1} & \dots & {\bar{X}}_{k} \end{array}] \\ M_{0} X & = [\begin{array}{c} (X_{1} - {\bar{X}}_{1}) & \dots & (X_{k} - {\bar{X}}_{k}) \end{array}] \\ P_{0} e & = \bar{e} = 0 \\ M_{0} e & = e \end{aligned}

由此可以证明均值点在回归线上

\bar{Y} = P_{0} Y = P_{0} (X β + e) = \bar{X} β ⟹ \bar{Y} = [\begin{matrix} {\bar{X}}_{1} & \dots & {\bar{X}}_{k} \end{matrix}] β

以及拟合值均值等于真值均值

\bar{Y} = P_{0} Y = P_{0} (\hat{Y} + e) = P_{0} \hat{Y} ⟹ \bar{Y} = \bar{\hat{Y}}

投影矩阵和消除矩阵的迹为

\begin{aligned} Tr (P_{0}) & = Tr (1) = 1 \\ Tr (M_{0}) & = Tr (I_{n}) - Tr (1) = n - 1 \end{aligned}