Frisch-Waugh-Lovell Theorem

分块回归

考虑回归模型

Y = X_{1} {\hat{β}}_{1} + X_{2} {\hat{β}}_{2} + e

根据参数估计量的定义可得

\begin{aligned} X^{T} X \hat{β} & = X^{T} Y \\ [\begin{array}{c} X_{1}^{T} X_{1} & X_{2}^{T} X_{2} \\ X_{2}^{T} X_{1} & X_{2}^{T} X_{2} \end{array}] [\begin{array}{c} {\hat{β}}_{1} \\ {\hat{β}}_{2} \end{array}] & = [\begin{array}{c} X_{1}^{T} Y \\ X_{2}^{T} Y \end{array}] \end{aligned}

因此有

\begin{matrix} (1) & X_{1}^{T} X_{1} {\hat{β}}_{1} + X_{2}^{T} X_{2} {\hat{β}}_{2} = X_{1}^{T} Y \\ (2) & X_{2}^{T} X_{1} {\hat{β}}_{1} + X_{2}^{T} X_{2} {\hat{β}}_{2} = X_{2}^{T} Y \end{matrix}

由 $(1)$ 可得

{\hat{β}}_{1} = (X_{1}^{T} X_{1})^{- 1} X_{1} (Y - X_{2} {\hat{β}}_{2})

代入 $(2)$ 可得

\begin{aligned} X_{2}^{T} X_{1} (X_{1}^{T} X_{1})^{- 1} X_{1} (Y - X_{2} {\hat{β}}_{2}) + X_{2}^{T} X_{2} {\hat{β}}_{2} & = X_{2}^{T} Y \\ X_{2}^{T} P_{1} Y - X_{2}^{T} P_{1} X_{2} {\hat{β}}_{2} + X_{2}^{T} X_{2} {\hat{β}}_{2} & = X_{2}^{T} Y \\ X_{2}^{T} P_{1} Y + X_{2}^{T} (I - P_{1}) X_{2} {\hat{β}}_{2} & = X_{2}^{T} Y \\ X_{2}^{T} M_{1} X_{2} {\hat{β}}_{2} & = X_{2}^{T} M_{1} Y \end{aligned}

类似地可以得出 ${\hat{β}}_{1}$ ，最终解得

{\begin{cases} {\hat{β}}_{1} = {(X_{1}^{T} M_{2} X_{1})}^{- 1} (X_{1}^{T} M_{2} Y) \\ {\hat{β}}_{2} = {(X_{2}^{T} M_{1} X_{2})}^{- 1} (X_{2}^{T} M_{1} Y) \end{cases}

由于消除矩阵是对称幂等的，所以 ${\hat{β}}_{1}$ 可以看作 $M_{2} Y$ 对 $M_{2} X_{1}$ 回归得到的参数估计量；类似地， ${\hat{β}}_{2}$ 可以看作 $M_{1} Y$ 对 $M_{1} X_{2}$ 回归得到的参数估计量。其中

{\begin{cases} M_{1} = I_{n} - X_{1} (X_{1}^{T} X_{1})^{- 1} X_{1}^{T} \\ M_{2} = I_{n} - X_{2} (X_{2}^{T} X_{2})^{- 1} X_{2}^{T} \end{cases}

从几何的角度， $M$ 给出向量到 $s p a n (X)$ 的距离向量； $M_{j}$ 给出向量到 $X_{j}$ 的距离向量；从信息量的角度， $M_{j}$ 消去了 $X_{j}$ 的信息。

特别地，如果 $X_{1}$ 和 $X_{2}$ 不相关，即 $X_{1}^{T} X_{2} = 0 ⟹ M_{2} X_{1} = X_{1}$ ，此时

{\hat{β}}_{1} = {(X_{1}^{T} X_{1})}^{- 1} (X_{1}^{T} Y)

说明 $Y$ 对 $X_{1}$ 和 $X_{2}$ 回归和 $Y$ 单独对 $X_{1}$ 回归得到的系数一致；换言之，加入和解释变量不相关的变量不影响该变量的回归系数。

Frisch-Waugh-Lovell Theorem

要获得 ${\hat{β}}_{i}$ ，可以依据以下步骤：

$Y$ 对 $X_{- i}$ 回归，获得残差 $\tilde{Y}$
$X_{i}$ 对 $X_{- i}$ 回归，获得残差 ${\tilde{X}}_{i}$
$\tilde{Y}$ 对 ${\tilde{X}}_{i}$ 回归，获得残差 $e$
${\tilde{X}}_{i}$ 的回归系数恰为 ${\hat{β}}_{i}$

本质上，这就是令 $M_{- i} Y$ 对 $M_{- i} X_{i}$ 回归得到回归系数 ${\hat{β}}_{i}$ ，其中 $M_{- i}$ 表示在 $X$ 中去除分块 $X_{i}$ 得到的矩阵对应的消除矩阵。

Note

由于 $M$ 是幂等矩阵，实际上 $M_{- i} Y$ 对 $M_{- i} X$ 回归和 $Y$ 对 $M_{- i} X$ 回归是等价的。因此第一步其实可以略去。

应用：中心化

若模型包含常数项，则 $1_{n} \in s p a n (X)$ ，定义

\begin{aligned} P_{0} & = 1_{n} {(1_{n}^{T} 1_{n})}^{- 1} 1_{n}^{T} \\ M_{0} & = I_{n} - P_{0} = I_{n} - 1_{n} {(1_{n}^{T} 1_{n})}^{- 1} 1_{n}^{T} \end{aligned}

考虑 $P_{0}$ 的定义， $(1_{n}^{T} 1_{n})^{- 1} = \frac{1}{n}$ 而 $1_{n} 1_{n}^{T}$ 是一个所有元素全为 1 的 n×n 矩阵，后者右乘任意 n×1 的列向量都得到所有元素都为 n 维求和值列向量，再乘 $\frac{1}{n}$ 就得到 n 维平均值列向量；类似地，右乘任意 n×k 的矩阵就得到 n×k 的平均值矩阵（均值在列方向上取）

对于任意（可以相乘的）矩阵 $Z$ ，有

\begin{aligned} P_{0} Z & = \bar{Z} \\ M_{0} Z & = Z - \bar{Z} \end{aligned}

在上述模型中，设 $X_{1}$ 为常数项 $X_{2} = X_{s}$ 为斜率项，则斜率项系数为

\begin{aligned} {\hat{β}}_{s} & = [(M_{0} X_{s})^{T} (M_{0} X_{s})]^{- 1} [(M_{0} X_{s})^{T} (M_{0} Y)] \\ = [(X_{s} - {\bar{X}}_{s})^{T} (X_{s} - {\bar{X}}_{s})]^{- 1} [(X_{s} - {\bar{X}}_{s})^{T} (Y - \bar{Y})] \end{aligned}

或者更简单地写为

{\hat{β}}_{s} = \frac{\hat{C o v} (X_{s}, Y)}{\hat{V a r} (X_{s})}

相应地，在单变量回归中，斜率项系数的估计值为：

{\hat{β}}_{s} = \frac{\sum (X_{i} - \bar{X}) (Y_{i} - \bar{Y})}{\sum (X_{i} - \bar{X})^{2}}