线性CEF模型

Abstract

根据条件期望函数及其性质可知， $E [Y ∣ X]$ 实现了对 $Y$ 的最小平方预测。因此，除了直接对 $Y$ 建模，还可以转而对 $E [Y ∣ X]$ 建模，这里也尝试最简单的线性模型。

模型设定

假设 1

Y = E (Y ∣ X) + e_{c}

其中 $e_{c}$ 称为 CEF 误差，具有如下性质：

\begin{aligned} (1) & E [e_{c} | X] & = 0 \\ (2) & E [e_{c}] & = 0 \\ (3) & E [h (X) e_{c}] & = 0 \\ (4) & C o v [h (X), e_{c}] & = 0 \end{aligned}

Proof

\begin{aligned} (1) & E [e_{c} | X] & = E [Y - E (Y | X) | X] = E [Y | X] - E (Y | X) = 0 \\ (2) & E [e_{c}] & = E [E (e_{c} | X)] = 0 \\ (3) & E [h (X) e_{c}] & = E [E (h (X) e_{c} | X)] = E [h (X) E (e_{c} | X)] = 0 \\ (4) & C o v [h (X), e_{c}] & = E [h (X) e_{c}] - E [h (X)] E [e_{c}] = 0 \end{aligned}

假设 2

E (Y | X) = X^{T} β_{c}

假设 2 代入假设 1 可得

Y = X^{T} β_{c} + e_{c}

假设 2 又可推知

\begin{aligned} E (Y ∣ X) - X^{T} β_{c} & = 0 \\ E [Y - X^{T} β_{c} ∣ X] & = 0 \\ E [Y - E (Y ∣ X) ∣ X] & = 0 \\ E [e_{c} ∣ X] & = 0 \end{aligned}

因此，所谓线性 CEF 模型

{\begin{cases} Y = E (Y ∣ X) + e_{c} \\ E (Y | X) = X^{T} β_{c} \end{cases}

其实只是相当于线性投影模型增加一项约束：

{\begin{cases} Y = X^{T} β_{c} + e_{c} \\ E (e_{c} | X) = 0 \end{cases}