最优控制理论

动态最优化问题一般有三种处理办法：

变分法；
贝尔曼方程；
最优控制理论。

变分法的目标是找到状态变量 $y$ 的最优时间路径，最优控制理论的目标是找到控制变量 $u$ 的最优时间路径。

最优控制问题的特殊性质：

控制变量的时间路径只需要分段连续性（piecewise continuous）;
状态变量的时间路径只需要分段可微性（piecewise differentiable）

最优控制的最简单问题可以表达为

\begin{aligned} max & V = \int_{0}^{T} F (t, y, u) d t \\ s.t. & \dot{y} = f (t, y, u) \\ y (0) = A, y (T) 自由 \\ u (t) \in U \forall t \in [0, T] \end{aligned}

根据函数 $f$ 可知，在初始时间有 $t = 0$ 和 $y (0) = A$ ，因此只需要选择 $u (0)$ 就可以得到 $\dot{y} (0)$ ，从而决定 $y (1)$ ，接着只需要选择 $u (1)$ ，以此类推……因此 $\dot{y} = f (\cdot)$ 称为状态变量的运动方程（equation of motion），或简称为状态方程。

Hamiltonian function

一般地，Hamiltonian function 的定义式为

H (t, y, u, λ) \equiv λ_{0} F (t, y, u) + λ (t) f (t, y, u)

其中 $λ_{0} \geq 0$ 是一个常数，但 $λ_{0} = 0$ 十分罕见且缺乏经济意义，所以将其标准化为 1 更常规，即

H (t, y, u, λ) \equiv F (t, y, u) + λ (t) f (t, y, u)

其中 $λ (t)$ 称为共态变量（costate variable）或辅助变量（auxiliary variable），用于衡量状态变量的影子价格。

The maximum principle

\begin{aligned} \frac{\partial H}{\partial u} & = 0 \\ \frac{\partial H}{\partial y} & = - \dot{λ} \\ \frac{\partial H}{\partial λ} & = \dot{y} \\ λ (T) & = 0 \end{aligned}

current-value Hamiltonian function

考虑被积函数含有贴现因子的情形，即

F (t, y, u) = G (t, y, u) e^{- ρ t}

定义 current-value Hamiltonian function 为

\hat{H} \equiv H e^{ρ t} = G (t, y, u) + μ f (t, y, u)

其中 $λ = μ e^{- ρ t} \leftrightarrow μ \equiv λ e^{ρ t}$

此时最大值原理修改为

\begin{aligned} \frac{\partial \hat{H}}{\partial u} & = 0 \\ \frac{\partial \hat{H}}{\partial y} & = - \dot{μ} + ρ μ \\ \frac{\partial \hat{H}}{\partial μ} & = \dot{y} \\ λ (T) = m (T) e^{- ρ T} & = 0 \end{aligned}

其中

\begin{aligned} \frac{\partial \hat{H}}{\partial y} & \equiv \frac{\partial H}{\partial y} e^{ρ t} \\ \frac{\partial H}{\partial y} & = - \dot{λ} \\ \dot{λ} & = \dot{μ} e^{- ρ t} - ρ μ e^{- ρ t} \end{aligned}} ⟹ \frac{\partial \hat{H}}{\partial y} = - \dot{μ} + ρ μ