NO.19.tip: 状态空间模型

背景

  状态空间模型是时间序列建模中非常一般的方法，即可用于单变量、又可用于多变量时间序列。系统的状态空间表示是现代控制理论中的一个基础性概念。系统的状态定义为来自当前和过去的最小信息集，使得系统的未来行为可以由当前状态和未来输入完整地加以描述。因此，状态空间表示是建立在马尔可夫性质的基础上的，这意味着给定系统当前的状态，系统的未来与它的过去无关。所以，系统的状态空间表示也叫做系统的马尔可夫表示。

源与流

  令 $Y_{1t}$ 和 $Y_{2t}$ 分别是系统输入为 $X_{1t}$ 和 $X_{2t}$ 时的系统输出。系统是线性的，当且仅当对任意常数 $a$ 和 $b$，输入的线性组合 $a{X}_{1t}+b{X}_{2t}$ 产生相同的输出的线性组合 $a{Y}_{1t}+b{Y}_{2t}$。系统是时不变的，如果系统的性质不随时间而变化，如果输入 $X_t$ 产生输出 $Y_t$，那么输入 $X_{t-t_0}$ 将产生输出 $Y_{t-t_0}$。如果它既是线性的又是时不变的，那么系统是线性时不变的。许多物理空间可以视为线性时不变系统，包括平稳过程。

  对线性时不变系统，它的状态空间表示可由下面的状态方程

$$Y_{t+1}=A{Y}_t+G{X}_{t+1}\text{\hspace{1em}(1)}$$

和输出方程

$$Z_t=H{Y}_t\text{\hspace{1em}(2)}$$

所描述。这里，$Y_t$ 是 $k$ 维状态向量，$A$ 是 $k\times k$ 转移矩阵，$G$ 是 $k\times n$ 输入矩阵，$X_t$ 是系统的 $n\times 1$ 输入向量，$Z_t$ 是 $m\times 1$ 输出向量，$H$ 是 $m\times k$ 输出或观察矩阵。如果输入 $X_t$ 和输出 $Z_t$ 都是随机过程，那么状态空间表示由下式给出

$$\{\begin{array}{ll}{Y}_{t+1}=A{Y}_t+G{a}_{t+1}& (3)\\ Z_t=H{Y}_t+b_t& (4)\end{array}$$

其中，$a_{t+1}=X_{t+1}-E(X_{t+1}|X_i,i\le t)$ 是输入过程 $X_t$ 的向前一步预报误差的 $n\times 1$ 向量，$b_t$ 是 $m\times 1$ 维假定与 $a_t$ 无关的扰动向量。向量 $a_{t+1}$ 也叫做输入 $X_t$ 在 $(t+1)$ 期的新生值。当 $Z_t=X_t$，$b_t$ 从式 $(4)$ 中消失，平稳随机过程 $Z_t$ 的状态空间表示就变成

$$\{\begin{array}{l}{Y}_{t+1}=A{Y}_t+G{a}_{t+1}\\ Z_t=H{Y}_t\end{array}\text{\hspace{1em}(5)}$$

故过程 $Z_t$ 是由一个白噪声输入 $a_t$ 驱动的时不变线性随机系统的输出。$Y_t$ 是过程的状态。

  状态方程也叫做系统方程或者转移方程，输出方程也指测度方程或者观测方程。系统的状态空间表示与卡尔曼滤波有关，最先由控制工程发展而来，系统也叫做状态空间模型。

用状态空间模型表达ARMA模型

   设 $r=\max (p,q+1)$。定义 $r$ 维状态向量

$${\mathbf{Y}}_t=\left(\begin{array}{c}{W}_t\\ W_{t+1|t}\\ ⋮\\ W_{t+r-1|t}\end{array}\right)$$

其中 $W_{t+j|t}=E(W_{t+j}\mid W_t,W_{t-1},\dots )$ 为基于 $t$ 期信息的向前 $j$ 步最优预报。则 ARMA$(p,q)$ 的状态空间表示为

$$\boxed{\begin{array}{rl}{\mathbf{Y}}_{t+1}& =A{\mathbf{Y}}_t+G{a}_{t+1}\\ W_t& =H{\mathbf{Y}}_t\end{array}}$$

各矩阵如下：

• 转移矩阵 $A(r\times r)$（伴随形式）：

$$A=\left(\begin{array}{ccccc}0& 1& 0& \cdots & 0\\ 0& 0& 1& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 1\\ {\varphi }_r& {\varphi }_{r-1}& {\varphi }_{r-2}& \cdots & {\varphi }_1\end{array}\right)$$

其中 ${\varphi }_j=0$（当 $j>p$ 时）。

• 输入矩阵 $G(r\times 1)$：

$$G=\left(\begin{array}{c}{\psi }_0\\ {\psi }_1\\ ⋮\\ {\psi }_{r-1}\end{array}\right)=\left(\begin{array}{c}1\\ {\psi }_1\\ ⋮\\ {\psi }_{r-1}\end{array}\right)$$

这里 ${\psi }_j$ 为 $W_t$ 的 MA$(\infty )$ 表示 $W_t={\sum }_{j=0}^{\infty }{\psi }_j{a}_{t-j}$ 中的权重，由递推式

$${\psi }_j={\theta }_j+\sum _{i=1}^{\min (j,p)}{\varphi }_i{\psi }_{j-i}$$

确定（约定 ${\theta }_0=1,{\theta }_j=0(j>q)$）。

• 观测矩阵 $H(1\times r)$：

$$H=(1,0,\dots ,0)$$

  将差分方程纳入状态向量。定义 $(d+r)$ 维扩展状态向量

$${\mathbf{X}}_t=\left(\begin{array}{c}{Z}_t\\ \nabla Z_t\\ ⋮\\ {\nabla }^{d-1}{Z}_t\\ W_t\\ W_{t+1|t}\\ ⋮\\ W_{t+r-1|t}\end{array}\right)$$

则 ARIMA$(p,d,q)$ 的状态空间模型为

$$\boxed{\begin{array}{rl}{\mathbf{X}}_{t+1}& =\mathbf{A}{\mathbf{X}}_t+\mathbf{G}{a}_{t+1}\\ Z_t& =\mathbf{H}{\mathbf{X}}_t\end{array}}$$

其中 $\mathbf{H}=(1,0,\dots ,0{)}_{1\times (d+r)}$，而分块矩阵 $\mathbf{A}$、$\mathbf{G}$ 的结构为：

• 前 $d$ 行体现"逐层累加"关系： $${\nabla }^{i-1}{Z}_{t+1}={\nabla }^{i-1}{Z}_t+{\nabla }^i{Z}_{t+1},i=1,\dots ,d$$ 最终归结为 $Z_{t+1}=Z_t+\nabla Z_t+\cdots +{\nabla }^{d-1}{Z}_t+W_{t+1}$。

• 后 $r$ 行即为上述 ARMA$(p,q)$ 的伴随矩阵 $A$ 与输入矩阵 $G$。

ARIMA(1,1,1)

  模型为

$$\nabla Z_t={\varphi }_1\nabla Z_{t-1}+a_t+{\theta }_1{a}_{t-1}$$

令 $W_t=\nabla Z_t$，则 $W_t$ 为 ARMA$(1,1)$，且 $r=\max (1,2)=2$。取 3 维状态向量

$${\mathbf{X}}_t=\left(\begin{array}{c}{Z}_t\\ W_t\\ W_{t+1|t}\end{array}\right)$$

可验证其状态空间表示为

$$\boxed{\begin{array}{rl}\left(\begin{array}{c}{Z}_{t+1}\\ W_{t+1}\\ W_{t+2|t+1}\end{array}\right)& =\left(\begin{array}{ccc}1& 0& 1\\ 0& 0& 1\\ 0& 0& {\varphi }_1\end{array}\right)\left(\begin{array}{c}{Z}_t\\ W_t\\ W_{t+1|t}\end{array}\right)+\left(\begin{array}{c}1\\ 1\\ {\varphi }_1+{\theta }_1\end{array}\right)a_{t+1}\\ Z_t& =\left(\begin{array}{ccc}1& 0& 0\end{array}\right){\mathbf{X}}_t\end{array}}$$