2020/05/21

時系列分析 (2) - 自己相関のモデル

ある時系列データが、自己相関検定を経て自己相関があると分かったら、その自己相関のモデル化に取り組む価値があります。自己相関のモデル化にあたっては、移動平均過程 (MA過程) と自己回帰過程 (AR過程) という2つの過程が基本となります。この2つの過程とその組み合わせである自己回帰移動平均過程 (ARMA過程) について見ていきましょう。

自己相関のモデル化

前述の通り、自己相関のモデル化は、MA過程とAR過程という2つの過程が基礎となります。時系列データに$m$次-自己相関があることが想定されるとしましょう。このとき、MA 過程では、$y_t$と$y_{t-m}$のモデルに共通の成分を含めることで自己相関をモデル化します。共通の成分があるので相関が発生する、ということです。AR 過程では、$y_t$のモデルに$y_{t-m}$を含めることでモデル化します。$y_t$に$y_{t-m}$が含まれているので相関が発生する、ということです。

MA 過程 (移動平均過程)

MA 過程 (移動平均過程/Moving average process) は、のことである。$q$次-MA 過程$MA(q)$とは、平均$\mu$に攪乱項としてホワイトノイズ$\epsilon_t \sim WN(\sigma^2)$を加え、さらに$\epsilon_{t-1}$から$\epsilon_{t-q}$までの重み付け合計値 (重み$\theta_{t-1} \sim \theta_{t-q}$)を加えることにより、$q$次までの自己相関を組み込んだものです。ホワイトノイズを$\mu$だけ底上げし、自己相関項を組み込んで拡張したものと捉えることができます。
定式化すると $y_t = \mu + \epsilon_t + \theta_1\epsilon_{t-1} + \theta_2\epsilon_{t-2} + \ldots + \theta_q\epsilon_{t-q}, \epsilon_t \sim WN(\sigma^2)$となります。

MA(1)

MA 過程の最も単純な形である、$MA(1)$ について詳しく見てみましょう。

MA(1)の構造

$MA(1)$は、前述の$MA(q)$の式について、$q=1$としたものですから、$y_t = \mu + \epsilon_t + \theta_1\epsilon_{t-1}, \epsilon_t \sim WN(\sigma^2)$と定義されます。$y_{t-1} = \mu + \epsilon_{t-1} + \theta_1\epsilon_{t-2}$ですから、$y_t$と$y_{t-1}$は共通項$\epsilon_{t-1}$を持っています。それによって1次-自己相関を生じています。

MA(1)の基本統計量

$MA(1)$の平均は、$E(y_t) = E(\mu + \epsilon_t + \theta_1\epsilon_{t-1}) = E(\mu) + E(\epsilon_t) + \theta_1E(\epsilon_{t-1}) = \mu$ となります ($\epsilon_t, \epsilon_{t-1}$はホワイトノイズなので平均$0$です)。
$MA(1)$の分散$\gamma_0 = Var(y_t) = Cov(y_t, y_t)$ (分散は$0$次-自己共分散です) は、$\gamma_0 = Var(\mu + \epsilon_t + \theta_1\epsilon_{t-1}) = Var(\epsilon_t) + 2\theta_1Cov(\epsilon_t, \epsilon_{t-1}) + \theta_1^2Var(\epsilon_{t-1}) = \sigma^2 + 0 + \theta_1^2\sigma^2 = (1 + \theta_1^2)\sigma^2$ となります。攪乱項であるホワイトノイズの分散が$\sigma^2$ですから、それより$\theta_1^2\sigma^2$だけ大きくなっています。また、$\theta_1$が正の場合は$\theta_1\epsilon_{t-1}$と$\epsilon_{t-1}$が同じ符号であるため、$y_t$と$y_{t-1}$が同じ方向に動く傾向が出ます (正の自己相関)。負であれば、逆方向に動く傾向が出ることになります (負の自己相関)。また$\theta_1$の絶対値が大きいほど自己相関は強くなります。グラフ的に言うと、正の自己相関が強いほどグラフは滑らかになり、負の自己相関が強いほどグラフは尖ります。

$MA(1)$の自己相関係数を求めて、どのように自己相関が折り込まれているか見てみましょう。$1$次-自己共分散$\gamma_1$は、$$
\begin{eqnarray*}
\gamma_1 &=& Cov(y_t, y_{t-1}) = Cov(\mu + \epsilon_t + \theta_1\epsilon_{t-1}, \mu + \epsilon_{t-1} + \theta_1\epsilon_{t-2}) \\
&=& Cov(\epsilon_t, \epsilon_{t-1}) + Cov(\epsilon_t, \theta_1\epsilon_{t-2}) + Cov(\theta_1\epsilon_{t-1}, \epsilon_{t-1}) + Cov(\theta_1\epsilon_{t-1}, \theta_1\epsilon_{t-2}) \\
&=& 0 + 0 + \theta_1Cov(\epsilon_{t-1}, \epsilon_{t-1}) + 0 \\
&=& \theta_1\sigma^2
\end{eqnarray*}
$$となります。

$1$次-自己相関係数$\rho_1$は、$\rho_1 = \frac{\gamma_1}{\gamma_0} = \frac{\theta_1}{1+\theta_1^2}$となります。$|\theta_1| = 1$のとき、$|\rho_1|$は最大値$1/2$をとります。つまり、$1$次-自己相関係数の絶対値が$1/2$を越えるような過程は$MA(1)$ではモデル化できないことがわかります。また、$2$次より大きい自己相関係数は全て$0$となります。
上記から、$MA(1)$は平均も自己共分散も時点に依存しないことがわかります。したがって$MA(1)$は弱定常過程です。

MA(q)

$MA(q)$に一般化すると、導出は省略しますが、平均は$\mu$、$k$次-自己相関係数は
$$
\rho_k = \begin{cases}
\frac{\theta_k + \theta_1\theta_k-1 + ... + \theta_q-k\theta_q}{1 + \theta_1^2 + \theta_2^2 + \ldots + \theta_q^2} & (1 \le k \le q) \\
0 & (k \ge q + 1)
\end{cases}
$$
となります。$MA(q)$もやはり弱定常過程です。

MA過程の反転可能性

MA 過程では、任意の MA 過程に対して、それと同一の平均、同一の自己相関関数を持つ MA 過程が複数 ($2q$個) 存在するという問題があります。大雑把に言えば、移動平均項の係数とホワイトノイズの分散の組み合わせ方が複数存在します。そこで、扱いやすい MA 過程を選ぶ基準として、反転可能性というものがあります。反転可能とは、「$AR(\infty)$に書き換え可能」という意味です。反転可能である場合、$y_t$を過去の$y$から自己回帰的に予測したときに、$\epsilon_t$の予測誤差を生じると解釈できます。このときの$\epsilon_t$を本源的攪乱項と呼びます。書き換え可能な$2q$個の同一平均、同一自己相関関数の$MA(q)$過程に対して、反転可能なものは1つしかありません。

$MA(q)$の反転可能条件は、$1 + \theta_1z + \theta_2z^2 + \ldots + \theta_qz^q = 0$(MA 特性方程式) の全ての解の絶対値が$1$より大きいことです。$MA(1)$であれば、$|\theta| < 1$が反転可能条件です。

AR 過程

AR 過程とは、自己回帰過程 (Autoregressive process) のことです。$p$次 AR 過程$(AR(p))$とは、平均$\mu$に攪乱項$\epsilon_t \sim WN(\sigma^2)$を加え、さらに$y_{t-1}$から$y_{t-p}$までの重み付け合計値を加えることにより、自己相関を組み込んだものです。後述しますが、$p$次を越える自己相関が生じます。$y_t = c + \phi_1y_{t-1} + \phi_2y_{t-2} + ... + \phi_py_{t-p} + \epsilon_t, \epsilon_t ~ WN(\sigma^2)$と書けます。

AR(1)

AR 過程の性質を知るため、やはり$AR(1)$について詳しく見てみましょう。

AR(1)の構造

$AR(1)$は、$y_t = c + \phi_1y_{t-1} + \epsilon_t, \epsilon_t \sim WN(\sigma^2)$と定義されます。前項と攪乱項から値が決まります。前項が直接組み込まれていますので、当然自己相関が生じます。前項を参照するので、初項が必要となりますが、条件無し分布が分かっていればその分布に従う確率変数としたり、そうでなければ適当な定数を置いたりします。定常過程であれば初項の影響は時間と共に限りなく小さくなっていくので、あまり気にする必要はありません。ただし、一般に AR 過程は定常過程になるとは限りません。
$AR(1)$が定常過程となる条件は、$|\phi_1| < 1$です。$|\phi_1| = 1$かつ$\epsilon_t \sim iid(\sigma^2)$の場合は単位根過程 (ランダムウォーク) となります。時系列分析 (1)で触れましたが、ランダムウォークは非定常過程です。$|\phi_1| > 1$のときは爆発的 (explosive) な過程と呼ばれます。どんどん$|y_t|$が大きくなっていきます。

定常なAR(1)の基本統計量

定常な$AR(1)$の平均は、$E(y_t) = E(c + \phi_1y_{t-1} + \epsilon_t) = c + \phi_1E(y_{t-1})$であり、定常ですから$E(y_t) = E(y_{t-1}) = \mu$と置くことができますので、これを$\mu$について解くと$\mu = \frac{c}{1 - \phi_1}$となります。
分散は、$Var(y_t) = Var(c + \phi_1y_{t-1} + \epsilon_t) = \phi_12Var(y_{t-1}) + 2Cov(y_{t-1}, \epsilon_t) + Var(\epsilon_t) = \phi_12Var(y_{t-1}) + 0 + \sigma^2$であり、やはり定常性から$\gamma_0 = Var(y_t) = Var(y_{t-1})$と置いて$\gamma_0$について解くと、$\gamma_0 = \frac{\sigma^2}{1 - \phi_1^2}$となります。

定常な$AR(1)$の自己相関係数について調べましょう。$k$次-自己共分散$\gamma_k$を求めると、$\gamma_k = Cov(y_t, y_{t-k}) = Cov(\phi_1y_{t-1} + \epsilon_t, y_{t-k}) = Cov(\phi_1y_{t-1}, y_{t-k}) + Cov(\epsilon_t, y_{t-k}) = \phi_1\gamma_{k-1}$となります。従って、$k$次-自己相関係数は、$\rho_k = \phi_1\rho_{k-1}$となります。これは Yule-Walker 方程式と呼ばれるものです。これを解けば、$\rho_k = \phi_1^k$であることがわかります。つまり、定常な$AR(1)$の自己相関係数の絶対値は、次数が上がるにつれて指数的に減少していきます。$\phi_1$が正であれば単調に、負であれば振動しながら減少していくことになります。

AR(p)

$AR(1)$が定常過程となる条件は$|\phi_1| < 1$でしたが、$AR(p)$に一般化した場合、定常となる条件は少し複雑です。$AR(p)$過程$y_t = c + \phi_1y_{t-1} + \phi_2y_{t-2} + \ldots + \phi_py_{t-p} + \epsilon_t, \epsilon_t \sim WN(\sigma^2)$が定常となる条件は、方程式$1 - \phi_1z - \phi_2z^2 - \ldots - \phi_pz^p = 0$の全ての解の絶対値が1より大きいことです。この方程式を AR 特性方程式と呼びます。例えば、$AR(1)$であれば、AR 特性方程式は$1 - \phi_1z = 0$ となり、解は$z = \frac{1}{\phi_1}$です。$|z| > 1$となるのは$|\phi_1| < 1$のときですから、前述の通りの定常条件となりました。$AR(2)$ならば、$\phi_2 > -1, \phi_2 < 1 + \phi_1, \phi_2 < 1 - \phi_1$となります。

定常な$AR(p)$の平均は、$\mu = E(y_t) = \frac{c}{1 - \phi_1 - \phi_2 - \ldots - \phi_p}$、分散は$\gamma_0 = Var(y_t) = \frac{\sigma^2}{1 - \phi_1\rho_1 - \phi_2\rho_2 - \ldots - \phi_p\rho_p}$です。$k$次-自己共分散は$\gamma_k = \phi_1\gamma_{k-1} + \phi_2\gamma_{k-2} + \ldots + \phi_p\gamma_{k-p} (k \ge 1)$、$k$次-自己相関係数は$\rho_k = \phi_1\rho_{k-1} + \phi_2\rho_{k-2} + \ldots + \phi_p\rho_{k-p} (k \ge 1)$となります。$AR(p)$においても$k$次-自己相関係数の式は Yule-Walker 方程式と呼ばれます。

ちなみに、定常な AR 過程は、係数が指数的に減少するような$MA(\infty)$で書き直すことができます。例えば$AR(1)$なら、$y_t = \phi_1^0\epsilon_t + \phi_1^1\epsilon_{t-1} + \phi_1^2\epsilon_{t-2} + \ldots$と書き直すと、$\theta_k = \phi_1^k$とおいた$MA(\infty)$過程であることがわかります。

MA 過程と AR 過程の性質

MA 過程は定常なので扱いやすいのですが、$MA(q)$には$q$次までの自己相関しか組み込まれていませんから、逆に言うと、$q$次の自己相関をモデル化するには$MA(q)$が必要となります。これはモデルのパラメータが$q+2$個必要 ($\theta_1 \sim \theta_q と \mu と \sigma$) となることを意味しています。長期間の自己相関を扱うにあたっては、期間分のパラメータが必要となることは不都合があります。また、攪乱項の和で表現されていることから、モデルに意味付けをすることが困難であり、そのモデルから導かれる予測の扱いが難しくなります。
一方、AR 過程は少ないパラメータで長期の自己相関を表現できます。特に$AR(p)$は周期$p / 2$の周期的な自己相関を織り込むことができ、これは季節変動があるデータのモデル化には好都合です。しかし、AR 過程では自己相関の強さが指数的に減少していくような形でしかモデル化できません。

ARMA 過程

ARMA 過程とは、自己回帰移動平均過程 (Autoregressive moving average process) のことです。AR 過程に移動平均項を追加したもの、つまり AR 過程と MA 過程を足し合わせたモデルです。$(p, q)$次のARMA 過程 ($ARMA(p, q)$) は、以下のように定式化されます。
$$
\begin{eqnarray*}
y_t &=& c &+& \phi_1y_{t-1} &+& \phi_2y_{t-2} &+& \ldots &+& \phi_py_{t-p} \\
&+& \epsilon_t &+& \theta_1\epsilon_{t-1} &+& \theta_2\epsilon_{t-2} &+& \ldots &+& \theta_q\epsilon_{t-q}, \epsilon_t \sim WN(\sigma^2)
\end{eqnarray*}
$$
$ARMA(p, q)$は AR 過程の性質を持つため、常に定常になるとは限りませんが、定常な$ARMA(p, q)$は、以下の性質を持ちます。
$$
\begin{eqnarray*}
E(y_t) &=& \frac{c}{1 - \phi_1 - \phi_2 - \ldots - \phi_p} \\
\gamma_k &=& \phi_1\gamma_{k-1} + \phi_2\gamma_{k-2} + \ldots + \phi_p\gamma_{k-p} (k \ge q + 1) \\
\rho_k &=& \phi_1\rho_{k-1} + \phi_2\rho_{k-2} + \ldots + \phi_p\rho_{k-p} (k \ge q + 1)
\end{eqnarray*}
$$
なお、定常なAR過程同様、自己相関は指数的に減少します。

$q$次までの自己相関は、移動平均項の影響で Yule-Walker 方程式が成り立ちませんが、$p>q$ならば$q+1$次以降の自己相関は自己回帰項の影響のみとなるので、$AR(p)$同様 Yule-Walker 方程式が成立します。

ARMA 過程の定常性は、自己回帰項部分の定常性にのみ着目すれば十分です。ARMA 過程は AR 過程と MA 過程を足し合わせたものであり、MA 過程は常に定常であるからです。したがって、自己回帰項から AR 特性方程式を作り、その全ての解の絶対値が1より大きいことが定常性を持つ条件となります。

一方、ARMA 過程の反転可能性は、自己回帰項の部分がすでに AR 過程で表現できているので$AR(\infty)$で表現できることは分かっていますから、残る移動平均項が AR 過程で表現できるかどうかによって決まります。したがって、移動平均項から MA 特性方程式を作り、その全ての解の絶対値が1より大きいことが反転可能性を持つ条件となります。