混合効果モデルを考える上で有用な制限付き最尤推定（REML; restricted または residual maximum likelihood）というものがあります。調べてもなかなか内容が出てきにくいの一度書いて勉強してみることとします。込み入った内容になってくるので、検定には出ないかもしれません。
REMLとは？
混合効果モデルでは、母数効果における平均と変量効果における分散など推測すべきパラメータが複数存在しています。これをそれぞれについて最尤法に当てはめて一つずつ偏微分して推測しようとすると、母数効果の推定の時点で自由度が減少することになり、変量効果の分散の推定で偏りが生じてしまうこととなります。そこで、登場するのが制限付き最尤法と呼ばれる方法です。
制限付き最尤法では、尤度を変形することで局外パラメータを除いた残差(residual)を作り出し、それを最大とする方法や局外パラメータを積分した周辺尤度を最大とする方法などで推定値を算出します。いずれも推測する必要のないパラメータをうまく無視していくことが必要なようで、やり方は異なりますが結果は同じとなります。母数効果の推定に必要な自由度を考慮した上での推定となることが利点です。
REMLの単純な例
簡単な例として正規分布に従う確率変数において、分散を制限付き最尤推定してみます。
\(X_1, X_2,…,X_n,i.i.d.\sim N(\mu,\sigma^2)\)
とします。
ここでμを含む部分とそうでない部分に尤度を変形していきます。まず尤度は
\(L(\mu,\sigma^2)=(2\pi\sigma^2)^{-\frac{n}{2}}exp\{-\frac{\sum(x_i-\mu)^2}{2\sigma^2}\}\)
となります。ここでのキーポイントはコクランの定理で見られるような式の変形です。統計検定でも頻出ですね。標本平均を\(\bar X\)として、expの中身について以下のような変形をします。
\(\sum(X_i-\mu)^2\\=\sum\{(X_i-\bar X)^2＋(\bar X-\mu)^2\}\)
和の記号も含めて展開すると一致することがわかると思います。これを利用して
\(L(\mu,\sigma^2)=(2\pi\sigma^2)^{-\frac{n}{2}}exp\{-\frac{\sum(\bar X-\mu)^2}{2\sigma^2}\}exp\{-\frac{\sum(x_i-\bar X)^2}{2\sigma^2}\}\\=(2\pi\frac{\sigma^2}{n})^{-\frac{1}{2}}exp\{-\frac{n(\bar X-\mu)^2}{2\sigma^2}\}×\frac{1}{\sqrt n}(2\pi\sigma^2)^{-\frac{n-1}{2}}exp\{-\frac{\sum(x_i-\bar X)^2}{2\sigma^2}\}\)
となります。これでμに関連した尤度とσに関連した尤度に分離できたことがわかります。
ここでσに関連した尤度のみに着目し、それを最大とするような推定量が制限付き最尤推定量となります。
つまり
\(L(\sigma^2)=\frac{1}{\sqrt n}(2\pi\sigma^2)^{-\frac{n-1}{2}}exp\{-\frac{\sum(x_i-\bar X)^2}{2\sigma^2}\}\)\)
の最尤推定を行えば良いので、対数尤度をとって確認していくと
\(logL\propto-\frac{n-1}{2}log\sigma^2-\frac{\sum(x_i-\bar X)^2}{2\sigma^2}\)
\(\frac{\partial}{\partial\sigma^2}logL=-\frac{n-1}{2\sigma^2}＋\frac{\sum(X_i-\bar X)}{2\sigma^4}=0\)
\(\hat\sigma^2_{REML}=\frac{1}{n-1}\sum(X_i-\bar X)^2\)
となります。この例では分散の制限付き最尤推定量は不偏推定量に一致しています。
また、同様に制限付き最尤推定量を求める方法として局外パラメータ（この例ではμ）を積分することで消去する方法もとられることがあります。積分して求められる尤度は周辺尤度(marginal likelihood)と呼ばれています。
先程の式変形を利用すると
\(\int L(\mu,\sigma^2)d\mu=\int(2\pi\frac{\sigma^2}{n})^{-\frac{1}{2}}exp\{-\frac{n(\bar X-\mu)^2}{2\sigma^2}\}d\mu×\frac{1}{\sqrt n}(2\pi\sigma^2)^{-\frac{n-1}{2}}exp\{-\frac{\sum(x_i-\bar X)^2}{2\sigma^2}\}\\=\frac{1}{\sqrt n}(2\pi\sigma^2)^{-\frac{n-1}{2}}exp\{-\frac{\sum(x_i-\bar X)^2}{2\sigma^2}\)
となるので、ここから最尤推定を行うと結局は同じ値に帰着します。なお、上記の式変形では\(\bar X\sim N(\mu, \frac{\sigma^2}{n})\)であることを利用し、結局はこの積分が正規分布の全範囲となっていることを用いています。
以上は単純な例なのでそのまま値が求まっていますが、一般的には尤度の式が複雑な形になり、そのまま解を求めることができないため、反復計算が必要となります。
参考文献：
『統計モデル入門』
REMLの導出 | 研究関連メモ | Kengo Nagashima – Keio University
制限付き最尤法 REML; Restricted Maximum Likelihood – ppt download
コメントを残す