現代数理統計学の基礎 第6章 問19(追加)

久しぶりの「現代数理統計学の基礎」です。統計検定に向けてぼちぼちやっていきます。

問19は最尤推定量と十分統計量、Fisher情報量などそれぞれ絡めた応用問題ですね。

(1)

十分統計量を求める問題です。まずは尤度関数の形にして、そこからパラメータと関わる確率変数とそうでない部分が分離できるように展開します。

\(L(\beta,\sigma^2)=(2\pi\sigma^2)^{-\frac{n}{2}}exp\sum\{-\frac{(Y_i-\beta x_i)^2}{2\sigma^2}\}\\=(2\pi\sigma^2)^{-\frac{n}{2}}exp\{-\frac{\sum Y_i^2}{2\sigma^2}+\frac{\sum\beta x_iY_i}{\sigma^2}-\frac{\beta^2\sum x_i^2}{2\sigma^2}\}\)

ここで因子分解定理を用いて考えるとパラメータに関与する統計量は

\(\sum Y_i^2, \sum x_iY_i\)

となり、これが十分統計量となります。なお、xは今回の問題では定数であるため関係しません。

(2)

（2）はそれぞれのパラメータの最尤推定量を求める問題です。まずはβについて対数尤度関数を元に微分すると

\(\frac{\partial}{\partial\beta}logL=\frac{\sum x_iY_i}{\sigma^2}-\frac{\beta\sum x_i^2}{\sigma^2}=0\)

として

\(\hat\beta=\frac{\sum x_iY_i}{\sum x_i^2}\)

となります。

同様にして分散σ^2については

\(\frac{\partial}{\partial\sigma^2}logL=-\frac{n}{2\sigma^2}+\frac{\sum Y_i^2}{2\sigma^4}-\frac{\sum\beta x_iY_i}{\sigma^4}+\frac{\beta^2\sum x_i^2}{2\sigma^4}=0\)

βには先に計算した最尤推定量を代入して整理して

\(\hat\sigma^2=\frac{\sum(Y_i-\hat\beta x_i)^2}{n}\)

となります。

(3)

続いてはフィッシャー情報量とクラメールラオの不等式を求める問題です。

フィッシャー情報量はスコア関数を二乗して期待値をとる（＝スコア関数の分散）方法とスコア関数をもう一度パラメータで微分して負の期待値をとる方法がありますが、後者のほうが簡単なのでそちらを試みます。

\(\frac{\partial^2}{\partial\beta^2}logL(\beta)=-\frac{\sum x_i^2}{\sigma^2}\)

となるので負の期待値をとって

\(-E[-\frac{\sum x_i^2}{\sigma^2}]=\frac{\sum x_i^2}{\sigma^2}\)

これがフィッシャー情報量になります。クラメールラオの下限は逆数を取ればよいので

\(\frac{\sigma^2}{\sum x_i^2}\)

となります。

また、分散の不偏推定量は

\(V[\beta_{MLE}]=V[\frac{\sum x_iY_i}{\sum x_i^2}]\\=\frac{\sum x_i^2\sigma^2}{\{\sum x_i^2\}^2}\\=\frac{\sigma^2}{\sum x_i^2}\)

となるため、クラメールラオの下限に一致します。

(4)

さて（４）は分散の不偏推定量の平均を求める問題です。ここでは標本分散の期待値でおなじみの変形の仕方を利用します。これは本当に使う場面が多いですね。

不偏分散の期待値と分散【統計検定1級対策】

以下のような式変形を行っていきます。

\(E[\sigma^2_{MLE}]=E[\frac{\sum(Y_i-\hat\beta x_i)^2}{n}]\\=\frac{1}{n}E[\sum\{(Y_i-\beta x_i)-(\beta x_i-\hat\beta x_i)\}^2]\)

ここで、期待値の中身は以下のように変形できます。

\(\sum(Y_i-\beta x_i)^2+2\sum(Y_i-\beta x_i)(\beta x_i-\hat\beta x_i)+\sum(\beta x_i-\hat\beta x_i)^2\)

まず第1項については分散の定義をｎ倍したものとなりますので、期待値をとると\(n\sigma^2\)となります。

続いて第2項はややトリッキーで、定数であるxをくくりだして、βの推定値を代入すると

\(2\sum x_i(Y_i-\beta x_i)(\beta-\frac{\sum x_jY_j}{\sum x_j^2})\\=2\sum x_i(Y_i-\beta x_i)(\beta-\frac{\sum x_j(\beta x_j-Y_j)}{\sum x_j^2})\)

となります。これに対して期待値を取った場合、Yj, Yiの平均はそれぞれXj, Xiであることから、i≠jのときには０となってしまうことが分かります。よってi=jのときのみ、残ります。このとき、\(\sum x_i\sum x_j=\sum x_i^2\)となることにも注意すると、期待値は

\(E[-2\sum(Y_i-\beta x_i)^2]=-2\sigma^2\)

となります。

最後に第3項は定数ｘを外にくくりだすと

\(\sum x_i^2(\beta-\hat\beta)^2\)

となりますが、\(\hat\beta\)の平均はβなのでこの式の期待値をとるとβの分散にxiの二乗和をかけたものになります。よって（３）でβの分散は計算していますので

\(\sum x_i^2(\beta-\hat\beta)^2=\sigma^2\)

となります。

以上を総合すると

\(\frac{1}{n}E[\sum\{(Y_i-\beta x_i)-(\beta x_i-\hat\beta x_i)\}^2]\\=\frac{n-1}{n}\sigma^2\)

となります。不偏推定量は

\(\frac{n}{n-1}\sigma=\frac{1}{n-1}\sum(Y_i-\hat\beta x_i)^2\)

で終わりです。