※ブログ記事の商品・サービスリンクにはアフィリエイトリンクが含まれます。

統計2022.05.03

スコア関数～フィッシャー情報量～クラメール・ラオの下限を復習【統計検定1級対策】

さて、今日も今日とて統計学の勉強を続けています。

今回は前回記事で使った問題をネタにクラメール・ラオの下限を求める小問をやろうと思ったのですが、、「解答がおかしい・・・。」ということに気づいたので（自分のミスかもしれませんが）愛用の「現代数理統計学の基礎」の練習問題で説明します。

不偏推定量、スコア関数、フィッシャー情報量、クラメール・ラオの下限について基本的な事を練習問題を通じて学びます。スコア関数～クラメール・ラオの下限（もしくはクラメール・ラオの限界またはクラメール・ラオの不等式）はつながってくるので、順番にまとめてみます。

ネタにする練習問題はこれ。

$X_1,..., X_n, i.i.d. ~N(0,\theta)$ に従うとする。（中略）次の問いに答えよ。

(1) $\theta$ のフィッシャー情報量 $I_n(\theta)$ を求めよ。また $\theta$ の不偏推定量の分散の下限に関するクラメール・ラオ不等式を与えよ。（現代数理統計学の基礎 p.142より）

(1)に関連しない条件は略しました。

初めに確率密度関数からスコア関数、フィッシャー情報量、クラメール・ラオの下限の関係を図でまとめておきます。

順に具体的にみていきましょう。

スコア関数
フィッシャー情報量
クラメール・ラオの下限

スコア関数

問題はフィッシャー情報量を求めるものですが、そのためにはまず、スコア関数が必要です。

スコア関数は今回の問題のように、あるサンプル $X_1,... ,X_n$ が得られたとき、そのサンプルが得られる確率密度関数をすべて掛け合わせた尤度関数を求め、その対数をとってパラメータで微分したものです。

具体的にみてみますと、まずサンプル $X_i$ が得られる確率密度関数は、N(0,θ)に従うので

$\frac{1}{\sqrt{2\pi\theta}}e^{-\frac{{x_i}^2}{2\theta}}$

となります。それぞれのサンプルは互いに独立なため、同時確率密度関数を求めるにはすべて掛け合わせるだけでOKです。なので同時確率密度関数は

$\frac{1}{(\sqrt{2\pi\theta})^n}exp\{\sum_{i=1}^n{-\frac{{x_i}^2}{2\theta}}\}$

対数をとると

$-\frac{n}{2}log(2\pi\theta)+\sum_{i=1}^n{-\frac{{x_i}^2}{2\theta}}$

これは対数尤度関数ですね。

これをパラメータθで微分すればスコア関数となるので

$-\frac{n}{\theta}+\sum_{i=1}^n{\frac{{x_i}^2}{2\theta^2}}$

となります。

フィッシャー情報量

フィッシャー情報量はスコア関数の2乗の期待値をとったものです。ただ、問題なのはこれが結構計算しにくい場合があること。

今回の問題でみると

$-\frac{n}{\theta}+\sum_{i=1}^n{\frac{{x_i}^2}{2\theta^2}}$

↑これを2乗して期待値をとるのはきついです。

そこで最初の図にあった右側の迂回路を使います。（証明は省略）

上述した1個の確率密度関数を使います。

$\frac{1}{\sqrt{2\pi\theta}}e^{-\frac{{x_i}^2}{2\theta}}$

これの対数をとってからパラメータθで2回微分します。

まず対数をとると

$-\frac{1}{2}log(2\pi\theta)-\frac{{x_i}^2}{2\theta}\\=-\frac{1}{2}log(2\pi)-\frac{1}{2}log(\theta)-\frac{{x_i}^2}{2\theta}$

これを2回微分して

$\frac{1}{2\theta^2}-\frac{x_i^2}{\theta^3}$

となります。

これの期待値をとってマイナスをかけると1個のデータによるフィッシャー情報量が求められます。

第1項はｘを含まないのでそのまま、第2項は $E[{X_i}^2]=\theta$ （期待値 $E[X_i]=0$ なので分散に等しくなる）となるので

$-\frac{1}{2\theta^2}+\frac{\theta}{\theta^3}\\=\frac{1}{2\theta^2}$

これにnをかけた $\frac{n}{2\theta^2}$ が求めたいフィッシャー情報量です。

クラメール・ラオの下限

ようやくたどり着いてきましたが、あとは簡単です。

先ほど求めたフィッシャー情報量の逆数をとればクラメール・ラオの下限が求められます。これは不偏推定量の質を評価するためのものです。

不偏推定量は定義に従うと、「ある推定量 $\hat\theta$ の期待値をとったときにパラメータθと一致するもの」のことでした。

ただ、このような不偏推定量は複数得られるため、どれがより良いのか分かりません。そこで、この推定量の分散をとったときに最も小さくなる（＝ばらつきが小さい）ものが良いと思われます。分散が小さいかどうかを確認するときに使われるのが、最も小さい分散を算出できるクラメール・ラオの下限です。

今回の問題でいえば

$\frac{2\theta^2}{n}$
が求めたい下限になります。

単純に算出するだけの問題なら簡単ですね。

（2022.5.3一部修正しました）

現代数理統計学の基礎 (共立講座数学の魅力)

現代数理統計学の基礎 (共立講座数学の魅力)

作者:達也, 久保川
発売日: 2017/04/07
メディア: 単行本

FOLLOW

コメントを残すコメントをキャンセル

不正を少しでも減らすためには「ずる　嘘とごまかしの行動経済学」

マルコフの不等式～チェビシェフの不等式～大数の弱法則を復習【統計検定1級対策】