さて、今日も今日とて統計学の勉強を続けています。
今回は前回記事で使った問題をネタにクラメール・ラオの下限を求める小問をやろうと思ったのですが、、「解答がおかしい・・・。」ということに気づいたので（自分のミスかもしれませんが）愛用の「現代数理統計学の基礎」の練習問題で説明します。
不偏推定量、スコア関数、フィッシャー情報量、クラメール・ラオの下限について基本的な事を練習問題を通じて学びます。スコア関数～クラメール・ラオの下限（もしくはクラメール・ラオの限界またはクラメール・ラオの不等式）はつながってくるので、順番にまとめてみます。
ネタにする練習問題はこれ。
\( X_1, \dots, X_n \) が i.i.d. \( \sim N(0, \theta) \) に従うとする。（中略）次の問いに答えよ。
(1) \( \theta \) のフィッシャー情報量 \( I_n(\theta) \) を求めよ。また \( \theta \) の不偏推定量の分散の下限に関するクラメール・ラオ不等式を与えよ。（現代数理統計学の基礎 p.142より）
(1)に関連しない条件は略しました。
スコア関数
スコア関数は、あるサンプル \( X_1, \dots, X_n \) が得られたとき、そのサンプルが得られる確率密度関数をすべて掛け合わせた尤度関数を求め、その対数をとってパラメータで微分したものです。
今回の場合
クラメール・ラオの下限はフィッシャー情報量の逆数です。
\[ \text{Var}(\hat{\theta}) \geq \frac{1}{I_n(\theta)} \]
今回の場合
\[ \frac{1}{I_n(\theta)} = \frac{2\theta^2}{n} \]
となります。これが不偏推定量の分散の下限です。
を用いると簡単に求まります。
対数尤度関数の2階微分は
期待値を取ると
\[
E\left[ \sum_{i=1}^{n} x_i^2 \right] = nE[X_i^2] = n\theta
\]
よって
\[
I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2}
\]
期待値を取ると
よって
\[ I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2} \]
クラメール・ラオの下限
クラメール・ラオの下限はフィッシャー情報量の逆数です。
\[ \text{Var}(\hat{\theta}) \geq \frac{1}{I_n(\theta)} \]
今回の場合
\[ \frac{1}{I_n(\theta)} = \frac{2\theta^2}{n} \]
となります。これが不偏推定量の分散の下限です。
を用いると簡単に求まります。
対数尤度関数の2階微分は
期待値を取ると
\[
E\left[ \sum_{i=1}^{n} x_i^2 \right] = nE[X_i^2] = n\theta
\]
よって
\[
I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2}
\]
期待値を取ると
よって
\[ I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2} \]
クラメール・ラオの下限
クラメール・ラオの下限はフィッシャー情報量の逆数です。
\[ \text{Var}(\hat{\theta}) \geq \frac{1}{I_n(\theta)} \]
今回の場合
\[ \frac{1}{I_n(\theta)} = \frac{2\theta^2}{n} \]
となります。これが不偏推定量の分散の下限です。
を用いると簡単に求まります。
対数尤度関数の2階微分は
期待値を取ると
\[
E\left[ \sum_{i=1}^{n} x_i^2 \right] = nE[X_i^2] = n\theta
\]
よって
\[
I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2}
\]
よって
クラメール・ラオの下限はフィッシャー情報量の逆数です。
\[ \text{Var}(\hat{\theta}) \geq \frac{1}{I_n(\theta)} \]
今回の場合
\[ \frac{1}{I_n(\theta)} = \frac{2\theta^2}{n} \]
となります。これが不偏推定量の分散の下限です。
期待値を取ると
よって
\[ I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2} \]
クラメール・ラオの下限
クラメール・ラオの下限はフィッシャー情報量の逆数です。
\[ \text{Var}(\hat{\theta}) \geq \frac{1}{I_n(\theta)} \]
今回の場合
\[ \frac{1}{I_n(\theta)} = \frac{2\theta^2}{n} \]
となります。これが不偏推定量の分散の下限です。
を用いると簡単に求まります。
対数尤度関数の2階微分は
期待値を取ると
\[
E\left[ \sum_{i=1}^{n} x_i^2 \right] = nE[X_i^2] = n\theta
\]
よって
\[
I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2}
\]
よって
クラメール・ラオの下限はフィッシャー情報量の逆数です。
\[ \text{Var}(\hat{\theta}) \geq \frac{1}{I_n(\theta)} \]
今回の場合
\[ \frac{1}{I_n(\theta)} = \frac{2\theta^2}{n} \]
となります。これが不偏推定量の分散の下限です。
期待値を取ると
よって
\[ I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2} \]
クラメール・ラオの下限
クラメール・ラオの下限はフィッシャー情報量の逆数です。
\[ \text{Var}(\hat{\theta}) \geq \frac{1}{I_n(\theta)} \]
今回の場合
\[ \frac{1}{I_n(\theta)} = \frac{2\theta^2}{n} \]
となります。これが不偏推定量の分散の下限です。
を用いると簡単に求まります。
対数尤度関数の2階微分は
期待値を取ると
\[
E\left[ \sum_{i=1}^{n} x_i^2 \right] = nE[X_i^2] = n\theta
\]
よって
\[
I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2}
\]
クラメール・ラオの下限はフィッシャー情報量の逆数です。
今回の場合
\[ \frac{1}{I_n(\theta)} = \frac{2\theta^2}{n} \]
となります。これが不偏推定量の分散の下限です。
よって
クラメール・ラオの下限はフィッシャー情報量の逆数です。
\[ \text{Var}(\hat{\theta}) \geq \frac{1}{I_n(\theta)} \]
今回の場合
\[ \frac{1}{I_n(\theta)} = \frac{2\theta^2}{n} \]
となります。これが不偏推定量の分散の下限です。
期待値を取ると
よって
\[ I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2} \]
クラメール・ラオの下限
クラメール・ラオの下限はフィッシャー情報量の逆数です。
\[ \text{Var}(\hat{\theta}) \geq \frac{1}{I_n(\theta)} \]
今回の場合
\[ \frac{1}{I_n(\theta)} = \frac{2\theta^2}{n} \]
となります。これが不偏推定量の分散の下限です。
を用いると簡単に求まります。
対数尤度関数の2階微分は
期待値を取ると
\[
E\left[ \sum_{i=1}^{n} x_i^2 \right] = nE[X_i^2] = n\theta
\]
よって
\[
I_n(\theta) = -E\left[ \frac{n}{2\theta^2} – \sum_{i=1}^{n} \frac{x_i^2}{\theta^3} \right] = \frac{n}{2\theta^2}
\]
コメントを残す