現代数理統計学の基礎　6章　問11-2

コロナ流行のため電車通勤→車通勤に変えたのですが

そのせいで普段の通勤中にできていた勉強ができず

統計の勉強も滞り気味で困っているところです。

間空きましたが統計の問題続けていきます。

6章問11の(2)です。

最尤推定量と不偏推定量の漸近分布が一致することを示す問題。

漸近分布とはnを大きくしたときに近似的に従う分布のことでした。

今回の問題で考えるとまず確率変数Xは二項分布に従うため

平均はnp, 分散はnp(1-p) となります。

なので、X/nの平均はp, 分散はp(1-p)/n ですね。

中心極限定理から

\[
\sqrt{n} \left(\frac{X}{n} – p\right) \xrightarrow{d} N(0, p(1-p))
\]

ここで \( \frac{X}{n} \) は \( p \) の最尤推定量だったので

\[
\sqrt{n} (\hat{p} – p) \xrightarrow{d} N(0, p(1-p))
\]

と書けます。

ここからは最尤推定量の漸近正規性を応用します。

最尤推定量の漸近正規性とは、あるパラメータ \( \theta \) に対して

p.135より

\[
\sqrt{n} (\hat{\theta}_n – \theta) \xrightarrow{d} N\left(0, \frac{1}{I_1(\theta)}\right)
\]

でした。

最尤推定量の漸近分散がクラメールラオの下限に達しています。

これをデルタ法で応用すると、パラメータ \( \theta \) を用いた関数であれば漸近分布を求めることができます。

\[
\theta = g(p) = p(1-p)
\]

とすると

\[
g'(p) = 1 – 2p \\
\{g'(p)\}^2 = (1 – 2p)^2
\]

なのでデルタ法を使って

\[
\sqrt{n} (\hat{\theta}^{ML} – \theta) \xrightarrow{d} N(0, (1-2p)^2 p(1-p))
\]

となります。

最尤推定量の漸近分布が求まりました。

続いて不偏推定量のほうですが

漸近正規性がないので、最尤推定量のように漸近分布との関連が示せません。

ただ、不偏推定量は(1)より

\[
\hat{\theta}^U = \frac{n}{n-1} \hat{\theta}^{ML} = \hat{\theta}^{ML} + \frac{1}{n-1} \hat{\theta}^{ML}
\]

という関係が成り立つので

\[
\sqrt{n}(\hat{\theta}^{U} – \theta) = \sqrt{n}(\hat{\theta}^{ML} – \theta) + \frac{\sqrt{n}}{n-1} \hat{\theta}^{ML}
\]

となります。

第1項は前半で求めたものと同様で、第2項は 0 に確率収束します。

ある分布に収束する第1項と定数に収束する第2項との和は、収束した分布と定数の和に収束するので（スラツキーの定理）

\[
\sqrt{n}(\hat{\theta}^{U} – \theta) \xrightarrow{d} N(0, (1-2p)^2 p(1-p))
\]

となり、二つの漸近分布は一致します。

（2021.02.27追記）

＊コメントでご指摘頂きましたが、公式の解答が二項分布の分散の時点で既に誤っている気がします。修正しました。

（2021.04.15追記）

＊再度コメントでご指摘いただきましたが、公式の解答間違ってませんでした。また修正しました。