※ブログ記事の商品・サービスリンクにはアフィリエイトリンクが含まれます。

現代数理統計学の基礎　6章　問11-2

コロナ流行のため電車通勤→車通勤に変えたのですが

そのせいで普段の通勤中にできていた勉強ができず

統計の勉強も滞り気味で困っているところです。

間空きましたが統計の問題続けていきます。

6章問11の(2)です。

最尤推定量と不偏推定量の漸近分布が一致することを示す問題。

漸近分布とはnを大きくしたときに近似的に従う分布のことでした。

今回の問題で考えるとまず確率変数Xは二項分布に従うため

平均はnp, 分散はnp(1-p) となります。

なので、X/nの平均はp, 分散はp(1-p)/n ですね。

中心極限定理から

$\sqrt{n}(\frac{X}{n}-p)→_dN(0, p(1-p))$

ここでX/nはpの最尤推定量だったので

$\sqrt{n}(\hat p-p)→_dN(0, p(1-p))$

と書けます。

ここからは最尤推定量の漸近正規性を応用します。

最尤推定量の漸近正規性とは、あるパラメータθに対して

p.135より

$\sqrt{n}(\hat\theta_n-\theta)→_dN(0, \frac{1}{I_1(\theta)})$

でした。

最尤推定量の漸近分散がクラメールラオの下限に達しています。

これをデルタ法で応用するとパラメータθを用いた関数であれば

漸近分布を求めることができます。

$\theta=g(p)=p(1-p)$

とすると

$g'(p)=1-2p\\\{g'(p)\}^2=(1-2p)^2$

なのでデルタ法を使って

$\sqrt{n}(\hat\theta^{ML}-\theta)→_dN(0,(1-2p)^2p(1-p))$

となります。

最尤推定量の漸近分布が求まりました。

続いて不偏推定量のほうですが

漸近正規性がないので、最尤推定量のように漸近分布との関連が示せません。

ただ、不偏推定量は(1)より

$\hat\theta^u=\frac{n}{n-1}\hat\theta^{ML}=\hat\theta^{ML}+\frac{1}{n-1}\hat\theta^{ML}$

という関係が成り立つので

$\sqrt{n}(\hat\theta^{U}-\theta)=\sqrt{n}(\hat\theta^{ML}-\theta)+\frac{\sqrt{n}}{n-1}\hat\theta^ML$

となります。

第1項は前半で求めたものと同様で、第2項は0に確率収束します。

ある分布に収束する第1項と定数に収束する第2項との和は

収束した分布と定数の和に収束するので（スラツキーの定理）

$\sqrt{n}(\hat\theta^{U}-\theta)→_dN(0, (1-2p)^2p(1-p))$

となり、二つの漸近分布は一致します。

（2021.02.27追記）

＊コメントでご指摘頂きましたが、公式の解答が二項分布の分散の時点で既に誤っている気がします。修正しました。

（2021.04.15追記）

＊再度コメントでご指摘いただきましたが、公式の解答間違ってませんでした。また修正しました。

4件のコメント

いきなりコメント失礼します。
X/nの分散はp(1-p)ではなく、p(1-p)/nではないでしょうか。

返信

＞プライムさん
コメントどうもありがとうございます。確かにご指摘いただいた通りですね。そうするとその後の回答も全て変わってくるので、公式の解答が間違っている気がします、、、。記事の方も修正させていただきました、ありがとうございます。

返信

tosuke先生，いつも参考にさせていただきありがとうございます
「X/nの平均はp, 分散はp(1-p)/n ですね。」は正しいと思うのですが，
その2行下の式では左に√nがかかっているので，公式の解答は正しいと思いますがいかがでしょうか？
tosuke先生のおっしゃるように最尤推定量の一致性，漸近正規性はかなり重要とは思うのですが，この場面（デルタ法を適用したい）では，不変性が本質的なような気がしますがいかがでしょうか（p99の(5.14式）が適用できる）？
この場面での不偏推定量は不変性（同音異義語がややこしいですね）がないので，最尤推定量と結び付けて，かつ最尤推定量の一致性（真のθに確率収束する）を利用して最終的には漸近分布が一致するというのが自然な流れかと思っています．
私の理解がずれている場合には是非ご指摘いただけますと幸いです．

返信