二項分布を変数変換したときの、確率収束及び分布収束の問題ですね。
今まで解答の意味がよくわからなかったのですが、確率変数 \(X_n\) が \(n \to \infty\) となるときにどう動くかは、前提として二項分布の母比率と標本比率の話を理解しておいた方が良さそうであることに後で気がつきました。
標本比率は母比率に確率収束する
母比率とは二項分布における \(p\) のことです。それに対して標本比率は今回の設問の設定において
\[ \frac{X_n}{n} \]
で表されます。\(n\) 回施行のうち、\(X_n\) 回が成功と出るわけなので、その意味は明確です。
さて、\(X_n\) そのものが \(n \to \infty\) のとき、どうなるかはわからないのですが、標本比率であれば、母比率に確率収束することが分かります。
というのも、\(\frac{X_n}{n}\) はそもそもベルヌーイ分布の標本平均と考えることができるので、1回の試行の結果を \(Y_1, Y_2, …, Y_n\) とすれば
\[ \frac{X_n}{n} = \frac{1}{n} \sum Y_i \]
と表すことができます。
確率変数 \(Y_i\) の期待値は \(p\)、分散は \(p(1 – p)\) となるので、大数の弱法則より、その平均は \(p\) に収束することが分かります。
よって、
\[ \frac{X_n}{n} \to p \]
となります。
\( Y_n \to_p \log p \) を示す
以上の前提から問題に取り掛かります。
まず上記の収束を示すには、十分に小さい適当な定数 \(\epsilon > 0\) をとって
\[ P(|Y_n – \log p| > \epsilon) \to 0 \]
を示せば良いことが分かります。
\[ P(|Y_n – \log p| > \epsilon) = P(|Y_n – \log p| > \epsilon | X_n = 0) + P(|Y_n – \log p| > \epsilon | X_n \geq 1) \]
ここでまず第1項は
\[ P(|Y_n – \log p| > \epsilon | X_n = 0) \]
\[ = P(|1 – \log p| > \epsilon | X_n = 0) \]
\[ = P(X_n = 0) \]
\[ = (1 – p)^n \]
となります。\(0 < p < 1\) なので、
\[ |1 – \log p| > \epsilon \]
はいつでも成り立つことが分かります。
\(n \to \infty\) とすると 0 に収束します。
次に、第2項をみていきます。
\[ P(|Y_n – \log p| > \epsilon | X_n \geq 1) = P\left(|\log \frac{X_n}{np}| > \epsilon | X_n \geq 1\right) \]
確率の中身を検討すると
\[ \log \frac{X_n}{np} < -\epsilon, \quad \epsilon < \log \frac{X_n}{np} \]
\[ \frac{X_n}{n} < p e^{-\epsilon}, \quad p e^{\epsilon} < \frac{X_n}{n} \]
\[ \frac{X_n}{n} – p < p(e^{-\epsilon} - 1), \quad p(e^{\epsilon} - 1) < \frac{X_n}{n} - p \]
となります。
\(n \to \infty\) のとき
\[ \frac{X_n}{n} – p \]
は 0 に収束しますが、
\[ p(e^{-\epsilon} – 1) \]
は負になり、
\[ p(e^{\epsilon} – 1) \]
は正になるため、不等号を満たす確率は 0 になります。
よって、第2項も 0 に収束します。
以上から
\[ P(|Y_n – \log p| > \epsilon) \to 0 \]
が示せました。
\(\sqrt{n} (Y_n – \log p) \to_d N(0, \frac{1 – p}{p})\) を示す
前半の問題と同様に、場合分けを行います。今回は連続型確率分布の話となるので、指示関数 \(I\) を用いて
\[ \sqrt{n} (Y_n – \log p) = \sqrt{n} (Y_n – \log p) I(X_n \geq 1) + \sqrt{n} (Y_n – \log p) I(X_n = 0) \]
と表すことができます。
第2項については、前半の問題と同様に考えると
\[ \sqrt{n} (Y_n – \log p) I(X_n = 0) = (1 – \log p) \sqrt{n} I(X_n = 0) \]
ここで、
\[ P(\sqrt{n} I(X_n = 0) > \epsilon) = P\left(I(X_n = 0) > \frac{\epsilon}{\sqrt{n}}\right) \]
\[ P(X_n = 0) = (1 – p)^n \to 0 \]
となります。
よって、第1項のみに着目して話を進めます。
ここで使うのがテイラー展開です。目的となる確率密度関数をテイラー展開していきます。二次の項まで展開して
\[ \log \frac{X_n}{n} \approx \log p + \frac{1}{p} \left(\frac{X_n}{n} – p\right) \]
よって
\[ \sqrt{n} \left(\log \frac{X_n}{n} – \log p\right) \approx \frac{\sqrt{n}}{p} \left(\frac{X_n}{n} – p\right) = \frac{1}{p} \sqrt{n} \left(\frac{X_n}{n} – p\right) \]
ここで、\(\frac{X_n}{n}\) は平均 \(p\)、分散 \(p(1 – p)\) なので、中心極限定理より
\[ \sqrt{n} \left(\frac{X_n}{n} – p\right) \to_d N(0, p(1 – p)) \]
先程の式には \(\frac{1}{p}\) がついているので
\[ \sqrt{n} \left(\log \frac{X_n}{n} – \log p\right) \to_d N(0, \frac{1 – p}{p}) \]
に収束することが分かりました。
＊2023.08.31 一部誤っていたため式を修正しました。
お初コメント致します、名無しとでも名乗らせてください。
いつも記事を参考に勉強させていただいております。
もしお手すきでしたら教えていただきたいのですが、
本記事後半の、分布収束を求める部分でLog(Xn/n)をテイラー展開しておりますが、
どう変形してLog(p) – (1/p)*((Xn/n) -p)になるか追えませんでした。
一般に -1 < x < 1 のxに対して、Log(1+x) ～ x – (1/2)*x^2 + ・・ と展開できますが
どう見ればよいか分かりませんでした。
ネット上の他の解答よりも脳ラブさんのものがしっくり来ていまして、
お手数ですがぜひご回答いただけますと幸いです。
よろしくお願いいたします。
最後になりますが、これからも更新楽しみにしています。
９：４６PMにメールしたものです、名無しです。
すみません、テイラー展開という言葉に引っ張られていましたがデルタ法で近似していたんですね
理解できました、、。
従いましてご回答をお願いしますなどと申してしまいましたが、解決致しました。
連投失礼致しました。
今後とも記事投稿応援しております、暑い日が続きますが体調にお気をつけてください。
コメントありがとうございます。
見直してみましたが、期待値や分散の計算ではないのでデルタ法と言うよりはテイラー展開でやはり良いように思いました。上記の式ではf(x)=logxとして平均回りでテイラー展開しています。（実際はX_n/nですが簡略化のためにxとしておきます）
f(x)≒f(p)+f’(p)(x-p)+…
ですので
f(x)≒logp+1/p(x-p)+…
となっています。右辺の第二項が誤ってマイナスとなっていましたのでそちらで誤解を生んでしまったかもしれません。申し訳ありませんでした。
返信ありがとうございます！
確かにおっしゃる通りpまわりのテイラー展開ですね、、
logを見て反射的にデルタ法と書き込んでしまっていました
（回答に対する感謝の意だけですので返信不要です！）