現代数理統計学の基礎 3章問8 - 脳内ライブラリアン

ここ数日仕事が忙しく更新できませんでしたが、ブログが習慣化しすぎてて、しばらく書かないと気持ち悪くなってきた今日この頃です。

今日はまた統計の問題解きます。3章の問8は有名なド-モアブル・ラプラスの定理の証明問題ですね。二項分布でnを無限に増やすと正規分布に近似されるという話で、中心極限定理の限定的な証明ということになります。

本書内の解説ではモーメント母関数を使って見事にやっているので、同様にしつつ、少し丁寧にみてみます。

変換前のモーメント母関数Xを用いて、変形し、Ｙのモーメント母関数が標準正規分布の母関数である $e^{\frac{t^2}{2}}$ に一致することを示す方法です。

まず求めたい確率関数Yのモーメント母関数は

$E[e^{tY}]=E[e^{t\frac{X-np}{\sqrt {np(1-p)}}}]\\=e^{-\frac{tnp}{\sqrt{np(1-p)}}}E[e^{\frac{tX}{\sqrt{np(1-p)}}}]$

と変換できます。ここでXは二項分布に従うため、モーメント母関数は以下のように求められます。復習がてら二項分布のモーメント母関数の導出をします。

まず確率母関数は

$G(s)=E[s^x]\\=\sum_{k=0}^ns^k_nC_kp^k(1-p)^{n-k}\\=\sum_{k=0}^n{_nC_k}(ps)^k(1-p)^{n-k}\\=(ps+1-p)^n$

最後の変形は二項定理を使っています。よって、 $s$ を $e^t$ に置き換えて、モーメント母関数は

$M_X(t)=(pe^t+1-p)^n$

となります。

先ほどの式に戻って代入すると

$e^{-\frac{tnp}{\sqrt{np(1-p)}}}E[e^{\frac{tX}{\sqrt{np(1-p)}}}]=e^{-\frac{tnp}{\sqrt{np(1-p)}}}(pe^{\frac{t}{\sqrt{np(1-p)}}}+1-p)^n$

さて、あとはこれをn→∞の時にどうなるか近似していきます。n乗が邪魔になってくるため対数をとって考えます。

$logM_Y(t)=-\frac{tnp}{\sqrt{np(1-p)}}+nlog(pe^{\frac{t}{\sqrt{np(1-p)}}}+1-p)$

ここからが問題で、nを含んだlogの中身をどうにかしないといけないのですが、統計において指数関数の扱いで困ったときに役立つ式と言えばテイラー展開です。eの部分をテイラー展開します。

(e^x=1+x+\frac{x^2}{2}+\frac{x^3}{3}+・・・)

となるので

(-\frac{tnp}{\sqrt{np(1-p)}}+nlog(pe^{\frac{t}{\sqrt{np(1-p)}}}+1-p)\=-\frac{tnp}{\sqrt{np(1-p)}}+nlog{p(1+\frac{t}{\sqrt{np(1-p)}}+\frac{t^2}{2np(1-p)}+・・・)+1-p}\=-\frac{tnp}{\sqrt{np(1-p)}}+nlog{p(\frac{t}{\sqrt{np(1-p)}}+\frac{t^2}{2np(1-p)}+・・・)+1})

さて、今度はlogが邪魔になってきました。。。

そこでまたテイラー展開です。

(log(1+x)=x-\frac{x^2}{2}+\frac{x^3}{3}-・・・)

を利用して

(x=\frac{pt}{\sqrt{np(1-p)}}+\frac{pt^2}{2np(1-p)}+・・・)

と考えます。

すると

(-\frac{tnp}{\sqrt{np(1-p)}}+nlog{p(\frac{t}{\sqrt{np(1-p)}}+\frac{t^2}{2np(1-p)}+…)+1}\=-\frac{tnp}{\sqrt{np(1-p)}}+\frac{tnp}{\sqrt{np(1-p)}}+\frac{t^2}{2(1-p)}-\frac{t^2np^2}{2np(1-p)}-\frac{t^2n}{2n^2(1-p)}-・・・)

ここで、最後の項を含めたもの以降は全て分母にnが出現するため、n→∞のとき全て消えます。よって

(logM_Y(t)=-\frac{tnp}{\sqrt{np(1-p)}}+\frac{tnp}{\sqrt{np(1-p)}}+\frac{t^2}{2(1-p)}-\frac{t^2np^2}{2np(1-p)}-\frac{t^2n}{2n^2(1-p)}-・・・\=\frac{t^2}{2(1-p)}-\frac{t^2np^2}{2np(1-p)}\=\frac{t^2}{2})

となり、証明ができました。

解説ページのまとめはこちら

現代数理統計学の基礎解答・解説まとめ – 脳内ライブラリアン