現代数理統計学の基礎 2章 問17

リクエストをいただいたのでこちらの問題。イェンセンの不等式やらルベーグの収束定理やらをさりげなく要求してくる問題でした。

(1)

では(1)から。

増加関数であることを示す問題なので、よく取られる方法として導関数≧0を目指していきます。まず、目的とする関数A(t)は指数が扱いづらいので、これまたよく取られる手段として対数化します。

\(logA(t)=\frac{1}{t}logE[X^t]=h(t)\)

さてこれを微分していきます。

\(h’(t)=-\frac{logE[X^t]}{t^2}+\frac{(E[X^t])’}{tE[X^t]}\)

ここで第二項の分子の部分ですが、期待値の微分となっています。
より正確に記載すると確率密度関数をf(x)とした時、以下の様な式になるわけです。

\(\frac{\partial}{\partial t}\int x^tf(x)dx\)

となると、期待値の計算が今回の問題ではできない以上、微分の定義となる\(lim_{n\to\infty}\)と積分の交換が必要となります。それを可能にしてくれるのがルベーグの収束定理です。測度論が絡むのでこの辺はちょっとまだ理解しがたく、、リンクを貼って紹介させていただくに留めます。

ルベーグの収束定理(優収束定理)とその例題・証明

積率母関数の微分可能性 n 次モーメントが得られることの証明

そうなると先程の分子については

\(E[\frac{\partial}{\partial t}X^t]=E[X^tlogX]\)

となります。ここの微分を勘違いしてつまづいた結果、詰まってしまいtwitterで優しい方に教えていただくという情けないことをやってました（汗

さてあとはこの導関数が0以上になると良いので、不等式を作って整理すると

\(E[X^tlogX^t]\geq E[X^t]logE[X^t]\)

となります。これを証明すれば(1)は終了ですが、ここで役に立つのがイェンセンの不等式です。関数が凸関数であれば、期待値と関数についての大小関係が以下の様になるというものです。

・イェンセンの不等式
\(f(E[X])\leq E(f(x))\)

別記事でごく簡単な説明も載せました。

凸関数とJensenの不等式

さて、今回は\(X^tlogX^t\)という関数ですが

\(X^t=y\)として、g(y)=ylogyと置き換えると2回微分した時

\(g’’(y)=\frac{1}{y}\geq0\)

となりますので、凸関数であることがわかります。よって、イェンセンの不等式が成り立つため上記の不等式が成立します。以上からtは増加関数であることが示せました。

(2)

続いて(2)です。(1)を用いていけば比較的簡単に解くことができます。

まずH=A(-1), M=A(1)なので、H≦Mであることは簡単にわかります。

問題はGがなんなのかですが、logA(0)を考えていくことでわかります（ただ初見でこれにどうやって気づくのかよくわかりませんが、、、）。

A(0)は定義できないので、極限を用いて考えます。

\(lim_{t\to\infty}logA(t)=lim_{t\to\infty}\frac{logE[X^t]}{t}(ロピタルの定理を使っていきます)\\=lim_{t\to\infty}\frac{E[X^tlogX]}{E[X^t]}(ここでt\to0を考える)\\=E[logX]\\=logG\)

となります。よってG=A(0)であることがわかりましたので、H≦G≦Mが証明できました。