現代数理統計学の基礎　6章　問11-1

二項分布における不偏推定量と最尤推定量の問題ですね。

Bin(n,p)のpの推定は簡単ですが

今回の問題はθ=p(1-p)について。

p2乗が出る分若干計算が要ります。

まず対数尤度は

\[
\log L(p) = \log {_nC_x} + x \log p + (n-x) \log (1-p)
\]

\[
\frac{\partial}{\partial p} \log L(p) = 0 + \frac{x}{p} – \frac{n-x}{1-p} = 0
\]

これを \( p \) について解くと最尤推定量が求まります。

\[
\hat{p}^{ML} = \frac{x}{n}
\]

よって求めたい \( \theta \) は p122 ＜MLEの不変性＞ より

p の MLE を代入すると求まるので

\[
\hat{\theta}^{ML} = \frac{x}{n} \left( 1 – \frac{x}{n} \right) = \frac{x(n-x)}{n^2}
\]

続いては不偏推定量ですが、最尤推定量と違って不変性が使えないので地道にやる必要があります。

\[
E[\hat{\theta}^U] = E[\hat{p}^U – \hat{(p^2)}^U] \]

ということで \( p^2 \) の不偏推定量が必要になります。

まず \( p \) の不偏推定量は簡単で

\[
E[X] = np \\
\hat{p}^U = \frac{X}{n}
\]

不偏推定量は基本的にパラメータを含んだ期待値の式から変形して出すことが多いですね。

ということで \( p^2 \) の不偏推定量は

\( X^2 \) の期待値あたりから変形すればいいんじゃないかというわけで出します。

一旦基本に立ち戻って、復習がてら二項分布の積率母関数を出します。

\[
G(s) = \sum_{x=0}^{n} s^x {_nC_x} p^x (1-p)^{n-x}
\]

\[
= \sum_{x=0}^{n} {_nC_x} (ps)^x (1-p)^{n-x}
\]

二項定理を用いて

\[
(1 – p + ps)^n
\]

あとはこれを2回微分すると

\[
G”(s) = np^2(n-1)(1 – p + ps)^{n-2}
\]

ここに 1 を代入すると

\[
E[X(X-1)] = G”(1) = n(n-1)p^2 \\
\hat{(p^2)}^U = \frac{X(X-1)}{n(n-1)}
\]

となるので、これを最初の式に代入して

\[
E[\hat{\theta}^U] = E[\hat{p}^U – \hat{(p^2)}^U] \\
= \frac{X(n-X)}{n(n-1)}
\]

これで終わり。

Latexのミスが減ってきて速度が上がりました。