不偏分散の期待値と分散【統計検定1級対策】

2014年、2018年の統計数理でいずれも出題されており、重要なポイントではあると思われる不偏分散の期待値と分散の導出などを書きます。

目次：

不偏分散の期待値
不偏分散の分散
不偏分散の一致性

不偏分散の期待値

まず前提として平均 $\mu$ 、分散 $\sigma^2$ の分布をもつ確率変数Xから得られたn個のデータを $X_1, X_2, ...,X_n$ として標本平均を $\frac{1}{n}\sum X_i=\bar X$ とします。

不偏分散(あるいは標本分散とも)は $S^2=\frac{1}{n-1}\sum(X_i-\bar X)^2$ と表されます。

では最初に不偏分散の期待値が母分散に一致することを確かめます。

$E[S^2]=\frac{1}{n-1}E[\sum(X_i-\bar X)^2]\\=\frac{1}{n-1}E[\sum(X_i-\mu)^2-\sum(\mu-\bar X)^2]$

この期待値内の[ ]の変形はよく使われるので覚えておいた方が良いかもしれません。展開してみると一致することが分かります。

続いて変形していくと

$\frac{1}{n-1}E[\sum(X_i-\mu)^2-\sum(\mu-\bar X)^2]\\=\frac{1}{n-1}E[\sum(X_i-\mu)^2]-\frac{n}{n-1}E[(\mu-\bar X)^2]$

さてここで

$E[\sum(X_i-\mu)^2]=n\sigma^2$

$E[(\mu-\bar X)^2]=\frac{\sigma^2}{n}$ （標本平均の分散を表すため）

となりますので、それぞれ代入して

$(与式)=\frac{n}{n-1}\sigma^2-\frac{1}{n-1}\sigma^2\\=\sigma^2$

となりました。

不偏分散の分散

さて、続いて不偏分散の分散を求めてみます。

直接求めるのはなかなか大変なので、既に確立された定理などを用います。

例えば不偏分散と母分散の関係はカイ二乗分布で表されることに着目してみます。

$\frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1}$

でした。

この点については過去に一度記事を書きました。

medibook.hatenablog.com

よって自由度n-1のカイ二乗分布の分散は2(n-1)なので

$V(S^2)=V(\frac{\sigma^2}{n-1}\frac{(n-1)S^2}{\sigma^2})\\=\frac{\sigma^4}{(n-1)^2}2(n-1)\\=\frac{2\sigma^4}{n-1}$

となります。

コクランの定理の考えに沿って、不偏分散がカイ二乗分布に従うことを示す方法もあります。

http://wwwa.pikara.ne.jp/yoshifumi/Statistics/Statistics-6.pdf

Cochran’s theorem – Wikipedia

この辺が参考になります。どちらも例としてこの不偏分散の話が使われています。

期待値のところでもあったように

$\frac{\sum(X_i-\bar X)^2}{\sigma^2}=\frac{\sum(X_i-\mu)^2}{\sigma^2}-\frac{\sum(\mu-\bar X)^2}{\sigma^2}\\\frac{\sum(X_i-\bar X)^2}{\sigma^2}+\frac{\sum(\mu-\bar X)^2}{\sigma^2}=\frac{\sum(X_i-\mu)^2}{\sigma^2}$

と変形できますが、コクランの定理によれば

$\frac{\sum(X_i-\bar X)^2}{\sigma^2}\sim\chi_{n-1}^2\\\frac{\sum(\mu-\bar X)^2}{\sigma^2}\sim\chi_{1}^2\\\frac{\sum(X_i-\mu)^2}{\sigma^2}\sim\chi_{n}^2$

が成立します。

あとは上述した方法と同じですね。