今回は初見では意味が分かりづらかった不偏検定、一様最強力不偏検定とその証明について、正規分布の場合を例に記事にまとめておこうと思います。
不偏検定とは？
不偏検定(unbiased test)とはざっくり言うと、仮説検定のうち、以下の条件を満たすものを指します。*1
有意水準≦検出力
さらにこの条件を満たす不偏検定の中で検出力が最大となるものを一様最強力不偏検定(UMP unbiased test)と言います。
この話だけ聞いても、なぜこの概念が大事なのか、具体的にはどういうことなのかが分かりにくいので正規分布の例で説明してみます。
なぜ不偏検定が大事なのか
ここからは平均μ、分散1の正規分布N(μ, 1)に対して
帰無仮説： \[ \mu=\mu_0 \]
対立仮説： \[ \mu=\mu_1 \quad (\mu_1\neq\mu_0) \]
を例に説明していきます。
このような対立仮説の場合、一様最強力検定は存在しません。
具体的には対立仮説が \[ \mu_0<\mu_1 \] のときの一様最強力検定は
\[ \sqrt{n}(\bar{X}-\mu) > z_{\alpha} \]
ですが、そのとき実際有意水準αと検出力がどのようになっているか図にしてみてみます、
（この辺は現代数理統計学の問10(1)(2)で証明していますので、ご参考ください。
現代数理統計学の基礎 7章 問10（1） – 脳内ライブラリアン
現代数理統計学の基礎 7章 問10（2） – 脳内ライブラリアン
帰無仮説がμ＝0となっていますが、そこを変えて貰えばほぼ同じです。）
対立仮説が \[ \mu_0<\mu_1 \] を満たす場合
雑な図ですみません。横軸に検定統計量、縦軸が確率密度関数となっています。
黒線が帰無仮説が正しい場合の分布、赤線が対立仮説が正しい場合の分布です。
こんな感じですので、検出力の方が有意水準よりは大きいのが分かります。
では対立仮説が \[ \mu_0>\mu_1 \] のときに同じ仮説検定の式を用いるとどうなるか、図で再度見てみます。
その場合はこうなってしまいます。図で見てもわかるように検出力が有意水準よりも小さくなってしまうわけです。
定義を振り返ってみると
有意水準は帰無仮説が正しいときに、誤って帰無仮説を棄却してしまう確率(=type 1 error)
検出力は対立仮説が正しいときに、正しく帰無仮説を棄却できる確率
でした。
検出力の方が小さくなってしまうと、『対立仮説が正しい場合でも、帰無仮説を棄却できる確率がtype 1 errorが起きる確率よりも低い』という完全にわけの分からない状態になってしまいます。
一様最強力検定が存在しないのはしょうがないとしても、検出力が有意水準より小さいなんていう検定では困ります。なので、不偏検定という条件が大事になってきます。
なお、有意水準、検出力について分かりにくい場合はこちらも参考ください。
正規分布における不偏検定・一様最強力不偏検定とその証明
では具体的にどのようなものが不偏検定となり、その中でどのようなものが検出力が最大となるのか。
先程と同様の正規分布の例では
\(\sqrt{n}|\bar{X}-\mu| > z_{\frac{\alpha}{2}}\)
が一様最強力不偏検定となるのですが、その証明をしてみます。*2
まず大前提として検定関数 \(\phi(x)\) というものを使います。
検定関数とは棄却域に入ると1、入っていなければ0となる定義関数です。
式で表すと棄却域を \(R\) としたときに
\[ \phi(x) = \begin{cases} 1 & (x \in R) \\ 0 & (x \notin R) \end{cases} \]
となります。
ここからの流れはネイマンピアソンの補題と似てますのでよければこちらも参考にしてください。
＜下準備①＞
さて、最初に不偏検定の条件を数式に直すと、帰無仮説において有意水準 \(\alpha\) となるためには検出力関数を \(\beta\) とすると
\[ \beta(\mu_0) = \int_{-\infty}^{\infty} \phi(x) \frac{1}{\sqrt{2\pi}} \exp\left\{-\frac{(x-\mu_0)^2}{2}\right\} \leq \alpha \]
であり、また対立仮説における検出力がこの有意水準α以上なので
\[ \beta(\mu_1) = \int_{-\infty}^{\infty} \phi(x) \frac{1}{\sqrt{2\pi}} \exp\left\{-\frac{(x-\mu_1)^2}{2}\right\} \geq \alpha \]
となります。
ここで \(\mu\) は連続しているため
\[ \int_{-\infty}^{\infty} \phi(x) \frac{1}{\sqrt{2\pi}} \exp\left\{-\frac{(x-\mu_0)^2}{2}\right\} = \alpha \]
と言えます。これが一つ目の条件です。
＜下準備②＞
次に上記の条件から \(\mu=\mu_0\) で検出力関数は最小となるので、\(\mu\) で微分したら0になるはずです。
よって
\[ \frac{d}{d\mu} \beta(\mu_0) = \int_{-\infty}^{\infty} \phi(x) \frac{1}{\sqrt{2\pi}} (x-\mu_0) \exp\left\{-\frac{(x-\mu_0)^2}{2}\right\} = 0 \]
となります。これが二つ目の条件です。
＜最大の検出力を求める＞
以上は不偏検定に関する条件でしたが、続いて一様最強力不偏検定にするために、検出力の最大化を考えます。
検出力は数式にすると
\[ \beta(\mu_1) = \int_{-\infty}^{\infty} \phi(x) \frac{1}{\sqrt{2\pi}} \exp\left\{-\frac{(x-\mu_1)^2}{2}\right\} \]
となります。
これを先程の二つの条件を当てはめつつ、最大化します。
αは定数ですので、適当な定数a, bを用いて、上述の二つの条件と合わせると、以下の式を最大化と同値であることが分かります。
\(\int_{-\infty}^{\infty}\phi(x)\frac{1}{\sqrt{2\pi}}exp\{-\frac{(x-\mu_1)^2}{2}\}+a\alpha+b・0\\=\int_{-\infty}^{\infty}\phi(x)\frac{1}{\sqrt{2\pi}}exp\{-\frac{(x-\mu_1)^2}{2}\}-a\int_{-\infty}^{\infty}\phi(x)\frac{1}{\sqrt{2\pi}}exp\{-\frac{(x-\mu_0)^2}{2}\}-b\int_{-\infty}^{\infty}\phi(x)\frac{1}{\sqrt{2\pi}}(x-\mu_0)exp\{-\frac{(x-\mu_0)^2}{2}\}\\=\int_{-\infty}^{\infty}\phi(x)\frac{1}{\sqrt{2\pi}}[exp\{-\frac{(x-\mu_1)^2}{2}\}-aexp\{-\frac{(x-\mu_0)^2}{2}\}-b(x-\mu_0)exp\{-\frac{(x-\mu_0)^2}{2}\}\)
この式を最大化するためには、expの中身が正である時に検定関数が1、負である時には0となるようにすると大きくすることができるので
\[ \exp\left\{-\frac{(x-\mu_1)^2}{2}\right\} \geq a \exp\left\{-\frac{(x-\mu_0)^2}{2}\right\} + b (x-\mu_0) \exp\left\{-\frac{(x-\mu_0)^2}{2}\right\} \] のとき \(\phi(x) = 1\)
\[ \exp\left\{-\frac{(x-\mu_1)^2}{2}\right\} < a \exp\left\{-\frac{(x-\mu_0)^2}{2}\right\} + b (x-\mu_0) \exp\left\{-\frac{(x-\mu_0)^2}{2}\right\} \] のとき \(\phi(x) = 0\)
となれば良さそうです。
この不等式をさらに整理すると
\[ \exp\left\{-\frac{(x-\mu_1)^2}{2}\right\} \geq a \exp\left\{-\frac{(x-\mu_0)^2}{2}\right\} + b (x-\mu_0) \exp\left\{-\frac{(x-\mu_0)^2}{2}\right\} \] \[ \exp\left\{-\frac{(x-\mu_1)^2}{2} + \frac{(x-\mu_0)^2}{2}\right\} \geq a + b (x-\mu_0) \] \[ \exp\left\{ x (\mu_1 – \mu_0) + \frac{{\mu_1}^2 – {\mu_0}^2}{2} \right\} \geq a + b (x-\mu_0) \]
定数に着目して省くとさらに単純になり、条件の式は
\[ \exp\left\{x (\mu_1 – \mu_0)\right\} \geq a’ + b’ x \] のとき \(\phi(x) = 1\)
\[ \exp\left\{x (\mu_1 – \mu_0)\right\} < a' + b' x \] のとき \(\phi(x) = 0\)
と言えます。
ここで、一般に指数関数（左辺）と右辺の関係は下図のようになります。
よって、条件式は
\[ x \leq c, \quad x \geq d \] の形を取ると言えるので、いわゆる両側検定と同じ形になります。
さて、初めに戻りまして
\[ \sqrt{n} |\bar{X} – \mu| > z_{\frac{\alpha}{2}} \] がこれらの条件を満たしているか検討します。
まず、絶対値をつけていますが、両側検定の形を取っているので今証明した条件は満たしています。
また、Type I error の確率（＝有意水準）は明らかに \(\alpha\) です。
これは下準備①で示した条件を満たしています。
さらに下準備②で示した条件を満たしているか、確認します。
帰無仮説下において \(\mu\) で微分した場合
\(\frac{d}{d\mu}\beta(\mu_0)\\=\int_{-\infty}^{-z_{\frac{\alpha}{2}}}\frac{1}{\sqrt{2\pi}}(x-\mu_0)exp{-\frac{(x-\mu_0)^2}{2}}+\int_{z_{\frac{\alpha}{2}}}^{\infty}\frac{1}{\sqrt{2\pi}}(x-\mu_0)exp{-\frac{(x-\mu_0)^2}{2}}\)
となりますが、積分の中身は奇関数なので0となります。
以上から一様最強力不偏検定であることが示せました。
出題範囲から見ても、この辺は出ないような気もしますが、一様最強力検定やネイマンピアソンの補題は試験範囲なので、慣れておいて損はないような気がします。
参考文献：
*1
*2
『数理統計学 データ解析の方法』竹内啓著 p88-90
コメントを残す