なぜ n-1 で割るのか(不偏分散)

方針

解答

⓪ 発想 — どう考え始めるか。 標本から母分散を推定したい。素直に考えれば、標本の散らばり $\frac{1}{n}\sum {\left(X_i-\bar{X}\right)}^2$ を使えばよさそうだ。ところが教科書は $n-1$ で割れという。なぜなのか。

原因は $\bar{X}$ にある。真の平均 $m$ は分からないので、代わりにデータ自身から作った $\bar{X}$ を中心に使う。ところが $\bar{X}$ はデータに引っ張られる。だからデータは、真の中心 $m$ のまわりよりも $\bar{X}$ のまわりに寄って見えるのだ。

その「寄り」のぶんを計算すると、ちょうど ${\sigma }^2$ 1つぶんになる。だから $n$ ではなく $n-1$ で割ると、帳尻が合う。

計算の要は、$X_i-\bar{X}=\left(X_i-m\right)-\left(\bar{X}-m\right)$ と書くことである。真の中心 $m$ を経由して、$\bar{X}$ のずれを分離するのだ。

① (1) 標本平均の期待値と分散。 期待値は線形性から

$$E(\bar{X})=\frac{1}{n}\sum _{i=1}^{n}E(X_i)=\frac{1}{n}\cdot nm=m$$

分散は、$X_i$ が互いに独立だから加法性が使えて

$$V(\bar{X})=\frac{1}{n^2}\sum _{i=1}^{n}V(X_i)=\frac{1}{n^2}\cdot n{\sigma }^2=\frac{{\sigma }^2}{n}$$

定数倍の分散は2乗で効く($V(aX)=a^{2}V(X)$)ことに注意。標本平均は、$1$ 個のデータより $\frac{1}{n}$ 倍だけばらつきが小さい。

② (2) 真の中心を経由する。 $X_i-\bar{X}=\left(X_i-m\right)-\left(\bar{X}-m\right)$ と書いて2乗し、$i$ について足す。

$$S=\sum {\left(X_i-m\right)}^2-2\left(\bar{X}-m\right)\sum \left(X_i-m\right)+n{\left(\bar{X}-m\right)}^2$$

ここで $\sum \left(X_i-m\right)=n\bar{X}-nm=n\left(\bar{X}-m\right)$ だから、真ん中の項は $-2n{\left(\bar{X}-m\right)}^2$ になる。よって

$$S=\sum {\left(X_i-m\right)}^2-n{\left(\bar{X}-m\right)}^2$$

③ 期待値をとる。 $E\left[{\left(X_i-m\right)}^2\right]=V(X_i)={\sigma }^2$ が $n$ 個ぶん。また $E\left[{\left(\bar{X}-m\right)}^2\right]=V(\bar{X})=\frac{{\sigma }^2}{n}$ である($\bar{X}$ の平均は $m$ だから、これは分散そのもの)。したがって

$$E(S)=n{\sigma }^2-n\cdot \frac{{\sigma }^2}{n}=n{\sigma }^2-{\sigma }^2=(n-1){\sigma }^2$$

引かれた ${\sigma }^2$ が「$\bar{X}$ を使ったぶんの目減り」である。

④ (3) 割る数を決める。 ②③より

$$E\left(\frac{1}{n}S\right)=\frac{n-1}{n}{\sigma }^2<{\sigma }^2$$

つまり $\frac{1}{n}S$ は、平均的に見て母分散を小さく見積もってしまう(過小評価)。$n=5$ なら $80\%$ ほどにしかならない。

一方

$$E\left(\frac{1}{n-1}S\right)=\frac{(n-1){\sigma }^2}{n-1}={\sigma }^2$$

で、期待値がちょうど母分散に一致する。これが「$n-1$ で割る」理由である(この量を不偏分散という)。

まとめ: $\bar{X}$ はデータ自身から作った中心だから、データはその近くに寄って見える。寄りのぶんはちょうど ${\sigma }^2$ 1つぶんで、それを補うのが $n-1$ という割り数である。

発展 — 一歩先へ。 なぜ目減りがぴったり $1$ 個ぶんなのか。偏差 $X_i-\bar{X}$ には $\sum \left(X_i-\bar{X}\right)=0$ という束縛が1本かかっているからだ。$n$ 個の偏差のうち、自由に決められるのは $n-1$ 個で、最後の1個は自動的に決まってしまう。この「自由度 $n-1$」が、そのまま割る数になっている。

自由度はもっと先の統計学でも主役であり続ける。母平均も母分散も未知の状況で使う $t$ 分布、分散の分布を扱うカイ2乗分布は、いずれも自由度をパラメータに持つ。$n-1$ という一見どうでもいい数字が、実は理論の中心にあるのだ。

なお、不偏分散の平方根は「標準偏差の不偏推定量」にはならない。平方根は非線形な操作なので、期待値が保存されないからである。ここも間違えやすい。

別解

$n=2$ で手を動かして確かめる(苦手な人向け)。 一般論の前に、いちばん小さい場合をやってみよう。

$X_1,X_2$ は独立で、平均 $m$、分散 ${\sigma }^2$ とする。$\bar{X}=\frac{X_1+X_2}{2}$ だから

$$X_1-\bar{X}=\frac{X_1-X_2}{2},X_2-\bar{X}=-\frac{X_1-X_2}{2}$$

2つの偏差は、大きさが同じで符号が逆である。よって

$$S={\left(\frac{X_1-X_2}{2}\right)}^2\times 2=\frac{{\left(X_1-X_2\right)}^2}{2}$$

ここで $D=X_1-X_2$ とおく。$E(D)=m-m=0$、$V(D)=V(X_1)+V(X_2)=2{\sigma }^2$(独立だから分散が足せる。引き算でも足す)。したがって

$$E\left(D^2\right)=V(D)+{\left\{E(D)\right\}}^2=2{\sigma }^2$$

となり

$$E(S)=\frac{E\left(D^2\right)}{2}={\sigma }^2=(2-1){\sigma }^2$$

確かに $(n-1){\sigma }^2$ である。$n=2$ のときは「$S$ を $1$ で割る」— つまり $2$ で割ってはいけない。

意味を考えてみよう。$2$ 個のデータの散らばりを、その $2$ 個から作った平均のまわりで測ると、真の平均のまわりで測った場合のちょうど半分になってしまう。$2$ 個の点のあいだの真ん中に中心を置けば、そりゃあ近くに見える。この $\frac{1}{2}$ の目減りを補うのが「$n-1=1$ で割る」という操作である。

小さい場合で仕組みを見てから一般化する。この順序で考えると、公式が身体に入る。