分散と標準偏差(定義から)

方針

解答

⓪ 発想 — どう考え始めるか。 分散は「平均からどれだけ散らばっているか」を測る量だ。

素朴に「平均からのズレを平均する」とどうなるか。ズレ($=$ 偏差)は $-4,-2,0,2,4$ で、足すと $0$。必ず $0$ になってしまう(プラスとマイナスが打ち消し合うから)。これでは散らばりを測れない。

そこで、$2$ 乗して符号を消す。$2$ 乗してから平均すれば、散らばっているほど大きな値になる。

$$(\text{分散})=\frac{(\text{偏差}{)}^2\text{の合計}}{(\text{個数})}$$

$2$ 乗したぶん単位が「点${}^2$」になって扱いにくいので、最後に平方根をとって元の単位に戻す — それが標準偏差である。平均 → 偏差 → $2$ 乗 → 平均 → 平方根、この $5$ 段を順に踏むだけだ。

まず平均値。

$$\bar{x}=\frac{2+4+6+8+10}{5}=\frac{30}{5}=6$$

偏差とその2乗。 各データの偏差($x-\bar{x}$)は順に

$$-4,-2,0,2,4$$

ここで和をとってみると $-4-2+0+2+4=0$。打ち消し合って散らばりの情報が消えてしまう。これが『そのまま平均』ではだめな理由で、2乗する動機だ。偏差の2乗は

$$16,4,0,4,16$$

分散と標準偏差。 分散 $s^2$ は偏差の2乗の平均なので

$$s^2=\frac{16+4+0+4+16}{5}=\frac{40}{5}=8$$

標準偏差 $s$ はその正の平方根で

$$s=\sqrt{8}=2\sqrt{2}$$

(偏差の和が $0$ になることは、どんなデータでも成り立つ。もし偏差の和が $0$ にならなかったら、偏差の計算か平均値がまちがっている。優秀な検算装置として毎回使いたい。)

発展 — 一歩先へ。 なぜ「偏差の絶対値の平均」ではなく、わざわざ $2$ 乗するのか。符号を消すだけなら絶対値でもよさそうだ。

理由は $2$ つある。$1$ つは計算のしやすさ。絶対値は場合分けが必要で、微分もできない。$2$ 乗なら展開でき、上で見たように $\overline{x^2}-(\bar{x}{)}^2$ という便利な式が出る。

もう $1$ つは、$2$ 乗が足し算と相性がいいこと。独立な $2$ つの量の和の分散は、分散の和になる($V(X+Y)=V(X)+V(Y)$、数Bで学ぶ)。この美しい性質は絶対値では成り立たない。三平方の定理と同じ $2$ 乗の加法性が、統計の背骨を通っているのだ。

実際、$n$ 個のデータを $n$ 次元空間の $1$ 点と見ると、標準偏差は「平均を表す点からの距離」($÷\sqrt{n}$)そのもの。分散は $2$ 乗の距離、標準偏差は距離 — 幾何のことばで統計を読み直すと、$2$ 乗の必然性が見えてくる。

別解

分散にはもう $1$ つの計算式がある。偏差を書き出さずに済むので、平均が小数になる問題では圧倒的に速い。

$$(\text{分散})=\overline{x^2}-(\bar{x}{)}^2(\text{2 乗の平均})-(\text{平均の 2 乗})$$

この問題でやってみる。

$2$ 乗の平均:

$$\overline{x^2}=\frac{2^2+4^2+6^2+8^2+10^2}{5}=\frac{4+16+36+64+100}{5}=\frac{220}{5}=44$$

平均の $2$ 乗: $(\bar{x}{)}^2=6^2=36$。

$$(\text{分散})=44-36=8$$

定義から計算した値とぴったり一致した。標準偏差も $\sqrt{8}=2\sqrt{2}$ で同じである。

なぜ一致するのか。 偏差の $2$ 乗を展開してみると分かる。

$$\overline{(x-\bar{x}{)}^2}=\overline{x^2-2\bar{x}x+(\bar{x}{)}^2}=\overline{x^2}-2\bar{x}\cdot \bar{x}+(\bar{x}{)}^2=\overline{x^2}-(\bar{x}{)}^2$$

($x$ の平均が $\bar{x}$ だから、$2\bar{x}x$ の平均は $2\bar{x}\cdot \bar{x}$ になる。)$2$ つの式は同じものの言い換えだ。

使い分けの目安。 平均がきれいな整数なら定義どおりが分かりやすい。平均が $6.4$ のように半端なら、偏差が全部小数になって地獄を見る — そのときは $2$ 乗の平均で攻める。

さらに高い視点から。 このデータ $2,4,6,8,10$ は公差 $2$ の等差数列だ。等差数列のデータの分散には、実は閉じた式がある。項数 $n$、公差 $d$ のとき

$$(\text{分散})=\frac{d^2(n^2-1)}{12}$$

代入すると $\frac{2^2\times (5^2-1)}{12}=\frac{4\times 24}{12}=8$ — 計算せずに答えが出た。等間隔に並んだデータの散らばりは、間隔と個数だけで決まるのだ(サイコロの目 $1$〜$6$ の分散が $\frac{35}{12}$ になるのも同じ公式である)。