数学I / データの分析

平均と中央値は標準偏差以上には離れない

最難関編平均と中央値三角不等式標準偏差

問題

$n$ 個のデータ $x_{1}, \dots, x_{n}$ の平均値を $\overset{x}{ˉ}$ 、中央値を $M_{e}$ 、標準偏差を $s$ とする。以下、「 $i = 1 \sum n ∣ x_{i} - c ∣$ を最小にする $c$ は中央値 $M_{e}$ である」ことは用いてよい。

(1) 任意の実数 $c$ に対して

$\frac{1}{n} i = 1 \sum n ∣ x_{i} - c ∣ \leq \frac{1}{n} i = 1 \sum n (x_{i} - c)^{2}$

が成り立つことを示せ。

(2) $∣ \overset{x}{ˉ} - M_{e} ∣ \leq s$ を示せ。

(3) $s > 0$ とする。比 $\frac{∣ x ˉ - M _{e} ∣}{s}$ は $1$ にいくらでも近づけられることを、データの例を作って示せ。

ヒントを見る

(1) $∣ x_{i} - c ∣$ を新しい変量 $y_{i}$ と見よ。 $y$ について何が言えるか。

(2) $\overset{x}{ˉ} - M_{e}$ を「偏差の平均」の形に書けないか。そこから絶対値を中に入れる。

解答・解説

方針

平均は外れ値に引きずられ、中央値は動じない。だが2つが離れられる距離には限界があり、それが標準偏差である。三角不等式・中央値の最小性・(1)の3段を積み重ねるとちょうど $s$ にたどり着く。(1)自体は「分散は $0$ 以上」の言い換えにすぎない。

解答

⓪ 発想 — どう考え始めるか。 平均は外れ値に引きずられる。中央値は動じない。だから2つは離れうる。ではどこまで離れられるのか。

答えは「標準偏差 $s$ まで」である。 $s$ は散らばりの尺度だから、散らばりが小さいデータでは平均と中央値がぴったり寄り添う、というわけだ。

使う道具は3つ。三角不等式(和の絶対値は絶対値の和以下)、中央値の最小性(絶対偏差の和は中央値で最小)、そして「絶対値の平均 $\leq$ 2乗平均の平方根」。この3段を積み重ねると、ちょうど $s$ にたどり着く。

(1)の不等式は、実は「分散は $0$ 以上」の言い換えにすぎない。 $y = ∣ x - c ∣$ という新しい変量を考えれば、 $\overline{y^{2}} - (\overset{y}{ˉ})^{2} \geq 0$ がそのまま(1)になる。

公式どんな変量

y

でも分散は

0

以上:

\overline{y^{2}} - (\overset{y}{ˉ})^{2} \geq 0

、すなわち

\overset{y}{ˉ} \leq \overline{y^{2}}

定理三角不等式

\sum a_{i} \leq \sum ∣ a_{i} ∣

① (1) 新しい変量を作る。 $y_{i} = ∣ x_{i} - c ∣$ とおく。 $y$ の分散は $0$ 以上だから

$\frac{1}{n} \sum y_{i}^{2} - (\frac{1}{n} \sum y_{i})^{2} \geq 0$

ここで $y_{i}^{2} = ∣ x_{i} - c ∣^{2} = (x_{i} - c)^{2}$ である。移項すると

$(\frac{1}{n} \sum ∣ x_{i} - c ∣)^{2} \leq \frac{1}{n} \sum (x_{i} - c)^{2}$

両辺とも $0$ 以上だから、平方根をとって(1)を得る。

② (2) 3段で挟む。 まず、平均と中央値の差を「偏差の平均」の形に書く。

$\overset{x}{ˉ} - M_{e} = \frac{1}{n} \sum x_{i} - M_{e} = \frac{1}{n} \sum (x_{i} - M_{e})$

第1段は三角不等式である。

$∣ \overset{x}{ˉ} - M_{e} ∣ = \frac{1}{n} \sum (x_{i} - M_{e}) \leq \frac{1}{n} \sum ∣ x_{i} - M_{e} ∣$

第2段は中央値の最小性。絶対偏差の和を最小にするのは中央値だから、 $c = \overset{x}{ˉ}$ と比べて

$\frac{1}{n} \sum ∣ x_{i} - M_{e} ∣ \leq \frac{1}{n} \sum ∣ x_{i} - \overset{x}{ˉ} ∣$

第3段は(1)で $c = \overset{x}{ˉ}$ とする。

$\frac{1}{n} \sum ∣ x_{i} - \overset{x}{ˉ} ∣ \leq \frac{1}{n} \sum (x_{i} - \overset{x}{ˉ})^{2} = s$

3つをつなげば $∣ \overset{x}{ˉ} - M_{e} ∣ \leq s$ 。

③ (3) 限界に迫る例を作る。 $k$ を自然数とし、 $0$ を $k + 1$ 個、 $1$ を $k$ 個並べたデータ( $n = 2 k + 1$ 個)を考える。

中央値は、小さい順に並べたときの真ん中の値である。 $0$ が過半数( $k + 1$ 個)を占めるから $M_{e} = 0$ 。

平均は $\overset{x}{ˉ} = \frac{k}{2 k + 1}$ 。

分散は2値データの計算から $s^{2} = \frac{k ( k + 1 )}{( 2 k + 1 ) ^{2}}$ 、すなわち $s = \frac{k ( k + 1 )}{2 k + 1}$ である。よって

$\frac{∣ x ˉ - M _{e} ∣}{s} = \frac{\frac{k}{2 k + 1}}{\frac{k ( k + 1 )}{2 k + 1}} = \frac{k}{k ( k + 1 )} = \frac{k}{k + 1}$

$k$ を大きくすれば、この値はいくらでも $1$ に近づく( $k = 500$ なら約 $0.999$ )。したがって(2)の $s$ は、これ以上小さい値には置き換えられない。

例: 0 が3個、1 が2個。中央値は 0、平均は 0.4、標準偏差は約 0.49。平均は必ず『中央値 ± 標準偏差』の帯(青)の中にある。この例では帯の端すれすれ

まとめ: 「平均は、中央値から標準偏差ぶんまでしか離れられない」。三角不等式・中央値の最小性・2乗平均との比較を積み上げるだけだが、3つとも基本的な道具なのが面白い。

発展 — 一歩先へ。 実は等号 $∣ \overset{x}{ˉ} - M_{e} ∣ = s$ が成り立つのは、データがすべて同じ値のとき( $s = 0$ )に限る。それでも(3)のように比を $1$ にいくらでも近づけられる。「等号は成立しないが、定数 $1$ は改良できない」という状況だ。

実務ではこの不等式が警告として働く。所得分布のように、平均が中央値よりずっと大きいデータは、この限界に近いところにいる。もし「平均と中央値の差が標準偏差の $1.2$ 倍」という報告があれば、それは計算間違いである。データを見る前に、数字どうしの整合性が確かめられるのだ。

答

(1) $y_{i} = ∣ x_{i} - c ∣$ の分散が $0$ 以上、から従う (2) 三角不等式 $\to$ 中央値の最小性 $\to$ (1) の3段 (3) $0$ を $k + 1$ 個・ $1$ を $k$ 個並べると比は $\frac{k}{k + 1}$ で、 $k \to \infty$ で $1$ に近づく

別解

(1)をコーシー・シュワルツで示し、等号条件まで追う(得意な人向け)。 (1)はコーシー・シュワルツの不等式の特別な場合でもある。

$(i = 1 \sum n 1 \cdot ∣ x_{i} - c ∣)^{2} \leq (i = 1 \sum n 1^{2}) (i = 1 \sum n ∣ x_{i} - c ∣^{2}) = n i = 1 \sum n (x_{i} - c)^{2}$

両辺を $n^{2}$ で割って平方根をとれば(1)である。

この見方の利点は、等号条件がはっきりすることだ。コーシー・シュワルツの等号は「2つの並びが比例するとき」、いまの場合は $∣ x_{i} - c ∣$ がすべて等しいときである。

そこで(2)の等号を追ってみよう。 $s > 0$ として、第3段((1)で $c = \overset{x}{ˉ}$ )で等号が成り立つには、 $∣ x_{i} - \overset{x}{ˉ} ∣$ がすべて等しい必要がある。その共通の値は $s$ だから、データは $\overset{x}{ˉ} - s$ と $\overset{x}{ˉ} + s$ の2種類しかない。

$\overset{x}{ˉ} - s$ が $a$ 個、 $\overset{x}{ˉ} + s$ が $b$ 個とすると、偏差の和が $0$ だから $- a s + b s = 0$ 、すなわち $a = b$ 。つまり2つの値がちょうど半々である。

このとき中央値は、小さい順に並べた真ん中2つの平均で $\frac{( x ˉ - s ) + ( x ˉ + s )}{2} = \overset{x}{ˉ}$ 。したがって $∣ \overset{x}{ˉ} - M_{e} ∣ = 0$ となり、 $s > 0$ と等しくはならない。

結局、等号が成り立つのは $s = 0$ (全部同じ値)のときだけである。「近づけるが到達できない」不等式の典型だ。

ポイント

(1)は $y = ∣ x - c ∣$ の分散が $0$ 以上、というだけ。
三角不等式 $\to$ 中央値の最小性 $\to$ (1) の3段で $s$ に到達。
$0$ が $k + 1$ 個・ $1$ が $k$ 個で比は $\frac{k}{k + 1} \to 1$ 。

よくある間違い

「平均は外れ値に引きずられるから、中央値からいくらでも離れられる」と思い込む。確かに平均は動くが、そのとき標準偏差も一緒に大きくなる。だから比 $\frac{∣ x ˉ - M _{e} ∣}{s}$ は $1$ を超えない。
(2)の第2段で、中央値の最小性を「平均の最小性」と取り違える。2乗の和を最小にするのが平均、絶対値の和を最小にするのが中央値である。役割が違う。
(3)で「 $1$ に近づく例」ではなく「 $1$ ちょうどになる例」を探し続ける。等号は $s = 0$ のときしか起こらない。近づけられるが到達できない、という状況を正しく捉える。