数学I / データの分析

平均から離れた値の割合の上限(チェビシェフ)

実戦編データの分析分散不等式個数評価単元横断

問題

$n$ 個のデータの平均を $\overset{x}{ˉ}$ 、標準偏差を $s (> 0)$ とする。平均から $k s$ 以上離れた値、すなわち $∣ x_{i} - \overset{x}{ˉ} ∣ \geq k s$ ( $k > 0$ )となるデータの個数を $m$ とするとき、 $\frac{m}{n} \leq \frac{1}{k ^{2}}$ が成り立つことを示せ。

ヒントを見る

$s^{2} = \frac{1}{n} \sum (x_{i} - \overset{x}{ˉ})^{2}$ の和を、 $∣ x_{i} - \overset{x}{ˉ} ∣ \geq k s$ の項だけに減らしても和は小さくなるだけ。その各項は $(k s)^{2}$ 以上。

解答・解説

方針

分散の定義の和を、条件を満たす項だけに絞って下から評価する。各項は $(k s)^{2}$ 以上なので、 $m$ 個分で $m (k s)^{2}$ 以上。これを $s^{2}$ と比べる。

解答

⓪ 発想 — どう考え始めるか。 「離れた値は多くない」を示したい。手がかりは、分散の定義の和が全項 $0$ 以上であること — 和は、一部の項だけ残しても小さくならない。

条件 $∣ x_{i} - \overset{x}{ˉ} ∣ \geq k s$ を満たす項だけに絞ると、各項は $(k s)^{2}$ 以上。 $m$ 個あるから

$n s^{2} = \sum (x_{i} - \overset{x}{ˉ})^{2} \geq m (k s)^{2}$ 。

整理すれば $\frac{m}{n} \leq \frac{1}{k ^{2}}$ 。「大きい項だけで総和を下から押さえる」— 評価の基本動作1つで届く。

重要非負の和は、一部の項だけ残しても全体以下:

\sum_{all} \geq \sum_{条件を満たす項}

① 分散の和を絞る。 すべての項は非負なので、条件 $∣ x_{i} - \overset{x}{ˉ} ∣ \geq k s$ を満たす $m$ 個の項だけ残すと $s^{2} = \frac{1}{n} i = 1 \sum n (x_{i} - \overset{x}{ˉ})^{2} \geq \frac{1}{n} ∣ x_{i} - \overset{x}{ˉ} ∣ \geq k s \sum (x_{i} - \overset{x}{ˉ})^{2} .$ ② 各項を下から評価。 残した各項は $(x_{i} - \overset{x}{ˉ})^{2} \geq (k s)^{2}$ 。 $m$ 個あるので $\frac{1}{n} ∣ x_{i} - \overset{x}{ˉ} ∣ \geq k s \sum (x_{i} - \overset{x}{ˉ})^{2} \geq \frac{1}{n} \cdot m \cdot (k s)^{2} = \frac{m}{n} k^{2} s^{2} .$ ③ 結論。 以上より $s^{2} \geq \frac{m}{n} k^{2} s^{2}$ 。 $s^{2} > 0$ で割って $1 \geq \frac{m}{n} k^{2} ⟹ \frac{m}{n} \leq \frac{1}{k ^{2}} .$

まとめ 分散の和を条件を満たす項だけに絞り、各項を $(k s)^{2}$ で下から押さえると $\frac{m}{n} \leq \frac{1}{k ^{2}}$ 。ばらつき(分散)が外れ値の割合を縛る。分散と不等式の融合。

発展 — 一歩先へ。 チェビシェフの不等式は分布の形を一切仮定しない普遍の上界で、その分だけ荒い( $k = 2$ で $25%$ 以下)。分布が正規分布と分かっていれば「 $2 s$ の外は約 $5%$ 」とずっと鋭く言える(数Bの正規分布)— 「仮定が強いほど結論は鋭く、仮定が弱いほど適用は広い」という統計の基本トレードオフを、この2つの数字の対比が教えてくれる。

答

$s^{2} = \frac{1}{n} \sum (x_{i} - \overset{x}{ˉ})^{2} \geq \frac{1}{n} \sum_{∣ x_{i} - \overset{x}{ˉ} ∣ \geq k s} (x_{i} - \overset{x}{ˉ})^{2} \geq \frac{1}{n} \cdot m \cdot (k s)^{2}$ 。よって $s^{2} \geq \frac{m}{n} k^{2} s^{2}$ 、 $\frac{m}{n} \leq \frac{1}{k ^{2}}$ 。

別解

等号が成り立つ例を作る(不等式の鋭さの確認)。 この上界 $\frac{1}{k ^{2}}$ は、これ以上改良できない。等号が成り立つデータを実際に作ってみよう。

$n$ 個のうち、 $+ c$ に $\frac{m}{2}$ 個、 $- c$ に $\frac{m}{2}$ 個、残り $n - m$ 個を $0$ に置く。平均は $0$ 、分散は $s^{2} = \frac{m c ^{2}}{n}$ 。

ここで $n = k^{2} m$ となるように選ぶと $s^{2} = \frac{c ^{2}}{k ^{2}}$ 、つまり $k s = c$ — 「平均から $k s$ 以上離れた値」がちょうど $\pm c$ の $m$ 個で

$\frac{m}{n} = \frac{1}{k ^{2}} (等号達成!)$

「証明できた不等式は、等号例を作って鋭さを確かめる」— この往復で、不等式は「上から押さえた」だけでなく「ぴったりの壁」だと分かる。分布の形を一切仮定しないチェビシェフの普遍性と、その代償(荒さ)の両方が、この例に凝縮されている。

ポイント

分散の和のうち条件を満たす項だけ残す(和は減るだけ)。
各項は $(k s)^{2}$ 以上、 $m$ 個で $m (k s)^{2}$ 以上。
$s^{2} \geq \frac{m}{n} k^{2} s^{2}$ から $\frac{m}{n} \leq \frac{1}{k ^{2}}$ 。

よくある間違い

和を絞るとき、残した項を $(k s)^{2}$ 「以下」と評価する(条件 $∣ x_{i} - \overset{x}{ˉ} ∣ \geq k s$ の項は $(k s)^{2}$ 以上)。
$s > 0$ の仮定なしに $s^{2}$ で割る。
結論を「 $k s$ 以上離れた値は存在しない」と読み違える(存在してよい。割合が $\frac{1}{k ^{2}}$ 以下、という主張)。