外れ値の判定と平均値への影響

方針

解答

⓪ 発想 — どう考え始めるか。 (1)は判定の手順どおりに進める。10個のデータなら下組・上組5個ずつ、それぞれの中央値が $Q_1$、$Q_3$。境界は四分位範囲の $1.5$ 倍外側だ。

(2)がこの問題の伝えたいことだ。外れ値込みと抜きで、平均を実際に2回計算して比べる。

「平均値は外れ値に敏感、中央値や四分位数は鈍感」。教科書の一文を、数値の実感として持つための問題である。

(1) データは $10$ 個なので、下組は前半 $5$ 個、上組は後半 $5$ 個にきっちり分かれる。

• 下組 $23,25,27,28,30$ の中央値: $Q_1=27$
• 上組 $31,33,35,38,52$ の中央値: $Q_3=35$

四分位範囲は $35-27=8$ なので、外れ値の境界は

$$Q_1-1.5\times 8=27-12=15,Q_3+1.5\times 8=35+12=47$$

$15$ 未満の値はなく、$47$ より大きい値は $52$ だけだ。よって外れ値は $52$ だ。

(2) 全体($10$ 個)の平均値は

$$\frac{23+25+27+28+30+31+33+35+38+52}{10}=\frac{322}{10}=32.2$$

外れ値 $52$ を除いた $9$ 個の平均値は、総和から $52$ を引いて個数を $9$ に直せばいい(全部足し直す必要はない)。

$$\frac{322-52}{9}=\frac{270}{9}=30$$

まとめ:比べてみると、外れ値 $52$ が1個含まれるだけで平均値は $30$ から $32.2$ へと $2.2$ も動く。残り9個のデータは何も変わっていないのに、だ。一方、中央値($30$ と $31$ の平均 $=30.5$)は、$52$ の部分が $100$ でも $1000$ でも変わらない。順位で決まる量だからだ。平均値は外れ値に敏感、中央値は頑健(影響を受けにくい)。外れ値がありうるデータでは、平均値だけを見ず中央値もあわせて確認するのが分析の基本姿勢だ。

発展 — 一歩先へ。 $1.5\times$ 四分位範囲という基準は、絶対の真理ではなく広く使われる目安だ(箱ひげ図のひげの長さの慣習に由来する)。基準を変えれば外れ値の判定も変わる。「基準込みで判定が決まる」という相対性を知っておきたい。

外れ値が見つかったときの正しい態度は「なぜこの値が出たのか」を調べることだ。入力ミスなら直す、実態なら残して中央値で語る。数値処理の先に、判断の問題がある。

別解

「敏感・鈍感」の対比は、思考実験を1つ足すとさらにはっきり見える。

外れ値の $52$ を、もっと極端な $520$ に書き換えてみる。

$Q_1=27$、$Q_3=35$、中央値 $30.5$ は、1つも動かない。これらは「何番目の値か」だけで決まる量で、端の値がいくら暴れても順位が変わらない限り無反応だからだ。

一方、平均は $32.2$ から $79$ へ跳ね上がる。たった1つの値が、全体の代表値を実態からかけ離れた場所へ引きずっていく。

年収の統計で「平均値」と「中央値」が大きくずれる話は、まさにこの現象だ。データに極端な値が混ざり得るときは、どちらの代表値を見るべきかを考える。それがこの問題の実用的な教訓である。