数学I / データの分析

外れ値の判定

★ 基礎外れ値四分位数

問題

7個のデータ

$5, 6, 7, 8, 9, 10, 30$

について、第1四分位数 $Q_{1}$ と第3四分位数 $Q_{3}$ を求めよ。また、「 $Q_{1} - 1.5 \times (四分位範囲)$ 未満、または $Q_{3} + 1.5 \times (四分位範囲)$ より大きい値」を外れ値とするとき、このデータに外れ値があれば求めよ。

ヒントを見る

『なんとなく大きい』では答案にならない。外れ値には客観的な基準がある — 箱( $Q_{1}$ 〜 $Q_{3}$ )の両端から『四分位範囲の $1.5$ 倍』だけ外に線を引く。その線の外にある値が外れ値。まず四分位数から。

解答・解説

方針

$5, 6, 7, 8, 9, 10, 30$ 。眺めれば $30$ が浮いているのは一目でわかる。でも『なんとなく大きいから外れ値』では答案にならない。外れ値には客観的な判定基準がある。

それが『 $Q_{1} - 1.5 \times (四分位範囲)$ 未満、または $Q_{3} + 1.5 \times (四分位範囲)$ より大きい値』という基準だ。

手順は、四分位数 → 四分位範囲 → 基準の計算 → 外に出ている値を探す、の順だ。

解答

⓪ 発想 — どう考え始めるか。 データを見た瞬間、 $30$ だけが浮いていると分かる。しかし「なんとなく大きいから外れ値」では主観だ。

そこで機械的な基準を決める。問題文が与えているルールがそれである。

$Q_{1} - 1.5 \times (四分位範囲) より小さいまたは Q_{3} + 1.5 \times (四分位範囲) より大きい$

やることは $3$ 段階だ。四分位数を出す → 四分位範囲を出す → 上下の境界線を計算して、外に出ている値を探す。

$7$ 個(奇数個)なので、中央値の $1$ 個は下組にも上組にも入れない。ここは前に習ったとおりである。

公式外れ値:

Q_{1} - 1.5 \times (四分位範囲)

未満、または

Q_{3} + 1.5 \times (四分位範囲)

より大きい値

まず四分位数。 データは $7$ 個で、中央値は $4$ 番目の $8$ だ。

奇数個なので中央値自身は組に入れない。下組は $5, 6, 7$ の $3$ 個で、その中央値は $Q_{1} = 6$ 。上組は $9, 10, 30$ の $3$ 個で、その中央値は $Q_{3} = 10$ だ。

判定の境界を計算する。 四分位範囲は $Q_{3} - Q_{1} = 10 - 6 = 4$ なので、境界は箱の両端から『四分位範囲の $1.5$ 倍』だけ外側に引く。

$Q_{1} - 1.5 \times 4 = 6 - 6 = 0, Q_{3} + 1.5 \times 4 = 10 + 6 = 16$

つまり、 $0$ 未満または $16$ より大きい値が外れ値だ。

判定する。 データの中で $16$ より大きいのは $30$ だけだ( $0$ 未満の値はない)。よって外れ値は

$30$

基準が四分位数ベースなのには理由がある。 $Q_{1}$ 、 $Q_{3}$ は端の値に影響されにくいので、外れ値候補の $30$ 自身が判定基準を歪めることがない(平均や範囲を基準にすると、外れ値が基準そのものを引きずってしまう)。なお、外れ値は入力ミスのこともあれば、意味のある値のこともある。機械的に捨てるのではなく、まず原因を考えるのが分析の作法だ。

外れ値でない範囲は 0 以上 16 以下 — 30 はこの範囲の外(外れ値)

発展 — 一歩先へ。 「なぜ $1.5$ 倍なのか」という疑問はもっともだ。 $2$ 倍でも $1$ 倍でもよさそうに見える。

答えは、きれいな釣鐘型(正規分布)のデータなら、この基準に引っかかる値がおよそ $0.7 %$ しか出ないように調整されているから。 $1000$ 人に $7$ 人ほど。「めったにない」と言うのにちょうどいい厳しさ、という経験則の産物である( $1$ 倍だともっと多くの値が引っかかり、 $3$ 倍だと本物の異常値も見逃す)。

つまり $1.5$ という数に深遠な理由はなく、使いやすさで選ばれた慣習である。統計にはこういう約束事がしばしば登場する(仮説検定の $5 %$ もそう)。数学的必然と、実務上の取り決めを区別して理解する — これは統計を学ぶうえで大切な態度である。

なお、箱ひげ図で外れ値を $∙$ で別に打ち、ひげは外れ値を除いた最大・最小まで引く描き方もある(外れ値つき箱ひげ図)。こうすると、ひげの長さが外れ値に引き伸ばされず、分布の本体が見やすくなる。

答

$Q_{1} = 6$ 、 $Q_{3} = 10$ 、外れ値は $30$

別解

外れ値がどれほどの破壊力を持つか、数字で見ておこう。 そして「なぜ外れ値の判定に四分位数を使うのか」に答える。

まず、 $30$ を除いた $6$ 個 $5, 6, 7, 8, 9, 10$ と、 $30$ 込みの $7$ 個で、代表値を比べる。

	$30$ を除く	$30$ 込み
平均	$7.5$	$\frac{75}{7} \approx 10.7$
中央値	$7.5$	$8$
標準偏差	約 $1.7$	約 $8.0$

平均は $3$ 点以上ずれ、標準偏差にいたっては $4$ 倍以上に膨らむ。 たった $1$ 個の値が、集団の姿を作り変えてしまった。「このクラスの平均は $10.7$ 点」と言われても、 $6$ 人は $10$ 点以下なのだから、実態を表していない。

一方、中央値は $7.5$ から $8$ へ動いただけ。 順位でしか物を言わない指標は、外れ値にびくともしない。

だから外れ値の判定に $Q_{1}$ ・ $Q_{3}$ を使う。 もし「平均 $\pm 2 \times$ 標準偏差の外」を基準にしたらどうなるか。標準偏差そのものが $30$ に膨らまされているので、外れ値が自分自身を隠してしまう。犯人が捜査資料を書き換えるようなものだ。四分位数なら $30$ に汚染されないから、公平な物差しになる。

$下の境界 = Q_{1} - 1.5 \times 4 = 6 - 6 = 0, 上の境界 = Q_{3} + 1.5 \times 4 = 10 + 6 = 16$

$30 > 16$ なので $30$ は外れ値。他の $6$ 個は $0$ と $16$ のあいだに収まっている。

最後に大事なこと。外れ値 $=$ 捨てる値、ではない。 入力ミスなら直すべきだし、本物の記録(たとえば飛び抜けて読書する生徒)ならそれこそが一番おもしろい情報かもしれない。外れ値の判定は「ここを調べよ」という警告灯であって、削除ボタンではない。

ポイント

外れ値の基準: $Q_{1} - 1.5 \times IQR$ 未満、または $Q_{3} + 1.5 \times IQR$ より大きい値
四分位数 → 四分位範囲 → 境界 → 判定、の順に機械的に計算できる
外れ値があると平均値や範囲は大きく影響を受けるが、中央値や四分位範囲は影響を受けにくい

よくある間違い

$1.5$ 倍するのを忘れて $Q_{1} - IQR$ などで判定する
境界の値そのもの(この場合 $0$ や $16$ )を外れ値に含めてしまう
外れ値を見つけたら必ず除外すべきだと思い込む(判定は「調べよ」の合図。除外の可否は理由次第)