データの分析 ★ 基礎の問題 全12問

方針

解答

⓪ 発想(どう考え始めるか) 代表値が $3$ つ出てくる。それぞれ「どこを見るか」が違うので、混ぜないことが第一だ。

• 平均値: 全部足して個数で割る。データ全体をならした値
• 中央値: 小さい順に並べてまん中。個数が偶数なら、まん中 $2$ つの平均
• 最頻値: いちばん多く出てくる値。最大値ではない

まず小さい順に並べる。並べれば中央値も最頻値も目で読める。この問題は最初から並んでいるので、あとは数えるだけだ。

平均値。 総和を求めると

$$2+3+3+4+5+6+6+7+7+7=50$$

データは $10$ 個なので

$$\text{平均値}=\frac{50}{10}=5(\text{点})$$

中央値。 データはもう小さい順に並んでいる(並んでいない問題では、まず並べかえるところから始める。ここを省くと確実に間違う)。$10$ 個(偶数個)なので『ちょうどまん中の1個』はない。中央値は $5$ 番目と $6$ 番目の値の平均をとる。$5$ 番目は $5$、$6$ 番目は $6$ なので

$$\text{中央値}=\frac{5+6}{2}=5.5(\text{点})$$

最頻値。 各値の個数を数えると、$7$ が $3$ 個で最も多い。よって

$$\text{最頻値}=7(\text{点})$$

まとめ:結果は $5$、$5.5$、$7$。同じデータなのに『真ん中』が3つとも別の値になった。どれが正しいという話ではなく、目的で使い分ける。たとえば1人だけ100点のような極端な値が混ざると平均値は大きく引っぱられるが、中央値はほとんど動かない。ニュースで所得の代表値に中央値が使われるのは、このためだ。

発展。 この $3$ つの代表値は、実は「中心からのズレを、どう測って最小にするか」という $1$ つの問いの $3$ つの答えである。

• ズレの $2$ 乗の和を最小にする点 → 平均値
• ズレの絶対値の和を最小にする点 → 中央値
• ズレが $0$ である個数を最大にする点 → 最頻値

たとえば $\sum (x_i-c{)}^2$ を $c$ の $2$ 次関数と見て平方完成すると、$c=(\text{平均})$ で最小になる。$2$ 次関数の最小値の議論がそのまま統計に現れるのだ。

「中心はどこか」という素朴な問いでも、測り方を変えると違う答えが返ってくる。どれが正しいかではなく、目的に応じて選ぶ。これが統計の基本姿勢である。

別解

平均は「仮の平均からのズレの平均」で出せる。 大きな数の足し算を避けられる、実務的なテクニックだ。

手順1: 仮の平均をあてずっぽうで決める。 見た目から $5$ 点くらいだろう、と当たりをつける。

手順2: 各データが仮の平均からどれだけズレているかを書く。

$$-3,-2,-2,-1,0,+1,+1,+2,+2,+2$$

手順3: ズレの合計を出す。 負の合計は $-8$、正の合計は $+8$。合わせて $0$ である。

手順4: ズレの平均を仮の平均に足す。

$$(\text{平均})=5+\frac{0}{10}=5(\text{点})$$

ズレの合計がちょうど $0$ なので、仮の平均 $5$ がぴったり本当の平均だった。

この計算から、平均が何を表すかが分かる。 平均とは「プラスのズレとマイナスのズレがつり合う点」だ。データを数直線上の重りだと思うと、平均はシーソーの支点になる。だから偏差(平均からのズレ)の合計は必ず $0$ になる。この事実は分散の計算でも使う。

$3$ つの代表値の性格の違いも見ておきたい。もし $7$ 点の生徒 $1$ 人が記録ミスで $70$ 点と入力されていたらどうなるか。

• 平均値: $5$ 点 → $11.3$ 点。$1$ 人だけで大きく動く
• 中央値: $5.5$ 点 → $5.5$ 点。びくともしない(まん中の順位は変わらないから)

平均は極端な値に弱く、中央値は強い。 世帯収入の統計で「平均年収」より「中央値」がよく引き合いに出されるのは、少数の大富豪に平均が引っ張られるからだ。代表値は $1$ つで済ませず、性格の違いを踏まえて選ぶ。

方針

解答

⓪ 発想(どう考え始めるか) 度数分布表になった時点で、個々の生徒の値はもう分からない。「$10$ 分以上 $20$ 分未満に $5$ 人」としか書かれていないからだ。

そこで「その階級の人は、みんな階級のまん中の値だったことにする」と割り切る。これが階級値($0$〜$10$ なら $5$、$10$〜$20$ なら $15$)。

$$(\text{平均})=\frac{(\text{階級値})\times (\text{度数})\text{の合計}}{(\text{度数の合計})}$$

割る数は人数の合計 $20$であって、階級の個数 $4$ ではない。「何人で割るのか」を毎回声に出して確認すると間違えない。

まず階級値を求める。 各階級の階級値(両端の平均)は

$$\frac{0+10}{2}=5,\frac{10+20}{2}=15,\frac{20+30}{2}=25,\frac{30+40}{2}=35(\text{分})$$

(階級値 × 度数)の総和を計算する。 『$5$ 分の人が $3$ 人、$15$ 分の人が $5$ 人、…』と見なして総和をとる。

$$5\times 3+15\times 5+25\times 8+35\times 4=15+75+200+140=430$$

総度数で割る。 総度数は $3+5+8+4=20$ 人なので

$$\text{平均値}=\frac{430}{20}=21.5(\text{分})$$

ありがちなミスは、階級値の合計 $5+15+25+35=80$ を階級の数 $4$ で割ってしまうこと。これは各階級の人数のちがいを無視した計算で、正しくない。人数の多い階級ほど平均への影響が大きい、という感覚を大事にしたい。なお、度数分布表から求めた平均値は階級値で代表させた近似値で、もとのデータそのものの平均値とは少しずれることも頭に置いておく。

発展。 階級値を使う計算は「分布を、階級のまん中に集めた点の集まりで代用する」という近似だ。階級の幅を狭くしていけば近似はよくなる。

この「区間を代表値で置きかえて、幅を掛けて足す」という操作は、実は積分の区分求積法とそっくりである。数IIIで学ぶ

$${\int }_a^{b}f(x)dx\approx \sum f(\text{各区間の代表値})\times (\text{区間の幅})$$

と、度数分布の平均 $\sum (\text{階級値})\times (\text{割合})$ は同じ発想でできている。階級を細かくする $=$ 積分の分割を細かくする。ヒストグラムの棒が連続的な分布曲線に近づいていく。高校数学の統計と解析は、この点でつながっている。

別解

ここでも仮の平均からのズレで計算すると、数がぐっと小さくなる。手計算のときに役立つやり方だ。

手順1: 仮の平均をまん中あたりの階級値にとる。 ここでは $25$ 分としよう。

手順2: 各階級値の、$25$ からのズレを書く。

手順3: ズレ $\times$ 度数の合計を出す。

$$(-20)\times 3+(-10)\times 5+0\times 8+10\times 4=-60-50+0+40=-70$$

手順4: ズレの平均を仮の平均に足す。

$$(\text{平均})=25+\frac{-70}{20}=25-3.5=21.5(\text{分})$$

同じ答えになった。掛ける数が $2$ 桁で済み、$8$ 人いる階級の計算が $0$ で消えるので楽だ。

この式には見どころがある。 度数 $8$ の階級(いちばん人数が多い)を仮平均に選ぶと、その項が丸ごと $0$ になる。いちばん重い階級を基準に選ぶのがコツだ。

もう一歩進んだ見方をしよう。この平均は

$$21.5=5\times \frac{3}{20}+15\times \frac{5}{20}+25\times \frac{8}{20}+35\times \frac{4}{20}$$

とも書ける。$\frac{3}{20},\frac{5}{20},\frac{8}{20},\frac{4}{20}$ は各階級の割合(足すと $1$)。つまり平均とは「値を、その割合で重みづけして足したもの」で、これを加重平均という。この形は数Bの確率変数の期待値 $E(X)=\sum x_i{p}_i$ とまったく同じ姿をしている。度数分布の平均は期待値の練習問題でもある。

注意点も $1$ つ。階級値は「その階級の人はみんなまん中」という近似だから、この $21.5$ 分は真の平均とは少しずれる可能性がある。元データがあるなら、そちらから計算するのが正確だ。

方針

解答

⓪ 発想(どう考え始めるか) 四分位数は「データを小さい順に並べて $4$ 等分する境目」だ。

やり方は $2$ 段階でよい。

まず全体のまん中(中央値 $Q_2$)で、データを下組と上組に真っ二つにする。 $9$ 個なら $5$ 番目が中央値。

次に、下組・上組それぞれのまん中をとる。 下組のまん中が $Q_1$、上組のまん中が $Q_3$。

間違えやすいのは「奇数個のとき、中央値そのものは下組にも上組にも入れない」ことだ。まん中の $1$ 個を除いて、残りを $4$ 個ずつに分ける。ここを間違えると全部ずれる。

データはもう小さい順に並んでいる($9$ 個)。

第2四分位数(中央値)。 $9$ 個のまん中は $5$ 番目の値なので

$$Q_2=55(\text{点})$$

第1四分位数。 データが奇数個なので、中央値 $55$ 自身は下組にも上組にも入れない。ここが最初のつまずきポイントだ。中央値を除いた下半分は $42,45,50,53$ の $4$ 個。その中央値($4$ 個なので $2$ 番目と $3$ 番目の平均)は

$$Q_1=\frac{45+50}{2}=47.5(\text{点})$$

第3四分位数。 上半分は $58,62,65,70$ の $4$ 個。その中央値は

$$Q_3=\frac{62+65}{2}=63.5(\text{点})$$

四分位範囲。

$$Q_3-Q_1=63.5-47.5=16(\text{点})$$

四分位範囲は『まん中あたりの、およそ半数のデータが収まる幅』だ。端の値をばっさり切り捨てて測るので、1つだけ極端な値があっても影響を受けにくい。範囲(最大 − 最小)が外れ値ひとつで激変するのと対照的だ。

発展。 「下から $p\%$ の位置の値」をパーセンタイルという。$Q_1$ は第 $25$ パーセンタイル、中央値は第 $50$ パーセンタイル、$Q_3$ は第 $75$ パーセンタイルだ。

健康診断でもらう成長曲線のグラフ(身長の第 $3$・第 $50$・第 $97$ パーセンタイルの線が引いてある)や、模試の成績表は、この考え方でできている。「平均より上か下か」より「全体の何%の位置にいるか」のほうが、順位の実感に近い。

なお四分位数の定め方は流儀がいくつかある(データが $4$ で割り切れないときの補間の仕方が違う)。高校で学ぶのは「中央値で $2$ 分し、それぞれの中央値をとる」方式だが、統計ソフトによっては少し違う値を返すことがある。定義が一意でない量があることも、統計を扱うときの大事な注意点だ。

別解

四分位数が何のためにあるのかを、平均・標準偏差と比べて見ておこう。ここが分かると、この量を「ただの計算」でなく「道具」として使えるようになる。

四分位数は順位だけで決まる。 $Q_1$ は「下から $25\%$ の位置」、$Q_3$ は「下から $75\%$ の位置」。値の大きさそのものではなく、並べたときの順番しか見ていない。

この性質がどれほど役に立つか、実験してみる。最高点の生徒が $70$ 点ではなく、$700$ 点(記録ミス)だったとしよう。

• $Q_1=47.5$、$Q_2=55$、$Q_3=63.5$ → まったく変わらない。$700$ は「いちばん上の人」のままで、順位が変わらないからだ
• 一方、平均は $55.6$ 点から $125.6$ 点へ跳ね上がる。誰もとっていない点数が「平均」になってしまう

四分位範囲($Q_3-Q_1=16$ 点)も同じく不動である。これは「まん中 $50\%$ の人たちが、どれくらいの幅に散らばっているか」を表す散らばりの指標で、両端の極端な値をはじめから見ていない。

$$(\text{四分位範囲})=Q_3-Q_1=63.5-47.5=16$$

散らばりの指標には $2$ 系統ある。

• 範囲・標準偏差: すべての値の大きさを使う。情報は豊かだが、極端な値に振り回される
• 四分位範囲: 順位しか使わない。情報は粗いが、極端な値にびくともしない

「頑丈さ」を数学の言葉でロバストという。テストの点、家賃、年収のように、少数の極端な値が混じる現実のデータでは、四分位数のほうが実態をよく表すことが多い。次に学ぶ箱ひげ図が四分位数でできているのは、外れ値に強いからだ。

方針

解答

⓪ 発想(どう考え始めるか) 五数要約(最小値・$Q_1$・中央値・$Q_3$・最大値)は、箱ひげ図をかくための $5$ つの目印だ。

手順は前問と同じ。並べる → まん中で $2$ つに割る → それぞれのまん中をとる。

今回はデータが $12$ 個(偶数)。偶数個のときは、まん中の $2$ 個($6$ 番目と $7$ 番目)の平均が中央値になる。そして除く値がないので、下組・上組はきれいに $6$ 個ずつに分かれる。

奇数個(まん中を除く)と偶数個(除かない)の違いだけ押さえれば、あとは数えるだけである。

データは小さい順に並んでいる($12$ 個)。

最小値・最大値。 最小値 $3$、最大値 $16$ だ。忘れがちだが、五数要約の両端はこの2つ。真っ先にメモしておく。

中央値。 $12$ 個のまん中は $6$ 番目と $7$ 番目の平均だ。$6$ 番目は $8$、$7$ 番目は $9$ なので

$$Q_2=\frac{8+9}{2}=8.5(\text{時間})$$

第1四分位数。 下組は前半の $6$ 個 $3,5,6,7,8,8$ だ。その中央値は $3$ 番目と $4$ 番目の平均で

$$Q_1=\frac{6+7}{2}=6.5(\text{時間})$$

第3四分位数。 上組は後半の $6$ 個 $9,10,12,13,14,16$ だ。その中央値は

$$Q_3=\frac{12+13}{2}=12.5(\text{時間})$$

範囲と四分位範囲。

$$\text{範囲}=16-3=13,\text{四分位範囲}=12.5-6.5=6(\text{時間})$$

箱ひげ図で表すと、箱の左端が $Q_1=6.5$、箱の中の線が中央値 $8.5$、箱の右端が $Q_3=12.5$、ひげの両端が最小値 $3$ と最大値 $16$ だ。箱の中にデータの約半数が詰まっている。箱ひげ図は五数要約を1枚の絵にしただけ、とわかれば、読み取りも作図も怖くない。

発展。 箱ひげ図とヒストグラムは、同じデータの違う見せ方だ。

• ヒストグラム: 山の形が分かる。ただし $1$ 枚に $1$ 集団しか描けない
• 箱ひげ図: 形の情報は粗い。しかし細長いので、何十本も横に並べられる

たとえば「$47$ 都道府県の気温」「$12$ か月の売上」のように、集団が多いときは箱ひげ図の独壇場になる。目的が「$1$ つの分布を詳しく見る」なのか「たくさんの分布を比べる」なのかで、道具を選ぶ。

なお、箱ひげ図では山が $2$ つある分布(二峰性という。たとえば得意な人と苦手な人にきれいに分かれたテスト)を見抜けない。五数要約は同じでも、中の形はまるで違いうるからだ。要約は情報を捨てる操作である。捨てた情報の中に大事なものがないか、元データやヒストグラムに立ち返って確かめる習慣を持ちたい。

別解

出た $5$ つの数を箱ひげ図として読む練習をしよう。数値を出して終わりではなく、そこから分布の形を読み取るのが箱ひげ図の目的だ。

まず、区間ごとに何人いるか数える。 $Q_1=6.5$、中央値 $=8.5$、$Q_3=12.5$ で区切ると

• $3,5,6$ → 下ひげの区間($3$ 人)
• $7,8,8$ → 箱の左半分($3$ 人)
• $9,10,12$ → 箱の右半分($3$ 人)
• $13,14,16$ → 上ひげの区間($3$ 人)

きれいに $3$ 人ずつ、$4$ 等分されている。これが四分位数の意味だ。箱の中(=$Q_1$ から $Q_3$)には、全体のちょうど半分(この場合 $6$ 人)が入る。

次に、長さを比べる。

• 下ひげ: $6.5-3=3.5$、上ひげ: $16-12.5=3.5$ → 左右同じ長さ
• 箱の左半分: $8.5-6.5=2$、箱の右半分: $12.5-8.5=4$ → 右が $2$ 倍広い

ここから何が読めるか。 箱の右半分が広いということは、上位 $25\%$ の手前の人たち($8.5$〜$12.5$ 時間の層)が広く散らばっているということ。逆に $6.5$〜$8.5$ 時間の層は密集している(実際 $7,8,8$ と団子になっている)。

同じ人数でも、区間が広いほど「まばら」、狭いほど「密集」。箱ひげ図はこの密度の違いを長さで表している。ヒストグラムのように山の形をそのまま描くわけではないが、$5$ つの数だけで分布の偏りが読めるのが強みだ。だから複数の集団(A組とB組、去年と今年)を並べて比べるときに重宝する。

読み方の要点をまとめる。

• 箱の幅($Q_3-Q_1$)= まん中 $50\%$ の散らばり
• 箱の中の中央値の位置が左右どちらに寄っているか = 分布の偏り
• ひげの長さ= 端のほうの散らばり

方針

解答

⓪ 発想(どう考え始めるか) 分散は「平均からどれだけ散らばっているか」を測る量だ。

素朴に「平均からのズレを平均する」とどうなるか。ズレ($=$ 偏差)は $-4,-2,0,2,4$ で、足すと $0$。必ず $0$ になってしまう(プラスとマイナスが打ち消し合うから)。これでは散らばりを測れない。

そこで、$2$ 乗して符号を消す。$2$ 乗してから平均すれば、散らばっているほど大きな値になる。

$$(\text{分散})=\frac{(\text{偏差}{)}^2\text{の合計}}{(\text{個数})}$$

$2$ 乗したぶん単位が「点${}^2$」になって扱いにくいので、最後に平方根をとって元の単位に戻す。これが標準偏差である。平均 → 偏差 → $2$ 乗 → 平均 → 平方根、この $5$ 段を順に踏むだけだ。

まず平均値。

$$\bar{x}=\frac{2+4+6+8+10}{5}=\frac{30}{5}=6$$

偏差とその2乗。 各データの偏差($x-\bar{x}$)は順に

$$-4,-2,0,2,4$$

ここで和をとってみると $-4-2+0+2+4=0$。打ち消し合って散らばりの情報が消えてしまう。これが『そのまま平均』ではだめな理由で、2乗する動機だ。偏差の2乗は

$$16,4,0,4,16$$

分散と標準偏差。 分散 $s^2$ は偏差の2乗の平均なので

$$s^2=\frac{16+4+0+4+16}{5}=\frac{40}{5}=8$$

標準偏差 $s$ はその正の平方根で

$$s=\sqrt{8}=2\sqrt{2}$$

(偏差の和が $0$ になることは、どんなデータでも成り立つ。もし偏差の和が $0$ にならなかったら、偏差の計算か平均値がまちがっている。検算に役立つので、毎回使いたい。)

発展。 なぜ「偏差の絶対値の平均」ではなく、わざわざ $2$ 乗するのか。符号を消すだけなら絶対値でもよさそうだ。

理由は $2$ つある。$1$ つは計算のしやすさ。絶対値は場合分けが必要で、微分もできない。$2$ 乗なら展開でき、上で見たように $\overline{x^2}-(\bar{x}{)}^2$ という便利な式が出る。

もう $1$ つは、$2$ 乗が足し算と相性がいいこと。独立な $2$ つの量の和の分散は分散の和になる($V(X+Y)=V(X)+V(Y)$、数Bで学ぶ)。この性質は絶対値では成り立たない。三平方の定理と同じ $2$ 乗の加法性が、統計の基礎になっている。

実際、$n$ 個のデータを $n$ 次元空間の $1$ 点と見ると、標準偏差は「平均を表す点からの距離」($÷\sqrt{n}$)そのもの。分散は $2$ 乗の距離、標準偏差は距離にあたる。幾何のことばで統計を読み直すと、$2$ 乗を使う理由が分かる。

別解

分散にはもう $1$ つの計算式がある。偏差を書き出さずに済むので、平均が小数になる問題ではずっと速い。

$$(\text{分散})=\overline{x^2}-(\bar{x}{)}^2(\text{2 乗の平均})-(\text{平均の 2 乗})$$

この問題でやってみる。

$2$ 乗の平均:

$$\overline{x^2}=\frac{2^2+4^2+6^2+8^2+10^2}{5}=\frac{4+16+36+64+100}{5}=\frac{220}{5}=44$$

平均の $2$ 乗: $(\bar{x}{)}^2=6^2=36$。

$$(\text{分散})=44-36=8$$

定義から計算した値とぴったり一致した。標準偏差も $\sqrt{8}=2\sqrt{2}$ で同じである。

なぜ一致するのか。 偏差の $2$ 乗を展開してみると分かる。

$$\overline{(x-\bar{x}{)}^2}=\overline{x^2-2\bar{x}x+(\bar{x}{)}^2}=\overline{x^2}-2\bar{x}\cdot \bar{x}+(\bar{x}{)}^2=\overline{x^2}-(\bar{x}{)}^2$$

($x$ の平均が $\bar{x}$ だから、$2\bar{x}x$ の平均は $2\bar{x}\cdot \bar{x}$ になる。)$2$ つの式は同じものの言い換えだ。

使い分けの目安。 平均がきれいな整数なら定義どおりが分かりやすい。平均が $6.4$ のように半端なら、偏差が全部小数になって計算が大変になる。そのときは $2$ 乗の平均を使う。

さらに高い視点から。 このデータ $2,4,6,8,10$ は公差 $2$ の等差数列だ。等差数列のデータの分散には、実は閉じた式がある。項数 $n$、公差 $d$ のとき

$$(\text{分散})=\frac{d^2(n^2-1)}{12}$$

代入すると $\frac{2^2\times (5^2-1)}{12}=\frac{4\times 24}{12}=8$ となり、計算せずに答えが出た。等間隔に並んだデータの散らばりは、間隔と個数だけで決まるのだ(サイコロの目 $1$〜$6$ の分散が $\frac{35}{12}$ になるのも同じ公式である)。

方針

解答

⓪ 発想(どう考え始めるか) 今回は公式を使えと指定されている。

$$(\text{分散})=\overline{x^2}-(\bar{x}{)}^2$$

日本語で読むと「$2$ 乗の平均 引く 平均の $2$ 乗」となる。順番を逆にすると符号がひっくり返って負になる。$2$ 乗の平均が先、と唱えて覚えるとよい。

必要なものは $2$ つだけだ。

• 平均 $\bar{x}$ は、データを足して個数で割ったもの
• $2$ 乗の平均 $\overline{x^2}$ は、各データを $2$ 乗してから足して、個数で割ったもの

偏差を $1$ つずつ書き出す手間がないのが、この公式の値打ちである。分散が出たら、最後に平方根をとって標準偏差にする。

まず平均値 $\bar{x}$。

$$\bar{x}=\frac{1+2+4+5+8}{5}=\frac{20}{5}=4$$

2乗の平均 $\overline{x^2}$。 各データを先に2乗してから、平均をとる。

$$\overline{x^2}=\frac{1^2+2^2+4^2+5^2+8^2}{5}=\frac{1+4+16+25+64}{5}=\frac{110}{5}=22$$

公式に代入。

$$s^2=\overline{x^2}-(\bar{x}{)}^2=22-4^2=22-16=6$$

よって標準偏差は

$$s=\sqrt{6}$$

$\overline{x^2}=22$ と $(\bar{x}{)}^2=16$ がちがう値であること。この差が散らばりを表している(データが全部同じ値なら両者は一致して分散 $0$ になる)。引き算の順序を逆にすると分散が負になってしまう。分散は必ず $0$ 以上なので、負が出たら順序ミスを疑えばいい。

(検算: 定義式で計算すると、偏差は $-3,-2,0,1,4$、その2乗和は $9+4+0+1+16=30$、分散は $30÷5=6$ で一致する。)

発展。 公式 $\overline{x^2}-(\bar{x}{)}^2\geqq 0$ は、$\overline{x^2}\geqq (\bar{x}{)}^2$、つまり「$2$ 乗してから平均したもの $\geqq$ 平均してから $2$ 乗したもの」を意味する。等号はデータが全部同じ値のとき(散らばりゼロ)だけだ。

これは数学の重要な不等式の特別な場合である。一般に、下に凸な関数 $f$ について

$$\overline{f(x)}\geqq f(\bar{x})$$

が成り立つ(イェンセンの不等式)。$f(x)=x^2$ が下に凸だから、上の関係が出る。相加平均と相乗平均の関係も、この不等式の仲間である。

「散らばりがあると、$2$ 乗の平均は平均の $2$ 乗より必ず大きくなる」。分散はこの $2$ つの差を測っている量である。この公式は凸性という性質を式で表したものでもある。

別解

定義どおり(偏差を $2$ 乗して平均)でも計算し、公式の答えと合うことを確かめよう。 公式を「暗記した呪文」でなく「証明つきの道具」にするためだ。

平均は $\bar{x}=\frac{1+2+4+5+8}{5}=\frac{20}{5}=4$。

偏差(平均からのズレ)を書き出す。

$$1-4=-3,2-4=-2,4-4=0,5-4=1,8-4=4$$

合計は $-3-2+0+1+4=0$(偏差の和はいつも $0$。ここで $0$ にならなければ平均の計算ミスなので、よい検算になる)。

$2$ 乗して平均する。

$$(\text{分散})=\frac{(-3{)}^2+(-2{)}^2+0^2+1^2+4^2}{5}=\frac{9+4+0+1+16}{5}=\frac{30}{5}=6$$

公式で出した $6$ と一致した。

$2$ つの式が必ず一致する理由を、文字で確かめておく。データを $x_1,\dots ,x_n$、平均を $m$ とすると

$$\frac{1}{n}\sum (x_i-m{)}^2=\frac{1}{n}\sum \left(x_i^2-2m{x}_i+m^2\right)=\frac{1}{n}\sum x_i^2-2m\cdot \frac{1}{n}\sum x_i+m^2$$

ここで $\frac{1}{n}\sum x_i=m$ だから、真ん中の項は $-2m^2$。したがって

$$=\overline{x^2}-2m^2+m^2=\overline{x^2}-m^2$$

展開して平均をとるだけで公式が出た。丸暗記する必要はない。

どちらを使うべきか。 判断基準はただ $1$ つ、平均が整数かどうかである。

• 平均が整数(今回の $4$)→ 偏差もきれいな整数。定義どおりが速い
• 平均が小数(たとえば $6.4$)→ 偏差が全部小数になり、$2$ 乗すると桁が増える。公式のほうがずっと速い

そして公式には大事な確認ポイントがある。分散は必ず $0$ 以上だから、$\overline{x^2}\geqq (\bar{x}{)}^2$ が常に成り立つ。もし引き算の結果が負になったら、どこかで計算ミスをしている。その場で気づける検算になる。

方針

解答

⓪ 発想(どう考え始めるか) データを見た瞬間、$30$ だけが浮いていると分かる。しかし「なんとなく大きいから外れ値」では主観だ。

そこで機械的な基準を決める。問題文が与えているルールがそれである。

$$Q_1-1.5\times (\text{四分位範囲})\text{より小さい}\text{または}{Q}_3+1.5\times (\text{四分位範囲})\text{より大きい}$$

やることは $3$ 段階だ。四分位数を出す → 四分位範囲を出す → 上下の境界線を計算して、外に出ている値を探す。

$7$ 個(奇数個)なので、中央値の $1$ 個は下組にも上組にも入れない。ここは前に習ったとおりである。

まず四分位数。 データは $7$ 個で、中央値は $4$ 番目の $8$ だ。奇数個なので中央値自身は組に入れない。下組は $5,6,7$ の $3$ 個で、その中央値は $Q_1=6$。上組は $9,10,30$ の $3$ 個で、その中央値は $Q_3=10$ だ。

判定の境界を計算する。 四分位範囲は $Q_3-Q_1=10-6=4$ なので、境界は箱の両端から『四分位範囲の $1.5$ 倍』だけ外側に引く。

$$Q_1-1.5\times 4=6-6=0,Q_3+1.5\times 4=10+6=16$$

つまり、$0$ 未満または $16$ より大きい値が外れ値だ。

判定する。 データの中で $16$ より大きいのは $30$ だけだ($0$ 未満の値はない)。よって外れ値は

$$30$$

基準が四分位数ベースなのには理由がある。$Q_1$、$Q_3$ は端の値に影響されにくいので、外れ値候補の $30$ 自身が判定基準を歪めることがない(平均や範囲を基準にすると、外れ値が基準そのものを引きずってしまう)。なお、外れ値は入力ミスのこともあれば、意味のある値のこともある。機械的に捨てるのではなく、まず原因を考えるのが分析の作法だ。

発展。 「なぜ $1.5$ 倍なのか」という疑問はもっともだ。$2$ 倍でも $1$ 倍でもよさそうに見える。

答えは、きれいな釣鐘型(正規分布)のデータなら、この基準に引っかかる値がおよそ $0.7\%$ しか出ないように調整されているから。$1000$ 人に $7$ 人ほど。「めったにない」と言うのにちょうどいい厳しさ、という経験則の産物である($1$ 倍だともっと多くの値が引っかかり、$3$ 倍だと本物の異常値も見逃す)。

つまり $1.5$ という数に深遠な理由はなく、使いやすさで選ばれた慣習である。統計にはこういう約束事がしばしば登場する(仮説検定の $5\%$ もそう)。数学的必然と、実務上の取り決めを区別して理解することは、統計を学ぶうえで大切である。

なお、箱ひげ図で外れ値を $\bullet$ で別に打ち、ひげは外れ値を除いた最大・最小まで引く描き方もある(外れ値つき箱ひげ図)。こうすると、ひげの長さが外れ値に引き伸ばされず、分布の本体が見やすくなる。

別解

外れ値がどれほど影響するか、数字で確かめる。 そして「なぜ外れ値の判定に四分位数を使うのか」に答える。まず、$30$ を除いた $6$ 個 $5,6,7,8,9,10$ と、$30$ 込みの $7$ 個で、代表値を比べる。

平均は $3$ 点以上ずれ、標準偏差にいたっては $4$ 倍以上に膨らむ。 $1$ 個の値だけで、集団の見え方が大きく変わった。「このクラスの平均は $10.7$ 点」と言われても、$6$ 人は $10$ 点以下なのだから、実態を表していない。

一方、中央値は $7.5$ から $8$ へ動いただけ。 順位でしか物を言わない指標は、外れ値にびくともしない。

だから外れ値の判定に $Q_1$・$Q_3$ を使う。 もし「平均 $\pm 2\times$ 標準偏差の外」を基準にしたらどうなるか。標準偏差そのものが $30$ に膨らまされているので、外れ値が自分自身を隠してしまう。犯人が捜査資料を書き換えるようなものだ。四分位数なら $30$ に汚染されないから、公平な物差しになる。

$$\text{下の境界}=Q_1-1.5\times 4=6-6=0,\text{上の境界}=Q_3+1.5\times 4=10+6=16$$

$30>16$ なので $30$ は外れ値。他の $6$ 個は $0$ と $16$ のあいだに収まっている。

最後に大事なこと。外れ値 $=$ 捨てる値、ではない。 入力ミスなら直すべきだし、本物の記録(たとえば飛び抜けて読書する生徒)ならそれこそが一番おもしろい情報かもしれない。外れ値の判定は「ここを調べよ」という警告灯であって、削除ボタンではない。

方針

解答

⓪ 発想(どう考え始めるか) 全員の得点を同じように動かすと、平均と散らばりはどうなるか。絵で考えるのが速い。

データを数直線上の点の集まりだと思おう。

(1) 全員に $5$ 点足す → 点の集まりがまるごと右に $5$ 平行移動する。集団の位置は動くが、点どうしの間隔は変わらない。だから平均は $+5$、散らばり(標準偏差)はそのまま。

(2) 全員を $2$ 倍する → 点の間隔がすべて $2$ 倍に引き伸ばされる。平均も $2$ 倍、散らばりも $2$ 倍。

(3) $y=-x+100$ → 符号がマイナスなので左右反転し、$100$ 平行移動。反転しても散らばりの大きさは変わらない(標準偏差は負にならない)。

$$\overline{ax+b}=a\bar{x}+b,(y\text{の標準偏差})=|a|\times (x\text{の標準偏差})$$

絶対値が決め手である。

変換 $y=ax+b$ に対して

$$\bar{y}=a\bar{x}+b,s_y=|a|s_x$$

が成り立つ。これを各場合にあてはめる。

(1) 全員に $5$ 点加える。$a=1$、$b=5$ なので

$$\bar{y}=60+5=65(\text{点}),s_y=|1|\times 10=10(\text{点})$$

平均は $5$ 点動くが、標準偏差は変わらない。全員が一斉に $5$ 点ずつ上がっても、点数の差のつき方は元のままだからだ。

(2) 全員の点数を $2$ 倍する。$a=2$、$b=0$ なので

$$\bar{y}=2\times 60=120(\text{点}),s_y=|2|\times 10=20(\text{点})$$

今度は散らばりも $2$ 倍される。差が $10$ 点だった2人は、$2$ 倍後には $20$ 点差になる。平行移動とちがって、拡大はデータの間隔を実際に引き伸ばす。

(3) $a=-1$、$b=100$ なので

$$\bar{y}=-60+100=40(\text{点}),s_y=|-1|\times 10=10(\text{点})$$

まとめ:『$s_y=-10$』と書きたくなったら手を止めること。標準偏差は散らばりの大きさで、必ず $0$ 以上だ。データの並び順が反転しても、散らばりの幅そのものは変わらない。だから $a$ には絶対値がつく。

発展。 平均と標準偏差の反応の違いは、「位置」と「形」という役割の違いから来ている。

• 平均は集団の位置を表す → 平行移動($+b$)で動き、拡大($\times a$)でも動く
• 標準偏差は集団の形(広がり)を表す → 平行移動では動かない、拡大でのみ動く

平行移動で変わらない量を、数学では不変量という。標準偏差は「平行移動しても変わらない」量だ。

不変量に着目する見方は数学のあちこちで使われる。図形の合同変換で長さと角が不変であること、複素数の絶対値が回転で不変であることも、その例だ。「何が変わり、何が変わらないか」を見抜くことが、構造を理解するということである。統計の変量変換はその入門編にあたる。

ちなみに相関係数(次に学ぶ)は $x$ と $y$ をどちらもどう変換しても($a>0$ なら)変わらない。標準偏差よりさらに強い不変性を持っている。だから単位の違う量どうしの関係を測る物差しとして使える。

別解

公式を信じきれないときは、条件に合う小さなデータを自分で作って実験するのがいちばんだ。$4$ 人ぶんで足りる。

平均 $60$、標準偏差 $10$ になるデータを用意する。 たとえば

$$50,50,70,70$$

平均は $60$。偏差は $-10,-10,10,10$ で、$2$ 乗の平均は $\frac{100\times 4}{4}=100$、標準偏差は $\sqrt{100}=10$。条件どおりだ。

(1) 全員に $5$ を足す: $55,55,75,75$。平均は $65$。偏差は $-10,-10,10,10$ でさっきと同じ → 標準偏差は $10$ のまま。

「偏差が変わらない」がすべてだ。全員が同じだけ動けば、平均も同じだけ動く。だから「各データ $-$ 平均」の値は動かない。散らばりが変わらないのは当然だ。

(2) 全員を $2$ 倍: $100,100,140,140$。平均は $120$。偏差は $-20,-20,20,20$ → 標準偏差は $20$。偏差も $2$ 倍になっている。

(3) $y=-x+100$: $50,50,30,30$。平均は $40$。偏差は $10,10,-10,-10$ → $2$ 乗すればどれも $100$ で、標準偏差は $10$。符号は反転しても $2$ 乗で消える。$|a|$ が出てくるのはこのためだ。

$4$ 人ぶんの実験で、$3$ つの答えがすべて確認できた。公式に不安があるときは、小さな例で試す。この方法は数学のあらゆる場面で使える。

この変換公式のいちばんの使い道も見ておこう。$a=\frac{1}{10}$、$b=-6$ ととると

$$z=\frac{x-60}{10}$$

この $z$ の平均は $\frac{60-60}{10}=0$、標準偏差は $\frac{1}{10}\times 10=1$。どんなデータも「平均 $0$・標準偏差 $1$」に作り変えられる。これを標準化という。

標準化すれば、$100$ 点満点の数学と $200$ 点満点の英語のような単位も規模も違うデータを、同じ土俵で比べられる。偏差値 $=50+10z$ は、この $z$ を見やすく化粧した値だ($z=1$、つまり平均より標準偏差 $1$ つぶん上なら偏差値 $60$)。変量の変換は比べるための物差しをそろえる方法である。

方針

解答

⓪ 発想(どう考え始めるか) $2$ つの量の関係を測りたい。決め手は偏差の積である。

各生徒について「数学が平均より上か下か」「英語が平均より上か下か」を見る。

• 両方とも平均より上(偏差が $+$ と $+$)→ 積は正
• 両方とも平均より下($-$ と $-$)→ 積は正
• 片方だけ上($+$ と $-$)→ 積は負

つまり「$2$ 科目が同じ方向に動く人が多いほど、積の合計は大きくなる」。この積の平均が共分散だ。

ただし共分散は単位に左右される(点を $2$ 倍すれば $2$ 倍になる)。そこでそれぞれの標準偏差で割って規格化したのが相関係数 $r=\frac{s_{xy}}{s_x{s}_y}$ である。手順は「平均 → 偏差 → 積と $2$ 乗 → 割り算」。表を作って淡々と進めよう。

まず平均値。

$$\bar{x}=\frac{1+2+3+4+5}{5}=3,\bar{y}=\frac{2+3+5+4+6}{5}=4$$

偏差を整理する。 偏差の計算は表にして淡々と進めるのがミスを防ぐコツだ。$x$ の偏差: $-2,-1,0,1,2$

$y$ の偏差: $-2,-1,1,0,2$

偏差の積: $4,1,0,0,4$

積がすべて $0$ 以上。どの組も『$x$ が平均より上なら $y$ も上』という同じ向きのずれ方をしていることが、この時点で読み取れる。

共分散。

$$s_{xy}=\frac{4+1+0+0+4}{5}=\frac{9}{5}=1.8$$

それぞれの標準偏差。

$$s_x^2=\frac{4+1+0+1+4}{5}=2,s_y^2=\frac{4+1+1+0+4}{5}=2$$

よって $s_x=s_y=\sqrt{2}$ だ。

相関係数。

$$r=\frac{s_{xy}}{s_x{s}_y}=\frac{1.8}{\sqrt{2}\times \sqrt{2}}=\frac{1.8}{2}=0.9$$

$r=0.9$ は $1$ にかなり近い。$x$ と $y$ の間には強い正の相関がある。散布図を思いうかべると、点がほぼ右上がりの直線に沿って並んでいる状態だ。相関係数は必ず $-1\leqq r\leqq 1$ に収まる。もし計算結果がこの範囲を飛び出したら、どこかで計算ミスをしている。

発展。 相関係数が $-1$ 以上 $1$ 以下に収まるのは偶然ではない。$x$ の偏差を並べたものを $\vec{u}$、$y$ の偏差を並べたものを $\vec{v}$ というベクトルだと思うと

$$r=\frac{\vec{u}\cdot \vec{v}}{|\vec{u}||\vec{v}|}=\cos \theta$$

つまり、相関係数は $2$ つの偏差ベクトルのなす角の $\cos$ そのものだ。これで何もかも腑に落ちる。

• $\cos$ は $-1$ 以上 $1$ 以下 → $|r|\leqq 1$
• $r=1$($\theta =0^{\circ }$)= 偏差ベクトルが同じ向き = 完全な右上がりの直線
• $r=0$($\theta =90^{\circ }$)= 偏差ベクトルが直交 = 無相関
• $r=-1$($\theta =180^{\circ }$)= 真逆の向き = 完全な右下がりの直線

「無相関」は「直交」と呼びかえられる。統計の相関と、ベクトルの内積は同じ構造をしている。$|\vec{u}\cdot \vec{v}|\leqq |\vec{u}||\vec{v}|$(コーシー・シュワルツ)から $|r|\leqq 1$ が導かれる。

このように、数学の異なる分野が同じ形の式で結ばれることがある。

別解

共分散の符号は散布図を見れば計算前に分かる。 数値の意味を絵でつかんでおこう。

散布図に「平均の十字線」を引く。 縦線を $x=3$($x$ の平均)に、横線を $y=4$($y$ の平均)に引くと、散布図が $4$ つの部屋に分かれる。

• 右上の部屋($x$ も $y$ も平均超): 偏差の積は $(+)\times (+)=$ 正
• 左下の部屋(どちらも平均未満): $(-)\times (-)=$ 正
• 左上・右下の部屋(一方だけ平均超): 積は負

$5$ 人がどの部屋にいるか調べる。偏差の組は

$$(-2,-2),(-1,-1),(0,+1),(+1,0),(+2,+2)$$

負の部屋(左上・右下)に入る人が $1$ 人もいない。 $3$ 人が右上か左下、$2$ 人は十字線の上に乗っている(積は $0$)。だから偏差の積の合計は正になり、計算する前から共分散が正だと分かる。

共分散とは、右上・左下に点が集まっている度合いである。右上がりに並ぶほど、正の項ばかりになって値が大きくなる。逆に右下がりなら負の項ばかりで、共分散は負になる。

では、なぜ標準偏差で割るのか。 共分散 $1.8$ という数字は、それだけ見ても大きいのか小さいのか分からない。得点を $10$ 倍(たとえば $100$ 点満点に換算)すれば共分散は $100$ 倍の $180$ になる。単位を変えただけで数字が変わるのでは、物差しにならない。

そこでそれぞれの散らばり($s_x$、$s_y$)で割る。すると単位が打ち消し合い、$-1$ から $1$ のあいだの、単位を持たない数になる。これが相関係数だ。

実際、英語の得点を $y^{\prime }=2y+3$(採点方式を変えた)としても、共分散は $2$ 倍、$s_y$ も $2$ 倍になるので、割り算で $2$ が消えて $r=0.9$ のままである。相関係数は「ものさしの取り替え」で変わらない。だから身長と体重、気温と売上のように単位の違う量の関係も測れる。

$$r=\frac{1.8}{\sqrt{2}\times \sqrt{2}}=\frac{1.8}{2}=0.9$$

$1$ に近いので「強い正の相関」。$|r|\leqq 1$ が必ず成り立つ(これは数IIで学ぶコーシー・シュワルツの不等式そのものだ)ので、$1$ を超える値が出たら計算ミスである。よい検算になる。

方針

解答

⓪ 発想(どう考え始めるか) 相関の正負は、散布図に点を打ったらどう並ぶかを頭の中で想像すれば決まる。

• 右上がりに並ぶ(一方が増えると他方も増える)→ 正の相関
• 右下がりに並ぶ(一方が増えると他方は減る)→ 負の相関
• 雲のようにばらける(関係がない)→ 相関がない

$1$ つずつ、極端な場合を想像するのがコツだ。「とても暑い日」のアイスの売上は? 「富士山頂」の気温は? 「背が高い生徒」の数学の点は?

最後のものだけ、答えが出てこないはずである。背が高くても低くても、数学ができる人もできない人もいる。それが「相関がない」ということだ。

(1) 正の相関

気温が高い日ほどアイスクリームはよく売れる傾向がある。散布図をかくと点が右上がりに分布すると考えられるので、正の相関がある。

(2) 負の相関

標高が $100\mathrm{m}$ 上がるごとに気温はおよそ $0.6^{\circ }\mathrm{C}$ 下がることが知られている。標高が高いほど気温は低くなる傾向があるので、散布図は右下がりになり、負の相関がある。

(3) 相関がない(ほとんどない)

身長が高いからといって数学の得点が高い(低い)という傾向は考えにくい。散布図をかいても点は全体に散らばり、右上がり・右下がりのどちらの傾向も見られないと考えられるので、相関はほとんどない。

まとめ:注意を2つ。第一に、相関は『傾向』の話であり、例外があっても相関を否定しない。気温が高いのに売れない日が1日あってもよい。第二に、相関は因果ではない。2つの量が連動して見えても、一方が他方の原因とは限らない(たとえば『アイスの売上』と『水難事故の件数』には正の相関があるが、アイスが事故を起こすわけではなく、背後に『夏』という共通の要因がある)。データ分析で最も誤用されやすいポイントなので、早いうちに身につけておきたい。

発展。 相関係数の値と「相関の強さ」の対応には、おおよその目安がある。

• $|r|$ が $0.7$ 以上なら強い相関
• $0.4$ 前後なら中くらいの相関
• $0.2$ 以下ならほとんど相関なし

ただしこれは分野によって基準が違う。物理の実験なら $0.99$ でも「合っていない」と言われるし、人間の行動を扱う心理学や経済学では $0.4$ でも「強い発見」になる。数値の意味は文脈で決まる。

もう $1$ つ、間違えやすい点を紹介しておく。データを切り取る範囲を変えると、相関の符号が逆転することがある(シンプソンのパラドックスという)。全体では正の相関に見えるのに、グループごとに分けると全部が負の相関になる。そんな例が現実に起こる(大学の合格率の男女差の有名な例がある)。

同じデータでも、集め方・切り取り方しだいで、まったく違う結果に見える。 統計の結論が信頼できるかどうかは、データを集めて扱う人の誠実さにかかっている。

別解

相関を読むときに、引っかかりやすい点が $2$ つある。この $2$ つを知っているかどうかで、データとの付き合い方が変わる。1つ目は、相関があっても原因とは限らないことだ。

(1)の「気温とアイスの売上」は、気温が上がるからアイスが売れるという素直な因果関係だ。しかし世の中には、こんな例がある。

• アイスの売上と水難事故の件数には、強い正の相関がある

アイスを食べると溺れるのか。もちろん違う。どちらも「気温が高い」という第 $3$ の原因から生じているだけだ(暑い → アイスが売れる、暑い → 水辺に行く人が増える)。こういう見かけの相関を疑似相関という。

「相関がある」は「一緒に動く」という事実の記述にすぎない。 「だから一方が他方の原因だ」と言うには、まったく別の根拠がいる。ニュースやグラフを見るとき、「第 $3$ の原因はないか」と一度立ち止まる。これが統計リテラシーの第一歩だ。

2つ目は、相関係数が $0$ でも無関係とは限らないことだ。相関係数が測るのは「直線的な関係」だけである。たとえば $x$ が $-2,-1,0,1,2$、$y=x^2$(つまり $4,1,0,1,4$)というデータを考えよう。$y$ は $x$ で完全に決まるので、これ以上ないほど関係が強い。

ところが相関係数を計算すると、ぴったり $r=0$ になる。左半分は右下がり、右半分は右上がりで、$2$ つが打ち消し合うからだ。

$r=0$ が意味するのは「直線的な関係がない」ことだけ。 U字型・放物線型の関係は相関係数には表れない。だから必ず散布図を描いて、目で形を確かめる。数値だけを見て「無関係」と結論してはいけない。

まとめると。 相関係数は便利だが、$2$ つのことを言えない。「どちらが原因か」も、「直線以外の関係」も、この $1$ つの数からは読み取れない。数字を出したら、必ず絵に戻る。

方針

解答

⓪ 発想(どう考え始めるか) 「$1$ 人加わったら平均はどうなるか」は、合計に戻して考えるのが原則だ。

平均 $70$ 点で $5$ 人なら、合計は $70\times 5=350$ 点。ここに $76$ 点が加われば、合計は $426$ 点で $6$ 人。だから平均は $\frac{426}{6}$。

平均どうしを平均してはいけない($\frac{70+76}{2}=73$ は誤り)。人数の重みが違うからだ。$5$ 人の $70$ 点と $1$ 人の $76$ 点では、$70$ のほうが $5$ 倍重い。

中央値のほうは並べ直して数えるだけ。$6$ 人(偶数)なので、まん中 $2$ つの平均になる。平均は合計に戻る、中央値は並べる。両者は反応の仕方が根本的に違う。

(1) もとの $5$ 人の得点の総和は、平均の定義を逆向きに使って

$$70\times 5=350(\text{点})$$

と復元できる。$76$ 点の生徒が加わると、総和は $350+76=426$ 点、人数は $6$ 人になるので

$$\text{平均値}=\frac{426}{6}=71(\text{点})$$

ありがちな誤りは $\frac{70+76}{2}=73$ とする計算だ。これは『5人分の重み』を無視して、平均と1人の点数を対等にあつかってしまっている。平均どうし、平均と個々の値を混ぜるときは、必ず総和に戻ってから計算する。

(2) $6$ 人の得点を小さい順に並べると

$$62,68,70,73,76,77$$

$6$ 個(偶数個)なので、中央値は $3$ 番目と $4$ 番目の平均だ。

$$\text{中央値}=\frac{70+73}{2}=71.5(\text{点})$$

(平均値の変化を直感で確かめる。加わった $76$ 点はもとの平均 $70$ 点より高い。だから平均は上がるはずで、実際 $70\to 71$ と上がっている。『平均より高い値が加わると平均は上がる』。計算前にこの見通しを立てておくと、大きな計算ミスに自分で気づける。)

発展。 「元の平均 $+$ はみ出し $÷$ 新人数」という式は、データが $1$ 個ずつ増えていく状況で平均を更新し続けるのに使える。

$$m_{n+1}=m_n+\frac{a_{n+1}-m_n}{n+1}$$

これは立派な漸化式だ(数Bで学ぶ)。過去の全データを覚えておかなくても、今の平均と個数さえ持っていれば、新しい値が来るたびに平均を更新できる。記憶しておくデータが少なくて済む計算法である。

センサーの計測値をリアルタイムで平均する装置や、動画の視聴数から平均評価を更新するサービスのように、「流れてくるデータ」の処理では、この逐次更新の式が実際に使われている。$\frac{a-m}{n+1}$ という補正項の形は、機械学習の学習則(誤差に比例して少しずつ修正する)ともそっくりだ。

教科書で学ぶこの計算がそのまま実際のデータ処理で使われている。

別解

「平均からどれだけ離れているか」だけで、新しい平均が暗算できる。 大きな合計を出さずに済むやり方だ。加わる生徒は $76$ 点。今の平均 $70$ 点より $6$ 点高い。

この「余分な $6$ 点」を、$6$ 人で山分けすると考える。

$$\frac{6}{6}=1⟹(\text{新しい平均})=70+1=71(\text{点})$$

合計 $426$ を $6$ で割った答えと一致した。

なぜこれでよいのか。 一般に、$n$ 人の平均が $m$ のところへ値 $a$ の $1$ 人が加わると

$$(\text{新しい平均})=\frac{nm+a}{n+1}=\frac{(n+1)m+(a-m)}{n+1}=m+\frac{a-m}{n+1}$$

元の平均 $+$ (はみ出したぶん)$÷$(新しい人数)、という形になる。はみ出しを全員でならす、という直感がそのまま式になっている。

この見方だと、変化の大きさも一目で分かる。 人数 $n$ が大きいほど分母が大きくなり、$1$ 人が加わっても平均はほとんど動かない。$1000$ 人の平均に $1$ 人加わっても、動くのは $\frac{a-m}{1001}$ だけで、ほぼゼロだ。大きな集団の平均はなかなか動かない。

中央値のほうは、もっと鈍い。 加わる生徒が $76$ 点でも、$80$ 点でも、$100$ 点でも、極端に $1000$ 点でも、$6$ 人の中央値はすべて $71.5$ 点である。$73$ 点以上ならどれも「上位 $3$ 人」の一員になるだけで、まん中の $2$ 人($70$ と $73$)は変わらないからだ。

一方、平均は $100$ 点が加われば $\frac{450}{6}=75$ 点へ跳ね上がる。

同じ $1$ 人の追加が平均には影響し、中央値には影響しない。 「平均点が上がった」というニュースを聞いたら、それが全体の底上げなのか、一部の突出なのかを疑う。代表値の性格を知っていれば、こういう読み方ができる。

方針

解答

⓪ 発想(どう考え始めるか) 「表が $20$ 回も出た。このコインは怪しい」と感じたとき、それを数学の言葉で裏づけるのが仮説検定だ。

論法は少し変わっている。主張したいことの反対を、いったん仮定する。

• 立てる仮説: 「このコインは公正だ(表と裏は同じ確率)」

そして問う。「もし公正なら、$30$ 回中 $20$ 回も表が出ることは、どれくらい珍しいのか?」実験結果を見ると、公正なコインで $20$ 回以上出たのは $200$ セット中 $4$ セットだけだった。割合は $\frac{4}{200}=0.02$、つまり $2\%$。

$0.05$($5\%$)より小さい。「公正なら、めったに起きないはずのことが起きた」。それなら最初の仮定を疑うべきだ。仮説を棄却して、「表が出やすい」と判断する。背理法に似た考え方である。

まず仮説を立てる。 判断したい主張は『このコインは表が出やすい』だ。そこで、これに反する仮説

$$\text{「このコインは公正である(表の出る確率は }\frac{1}{2}\text{)」}$$

を立て、この仮説が正しいとしたら今回の結果(表が $20$ 回以上)がどれくらい起こりにくいかを調べる。自分の主張を直接証明するのではなく、相手(反対の仮説)を追いつめるのが、この論法の構えだ。

実験結果から相対度数を求める。 公正なコインを $30$ 回投げる実験 $200$ セットのうち、表が $20$ 回以上出たのは $4$ セットだけだった。その相対度数は

$$\frac{4}{200}=0.02$$

つまり、公正なコインでも表が $20$ 回以上出ることはある。ただし $100$ 回に $2$ 回くらいしか起こらない、ということだ。

基準と比べて判断する。

$$0.02<0.05$$

今回のような結果は基準の $5\%$ を下回る『めったに起こらない』出来事だ。それが現実に起きた。ならば『公正である』という仮定のほうを疑うのが筋であり、この仮説を棄却する。

結論。 このコインは表が出やすいと判断してよい。

(もし相対度数が $0.05$ 以上だったら?そのときは『公正なコインでも普通に起こりうる結果』なので仮説は棄却できない。ただしそれは『公正だと証明された』ことにはならず、『表が出やすいとは言い切れない』という保留の結論になる。この非対称が仮説検定の肝だ。)

発展。 ここで立てた「公正なコインだ」という仮説を帰無仮説、否定したい相手を倒したときに残る「表が出やすい」を対立仮説という。基準の $5\%$ は有意水準と呼ばれる。

数Bの「統計的な推測」ではこの判定を実験ではなく正規分布で行う。$30$ 回中の表の回数は二項分布に従い、回数が多ければ正規分布で近似できるからだ。平均 $np=15$、標準偏差 $\sqrt{npq}=\sqrt{30\times 0.5\times 0.5}\approx 2.74$ として

$$z=\frac{20-15}{2.74}\approx 1.83$$

片側 $5\%$ の基準値 $1.64$ を超えている → 棄却。実験も、二項分布の直接計算も、正規近似も、同じ結論に着く。道具が違うだけで、考え方は $1$ つだ。

判定を誤る可能性も $2$ 種類ある。本当は公正なのに「怪しい」と言ってしまう誤り(その確率が有意水準 $5\%$)と、本当は偏っているのに見逃す誤り。基準を厳しくすれば前者は減るが、後者は増える。両方をゼロにはできない。

新薬が効くかどうかの判定も、工場の不良品検査も、この論理でできている。「絶対に確か」ではなく「これだけ珍しいなら偶然とは考えにくい」で前に進む。仮説検定は不確実な状況で判断を下すための方法である。

別解

実験の $200$ セットは、本当は計算で求められる確率の近似である。理論値を出して、実験結果と突き合わせてみよう。

公正なコインを $30$ 回投げて表が $k$ 回出る確率は、$30$ 回のうちどの $k$ 回が表かを選ぶ場合の数を使って

$$\frac{{}_{30}{\mathrm{C}}_k}{2^{30}}$$

と書ける($2^{30}$ 通りの表裏の並びは、どれも同じ確率で起こるから)。求めたいのは「$20$ 回以上」だから、$k=20$ から $30$ まで足す。

$$P(\text{表が }20\text{ 回以上})=\frac{{}_{30}{\mathrm{C}}_{20}+{}_{30}{\mathrm{C}}_{21}+\cdots +{}_{30}{\mathrm{C}}_{30}}{2^{30}}\approx 0.049$$

理論値は約 $4.9\%$。 実験で得た $2\%$ はこの $4.9\%$ を $200$ 回の試行で推定した値だったわけだ($200$ セットしかないので、ぶれるのは当然である)。

どちらも $5\%$ を下回る。 だから結論は変わらない。仮説は棄却され、「表が出やすい」と判断してよい。

ここで背筋が寒くなる事実に気づく。理論値 $4.9\%$ は基準 $5\%$ をぎりぎり下回っているだけだ。もし表が $19$ 回だったら? 同じ計算をすると

$$P(\text{表が }19\text{ 回以上})\approx 0.100$$

$10\%$ は基準の $2$ 倍なので、棄却できない。表が $1$ 回違うだけで、結論がひっくり返るのである。この事実から、$3$ つの大事な教訓が出る。

• $5\%$ という基準に、数学的な必然性はない。 「まあこのくらい珍しければ」という約束事にすぎない。$1\%$ を基準にすれば、今回は棄却できなかった($4.9\%>1\%$)
• 「棄却できない」は「仮説が正しい」ではない。 証拠が足りないだけで、無罪放免ではない。仮説検定は「白」を証明できず、「黒だと言えるほど珍しいか」だけを判定する
• 回数を増やせば、判定は鋭くなる。 $300$ 回投げて $200$ 回表なら(同じ割合でも)確率はずっと小さくなり、はるかに強い証拠になる。データの量が、結論の強さを決める

仮説検定は「疑わしきは罰せず」の論理だ。刑事裁判で「無罪と仮定して、有罪の証拠がどれほどありえないか」を問うのと、まったく同じ構えをしている。