仮説検定の考え方(効果の判断)

方針

解答

⓪ 発想 — どう考え始めるか。 「効果がある」と主張したい。仮説検定の構えは、その反対から始まる。

「効果がない(向上は五分五分)」という仮説をわざと立てて、それを追いつめるのだ。

仮説のもとでは、$20$ 人中 $15$ 人以上の向上は「コイン $20$ 枚中 $15$ 枚以上が表」と同じ現象になる。その起こりにくさを実験の相対度数で見積もり、基準($5\%$)より小さければ、仮説のほうを疑う。それが棄却だ。

まず仮説を立てる。 主張したいことは『新しい練習方法には効果がある』だ。その反対の仮説

$$\text{「効果がない(記録の向上は確率 }\frac{1}{2}\text{ で偶然起こる)」}$$

を立てる。『なぜわざわざ反対を仮定するのか』と戸惑うかもしれないが、これは背理法と同じ構えだ。反対の仮定から『ありえないほど珍しいこと』が導かれれば、仮定のほうを疑える。

仮説のもとでの起こりにくさを見積もる。 仮説が正しければ、各人の向上・非向上はコインの表裏と同じ五分五分の現象だ。よって『$20$ 人中 $15$ 人以上が向上する』ことは『コイン $20$ 枚中 $15$ 枚以上が表になる』ことと同じ仕組みで起こる。実験では $1000$ 回中 $21$ 回だったので、相対度数は

$$\frac{21}{1000}=0.021$$

基準と比べて判断する。

$$0.021<0.05$$

『効果がない』のに $15$ 人以上も向上することは、基準 $5\%$ を下回る『めったにない』出来事だ。それが実際に起きた。ならば『効果がない』という仮説のほうが疑わしいと考えて、これを棄却する。

結論。 新しい練習方法には効果があると判断してよい。

(注意: この判断は『絶対に効果がある』ことの証明ではない。めったに起こらないことがたまたま起きた可能性は $0$ ではなく、基準 $0.05$ は『その見込みちがいをどこまで許すか』の取り決めだ。統計的な結論には、いつもこの但し書きが付く。断定ではなく、根拠のある判断、というのが仮説検定の立ち位置だ。)

発展 — 一歩先へ。 基準の $5\%$ に絶対の根拠はなく、慣習的な約束だ。そして仮説が正しくても、$20$ 回に $1$ 回ほどは偶然「珍しいこと」が起きて、正しい仮説を誤って棄却してしまう。検定は「確からしい判断」であって「証明」ではない。

この考え方は、背理法(矛盾したら仮定を捨てる)の確率版と見ることもできる。数学Bの統計的な推測で、正規分布を使った本格的な検定として再登場する。

別解

コイン実験の代わりに、場合の数で理論値を直接計算することもできる(数学Aの組合せを使う)。

コイン $20$ 枚の表裏の出方は全部で $2^{20}=1048576$ 通り。表がちょうど $k$ 枚になる出方は、$20$ 枚から表の位置を選ぶ組合せの数だけある。

表が $15$ 枚以上になる出方を数えると

$$15504+4845+1140+190+20+1=21700\text{ 通り}$$

確率は $\frac{21700}{1048576}=0.0207\dots$、およそ $2.1\%$。

実験の相対度数 $0.021$ は、この理論値の近似だったことが分かる。$1000$ 回の実験は理論計算の「代用品」であり、回数を増やすほど理論値に近づく。実験と理論、2つの道が同じ結論(棄却)に着くことを確かめておくと、検定の仕組みへの信頼が深まる。