仮説検定(基準の違いによる判断の変化)

方針

解答

⓪ 発想 — どう考え始めるか。 検定の手順は既習どおり。仮説を立て、相対度数を見積もり、基準と比べる。

新しいのは (3) だ。同じデータを、基準 $5\%$ と $1\%$ の $2$ つで裁くとどうなるか。

一般には、同じ結果でも基準しだいで結論が分かれることがある。この揺れに触れるのが主題だ。

仮説検定の結論は絶対の真実ではない。事前に決めた基準に相対的な判断だ。そこまで理解が届けばよい。

仮説『このさいころは公正である($1$ の目の出る確率は $\frac{1}{6}$)』を立てる。この仮説のもとで、$1$ の目が $18$ 回以上出ることの起こりにくさをシミュレーションで見積もると、相対度数は

$$\frac{8}{1000}=0.008$$

(1) 基準 $0.05$ と比べると

$$0.008<0.05$$

公正なさいころでは $1000$ 回中 $8$ 回しか起こらない『めったにないこと』が実際に起きた。仮説のほうが疑わしいと考えて棄却する。よって、このさいころは $1$ の目が出やすいと判断してよい。

(2) より厳しい基準 $0.01$ と比べても

$$0.008<0.01$$

なので、やはり仮説は棄却される。この基準でも $1$ の目が出やすいと判断してよい。今回の $0.008$ は、厳しい審査さえ通るほど際立って珍しい結果だった、ということだ。

(3) 基準を小さくする($0.05\to 0.01$)とは、『めったに起こらない』と認定するラインを厳しくすることだ。それだけ強い証拠がなければ仮説を棄却しなくなるので、偶然の偏りを『出やすい』と誤って判断してしまう危険を減らす、より慎重な判断になる。

ただし、慎重さはタダではない。基準を厳しくした分、実際には出やすいさいころを『判断できない』として見逃す可能性は高くなる。つまり基準の選び方は『濡れ衣のリスク』と『見逃しのリスク』の綱引きで、どちらの誤りをどれだけ避けたいかに応じて決める、人間側の取り決めだ。

振り返り。 $0.05$ という数字に数学的な必然性はない。慣習として広く使われているだけだ。『基準を変えれば結論が変わりうる』という事実は、統計的判断が絶対の真理ではなく、基準込みの条件つき判断であることを教えてくれる。ニュースで『統計的に有意』という言葉を見たら、『どの基準で?』と問い返せるようになれば、この単元の学びは実生活に届いている。

発展 — 一歩先へ。 基準(有意水準)には、はっきりした意味づけがある。公正なさいころをこの基準で何度も検定したとき、誤って「偏っている」と判定してしまう割合を、基準値以下に抑える、という約束だ。$0.05$ は「偽の警報は $5\%$ まで許す」、$0.01$ は「$1\%$ まで」という取り決めになる。

見落としてはいけないのは、$5\%$ でも $0$ ではないことだ。この問題のシミュレーションそのものが、公正なさいころ $1000$ 回のうち $8$ 回は「$18$ 回以上」を出していた。多くの公正なさいころを次々に検定すれば、その一部は偶然だけで「偏っている」と誤判定されてしまう。

だから $1$ 回「有意」が出ただけでは証明にはならない。本当に確からしいかは、独立な追試(再現)で確かめる。統計的な結論を「めったにない、ゆえに真実」と即断せず、再現性まで問うのが科学の作法だ。

別解

別解 — シミュレーションに頼らず理論確率で見積もる(得意な人向けの視点)。 シミュレーションの $\frac{8}{1000}$ を使わずに、確率そのものを計算してみる。

仮説が正しければ、$1$ の目の出る確率は $\frac{1}{6}$。$60$ 回投げて $1$ の目がちょうど $k$ 回出る確率は、反復試行で

$$P(X=k)={}_{60}{\mathrm{C}}_k{\left(\frac{1}{6}\right)}^k{\left(\frac{5}{6}\right)}^{60-k}.$$

求めたいのは「$18$ 回以上」だから、$k=18$ から $60$ まで足す。この和を計算すると約 $0.007$ になる。

つまり、公正なさいころでも $1$ の目が $18$ 回以上出ることは、理論上おおよそ $0.7\%$ しか起こらない。これは $0.05$ よりも $0.01$ よりも小さい。だから (1)(2) のどちらの基準でも仮説は棄却され、$1$ の目が出やすいと判断してよい。

シミュレーションの $0.008$ と理論値 $0.007$ が近いことも確かめられる。乱数実験は、この理論確率を近似していたわけだ。本解と同じ結論だ。