データサイエンスの位置づけが重要となる中で必要性を増す「統計学」。
統計学を学ぶ上で、得手不得手の分かれ目となるのが「検定（統計的仮説検定）」です。
検定を理解するためには、統計学ならではの「あいまいさ」を受容することがポイントです。
本記事では、この「検定」について事例を交えながら説明します。
検定（統計的仮説検定）とは
検定（統計的仮説検定）は、「母集団に関する仮説が統計学的に成り立つか、標本を用いて判断すること」です。
馴染みが無い方にとっては理解が難しい考え方ですが、統計学を理解する上での関門ともいえる、核となる考え方です。
検定は下記に紹介する一定の流れで行うものとなりますので、流れをしっかりと理解しましょう。
検定（統計的仮説検定）の流れ
検定（統計的仮説検定）の大きな流れは以下となります。
- 帰無仮説と対立仮説を立てる
- 帰無仮説が正しいと仮定し、検証する
- 検証した結果矛盾が生じた場合、帰無仮説を正しくないと判断する
- 帰無仮説が正しくないため、対立仮説が正しいとする
検定を行うにおいては、以下のような様々な用語を理解する必要があります。
「帰無仮説」と「対立仮説」
統計的仮説検定では、はじめに「帰無仮説」および「対立仮説」を立てます。
それぞれの定義は以下となります。
対立仮説 … 帰無仮説に対立する仮説 ＝ 採択したい仮説
例えば「AとBの間に差があること」を検証する場合、それぞれの仮説を下記のように定めます。
対立仮説 ：AとBの間に差がある
「有意水準」と「P値」の比較による帰無仮説の「棄却」
次のステップでは、検証により、「帰無仮説を正しくない」ことを判断します。
前提として、「有意水準」と「P値」について理解する必要があります。
P値 … 帰無仮説が正しいと仮定した際、観測事象よりも極端な検定結果となる確率
仮説が正しくないと判断することを『棄却』と言いますが、棄却判断は、有意水準とP値の比較により行います。
有意水準 ＜ P値 ： 帰無仮説は棄却されない
ここが統計学の「あいまいさ」たる所以でもあります。
「第一種の過誤」と「第二種の過誤」
統計的仮説検定は確率を基に判断したものであるため、『誤り』が生じる可能性を抱えています。
誤りの種類は大きく『第一種の過誤』および『第二種の過誤』の2種類に分類されます。
| 真実 | |||
| 帰無仮説が正しい | 対立仮説が正しい | ||
| 検定 | 帰無仮説を棄却しない | 正しい | 第二種の過誤 |
| 帰無仮説を棄却する | 第一種の過誤 | 正しい | |
第二種の過誤 … 対立仮説が真実であるにも関わらず採択する過誤
『第一種の過誤』および『第二種の過誤』の確率は、有意水準の設定で変わりますが、この2つはトレードオフの関係にあり、両方の過誤を小さくすることはできません。
具体例①：スパムメールのフィルタリング
仕事やプライベートで日々大量に受信する電子メールは、「スパムメールのフィルタリング」により、ユーザーが快適に電子メールを利用できるようになっています。
この例では、「帰無仮説」および「対立仮説」を下記のように設定すると、
- 帰無仮説：メールはスパムメールではない
- 対立仮説：メールはスパムメールである
「第一種の過誤」および「第二種の過誤」は下記と考えられます。
- 第一種の過誤：メールが受信ボックスに入らない（正常なメールにも関わらずスパムメールと判断）
- 第二種の過誤：スパムメールが受信ボックスに入る（スパムメールであるにも関わらず正常なメールと判断）
本ケースでは、正常メールが受信ボックスに入らないこと（第一種の過誤）が問題であるため、第二種の過誤を許容するという判断となります。
具体例②：感染性ウィルスの発見
昨今のコロナウイルスを始めとする感染症ウィルスの検査においても、この考え方が適用できます。
この例では、「帰無仮説」および「対立仮説」を下記のように設定すると、
- 帰無仮説：ウィルスに感染していない
- 対立仮説：ウィルスに感染している
「第一種の過誤」および「第二種の過誤」は下記と考えられます。
- 第一種の過誤：無感染者の検査結果を「陽性」と判断（正常な状態にも関わらず感染者と判断）
- 第二種の過誤：感染者の検査結果を「陰性」と判断（異常な状態にも関わらず無感染者と判断）
本ケースでは、感染者であるにもかかわらず「陰性」と判断されること（第二種の過誤）が問題であるため、第一種の過誤を許容するという判断となります。
まとめ
統計学の得手不得手の分かれ目となる「検定（統計的仮説検定）」について説明しました。
統計学をよりしっかりと理解したい方は、下記の書籍がオススメですので興味があったら一読してはいかがでしょうか。
また、さらに統計に興味を深めた方は、「統計検定」の受験をオススメします。
統計検定の記事を下記にまとめていますので、合わせてお読みください。
コメント