significance level

統計学における significance level は、偶然によって得られた結果を意味のある差として誤って判断してしまうリスクを許容する境界線を指します。一般的に０．０５（５％）や０．０１（１％）といった値が設定され、この値が小さいほど、より厳格な基準で判定を行うことになります。

統計的有意性と実質的な意味の違い

注意すべき点は、統計的な significance が必ずしも現実世界における重要性や実用的な価値を意味しないことです。サンプルサイズが極めて大きい場合、実質的には無視できるほど小さな差であっても、統計的に有意であると判定されることがあります。そのため、significance level による判定と併せて、効果量などの指標を確認することが重要です。

p値との関係性

significance level は、分析を開始する前にあらかじめ設定される基準値であるのに対し、p-value（p値）は得られたデータから計算される実際の確率です。計算された p-value が設定した significance level よりも小さい場合に、帰無仮説を棄却し、結果が統計的に有意であると結論付けます。