Tellur52の日記: The ASA's statement on p-values: context, process, and purpose
「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明の記事が、
原文を見ずに恣意的な読み方をしがちな危うい記事だったので。
原文はこちら☞ The ASA's statement on p-values: context, process, and purpose
問題の帰無仮説と対象とする事象の発生確率によって、p値の設定すべき閾値は変わるだろう。
帰無仮説を棄却すべきp値はもっと小さい必要があるかもしれない。
でも、p < 0.05程度の壁を超えられないような事象は、より深い研究対象とするに値しないと考えられる。
まあ、理系ならポスターセッション1回出して終わる感じ?
もっとも「(帰無じゃない方の)仮説を立ててみたけど、観測した限り疑わしい」というのも重要な成果ではある。
それよりも重要なのは、“4. Proper inference requires full reporting and transparency”の以下の一節だろう。
Researchers should disclose the number of hypotheses explored during the study, all data collection decisions, all statistical analyses conducted, and all p-values computed. Valid scientific conclusions based on p-values and related statistics cannot be drawn without at least knowing how many and which analyses were conducted, and how those analyses (including p-values) were selected for reporting.
研究結果を発表するなら、データや過程が適切か検証できるようにするのが、誠実な研究者の態度だろう。
また一方で、“5. A p-value, or statistical significance, does not measure the size of an effect or the importance of a result.”においてp値がサンプル数・試行回数に左右されるから要注意である点も言及されている。
Any effect, no matter how tiny, can produce a small p-value if the sample size or measurement precision is high enough, and large effects may produce unimpressive p-values if the sample size is small or measurements are imprecise.
とにかく、この文書は統計を扱う必要のある人なら、一度は目を通すべきものだと思う。
The ASA's statement on p-values: context, process, and purpose More ログイン