正確確率検定 / 正確検定

フィッシャー / Fisher

Polisでは意見(コメント)cへの投票vの発生確率がグループgの内外で有意に差があるかどうかをFisherの正確確率検定するプロセスを途中まで進めて、そのp-valueの高さを意見cに対する投票vがグループgを特徴づける度合いとして使っている

この使い方は検定としては適切ではないが、尺度としては有用だと思う。どう？

統計的検定のp値は、「偶然起こりうるかどうか」を示すもので、本来は事前に決めた有意水準との比較によって「有意・非有意」を判断するためのものだ。しかし、その過程で得られるp値には、コメントへの投票とグループとの関連性の強弱をある程度反映している可能性がある。そのため検定としての妥当性は薄れるが、「グループを特徴づける度合い」を相対比較するための指標として使うことは、実務的には有用な場合がある。