「ＡＩとヒトの壁」記事へのコメント

統計の注意

[holon (13785)]

こういうものの結果は絶対的数値（得点）ではなく、人間と AIの得点間の違いがどれだけ有意であるかという判断をするべきですね。

それにしても９人は少なすぎます。単なる面白コンテストにはなっても AIの性能評価としてはつらい気がします。
もし次回以降もあるのであれば「

Re:統計の注意

[oltio (3848)]

「9人は統計学上少なすぎる」と評する人は多いが、じゃぁ統計学上
何人程度なら許せるのかを書く人は少ない。

この事について統計学上から知見を述べよ。

Re:統計の注意

[holon (13785)]

確かに少ないですね。突っ込みを入れる人はいても説明する人が少ないのと同様に。

統計学上からとかいうとAICな情報量規準とかウェルチ検定とかマハラノビス距離とかの説明をすればよろしいのでしょうか？

もしよろしければ、東京図書の

Re:統計の注意

[Anonymous Coward]

では、ご説明いたします。

０．とりあえず５人くらいデータを取ります。
１．有意差が出たらそこで実験終了です。
２．有意差が出なければ、被験者を１名増やします。
３．１にもどります。

これで統計学上必要最小限の被験者数がわかります。
（予算の消化等、非統計学的な要因があれば別です）

Re:統計の注意

[Anonymous Coward]

J9のような審判が最初に連続したとき、
そこで有意差がなくなれば試験終了ですか