「ＡＩとヒトの壁」記事へのコメント

評価者の問題？

[elmirage (6555)]

> しかし、興味深いのはサーバ室に隠れた２人の人間が、
> それぞれ「3.867」と「3.667」という評価しか得られなかったとのこと
> （結果の一覧はこちら）。テストの手順が悪いのか、何かが人間性を失わせているのか？
> はたまた、人間ですら４点も取れないテストなら、
> ＡＩも結構イケてる、と考えるかは意見の分かれるところだ。"

結 [surrey.ac.uk]

--
だが、いいこともあるぞ、外の天気は上々なんだ

Re:評価者の問題？

[ramsy (8353)]

同感です。J9の中の人が恣意的に結果をゆがめているようにもとれます。
ジャッジが９人じゃサンプル数があまりに少なすぎて、個々の資質に左右されすぎると思うんですが。
統計学的には最小値と最大値って除外するんじゃ…？詳しい人のフォローを期待します。

--
# rm -rf ./.

Re:評価者の問題？

[saitoh (10803)]

それは、何かの競技の採点方式では。
統計の教科書には、恣意的にデータを捨てると正しい結果が 得られない、というようなことが書いてあります。 また、明らかに間違っている入力は捨てるべし、とも 書いてあります。 J9が採点基準を誤解していたとか、恣意的な採点をしていたとか いうのなら、除外して平均を取っても良いでしょう。

最高点と最低点は除外すべきかと

[Minap (9371)]

　この場合はスケートの芸術点に近いものがあるから、もう少し人数を増やした上で、最高点と最低点を排除してもいいんじゃないかな？
　さすがにコンピュータで無作為に抽出とかまでしたら、ちょとやり過ぎかもしれないけど。（ｗ；

　最高点と最低点は恣意的なものという前提で除外すれば、平均値が全体の平均として納得のいく数値になるような気がします。
　もともとそういった感覚の違いを吸収するための、手段の一つだったはずだし。

--
--- どちらなりとご自由に --- --