「大学受験共通テスト、国語の記述式問題の再現実験で公平な判定は難しいとの結果に」記事へのコメント

採点者が一人だけでも公平な採点は恐らく不可能

[Anonymous Coward]

一度採点した答案と同じものをもう一つ混ぜておいて、時間差で同一人に採点させても多分点数が同じにはならないだろう。
記述式の試験の採点に使えるAIが完成するまでは記述式の問題を公平に採点するなんてのは実現不可能よ。
点数には誤差が生じるということを前提にした合否判定の仕組みを作ったほうが早いんじゃないかな。

Re:採点者が一人だけでも公平な採点は恐らく不可能

[Anonymous Coward]

実際にやってみると判りますが、そうでもないですよ。

大学入試程度の試験答案を複数回採点した経験がありますが、ほぼブレはありませんでした。
異なる結果になるのは初回の採点にミスがあった場合だけだと思います。
件数が少ないと無意識に記憶してしまうということもあるかもしれませんが、100件弱〜1000件程度の経験の範囲では大丈夫なように思います。

正確に言えば、ブレないための基準を設けて判断するようにしないと件数の多い採点はできません。
得点を積算する基準を決めておいて、それに照し合せながら判断できるようにしないと普通の人間には無理な作業だと思います。
私には経験がありませんが、小論文的なものの評価でも同じことが言えそうです。
むしろ「記述式」よりも小論文の方が厳格な基準を定めながらの採点をするはずです。
複数人で採点するなら実際に基準のもとになるものをルーブリック形式等で準備くらいするでしょう。

AIと呼ばれるものが使えるようになれば、もっと柔軟な基準を設けて実際の答案データで学習させながら、結果が収束するまで採点を繰り返すとかができるのかもしれませんね。