「大学受験共通テスト、国語の記述式問題の再現実験で公平な判定は難しいとの結果に」記事へのコメント

採点者が一人だけでも公平な採点は恐らく不可能

[Anonymous Coward]

一度採点した答案と同じものをもう一つ混ぜておいて、時間差で同一人に採点させても多分点数が同じにはならないだろう。
記述式の試験の採点に使えるAIが完成するまでは記述式の問題を公平に採点するなんてのは実現不可能よ。
点数には誤差が生じるということを前提にした合否判定の仕組みを作ったほうが早いんじゃないかな。

Re:採点者が一人だけでも公平な採点は恐らく不可能

[Anonymous Coward]

前提に依りますね。

現在の2次試験であれば、一応問題作成が出来るレベルの教授陣が採点してるんで、
実際やってみれば分かるけどそんなブレブレにはならんですよ。
誤字や難読字をどの程度解釈するかみたいな部分で多少誤差は生じるかもしれないが、
根本となる採点基準に合致するかどうかの判断を延々繰り返すだけなので、
たぶんあなたがふんわり想像してるような、感性や感覚でなんとなく点数をつけているのでは無く、
比較的ロジカルな作業でしかないです。

あと大概は2名以上が採点して結果をつきあわせますから、ヒューマンエラーはある程度抑制されますし、
これまで採点してきた回答を毎回脳内からリセットして作業するわけではありませんから、
微妙なラインに引っかかった回答は覚えていますよ。

どこかの会社が集めたバイトが採点する場合は、かなりブレが出るでしょうから、
最低3名以上でやってほしいですね。