yasuokaの日記： 東ロボは何を係り受け解析していたのか

私(安岡孝一)の10月14日の日記の読者から、吉野次郎・山田宏逸・定方美緒・津久井悠太の「日本人の3分の1は日本語が読めない!?」(日経ビジネス、2019年10月28日号、pp.38-45)という記事を読んでみてほしい、との御連絡をいただいた。ざっと読んでみたのだが、以下の部分が非常に気になった。

係り受けとは、どれが主語でどれが述語なのか、どれが修飾語でどの言葉を修飾しているか、その関係を指す。同書によると、こうした「係り受け」の問題で、AI(新井氏が開発している人工知能「東ロボくん」)の正答率は8割だった。

「ロボットは東大に入れるか」(東京大学出版会、2018年9月)を読み直してみたのだが、東ロボの『国語』ソルバーは、いわゆる係り受け解析をおこなっていない。節境界法、オーバーラップ・ランキング、二段階選抜法、といった、非常にユニークな手法によって『国語』の現代文にチャレンジしており、これはこれで高く評価できるのだが、どうみても係り受け解析ではない。じゃあ、東ロボが係り受け解析をおこなっていないか、というと、そんなことはなくて、たとえば『数学』のソルバーは内部にCaboChaを実装しているので、二文節間の係り受け解析はおこなっているわけだ。

ただ、東ロボは、あくまで『数学』の問題文を読むための手段としてCaboChaを使っているのだし、しかも、ニューラルネットとか深層学習とか最新のAI技術を、係り受け解析に使っているわけでもない。だとすると、この「正答率は8割だった」って、いったい何の話なんだろう？