yasuokaの日記： BERTと東ロボは漢文に返り点を打つことができたのか

私(安岡孝一)の11月30日の日記の読者から、鳥谷健史の『Google最新技術「BERT」と「東ロボ」との比較から見えてくるAIの課題』(ハーバービジネスオンライン、2018年11月23日)という記事を読んでみてほしい、との連絡をいただいた。読んでみたのだが、牽強付会を絵に描いたような記事で、正直かなりカチンと来た。

「ロボットは東大に入れるか」(以下、東ロボ)は国立情報科学研究所が2011年から開始したプロジェクトです。統計とビッグデータによるAI技術の可能性と限界を正確に認識することを一つの目的としています。2013年～2016年までセンター模試、記述式模試を受験し結果を公開していました。

「一つの目的」だったのは事実かもしれないが、少なくとも漢文に関しては、「AI技術の可能性」とか「限界」とかは、全く示せていない。だって、東ロボは「漢文問題の解法に関する研究は，2013年から2016年までの4年間，まったく実施しなかった」のだから、それをもって「可能性」とか「限界」とか言われても、てんで話にならない。そもそも「国立情報科学研究所」って、どこのこと？

「BERTはテストで人間を上回る記録を出している、これは東ロボチームが示した現状のAI技術の限界を越えたということか？」という質問です。BERTも東ロボチームが示した現状のAI技術の限界を越えてはいません。

いや、だから、東ロボチームは、少なくとも漢文に関しては何も示しておらず、それを「現状のAI技術の限界」とか書かれても、ワケがわからない。

東ロボチームが提示した現状のAI技術の限界とは具体的に何を指しているのでしょう？　東ロボチームは自然言語に機械学習という『帰納的アプローチ』を使った場合『意味を理解しない』実装になってしまうので、英語、国語など言語のテストに適用するには限界があると指摘しています。

それは、東ロボチームの限界、なのであって、「現状のAI技術の限界」ではない。というか、そもそも漢文に関しては「まったく実施しなかった」のであり、「国語など言語のテストに適用する」ための検討としては、どう考えても不十分だと言わざるを得ない。すなわちそれが、東ロボチームの限界、なのであって、「現状のAI技術の限界」などと鳥谷健史が言い出すのは、牽強付会もいいところだ。

一方、googleのBERTも、現時点では漢文を扱うことができない、という点については、私が過去の日記(これとかこれ)で書いたとおりだ。ただし、これとて、あくまで現時点のBERTの限界なのであって、「現状のAI技術の限界」ではない。『帰納的アプローチ』とやらを「現状のAI技術の限界」などと言いたいのなら、それで漢文に返り点を打てるかどうかくらいは、ちゃんと調べてからにしてほしい。