yasuokaの日記： 東洋経済の考える「AIに負けない読解力」 6
ネットサーフィンしていたところ、東洋経済のサイトで「リーディングスキルテスト（RST）の問題を解いてみよう」(2019年10月12日号、pp.44-53)という記事に出くわした。係り受け解析のネタになるかな、と思って、順に問題を見ていったが、Q.2がいきなり以下の内容で、さすがに頭が痛くなった。
Q.2 以下の文を読みなさい。
真核細胞の呼吸の材料となる有機物は主にグルコースで、細胞に取り込まれると、ミトコンドリアの酵素などによって分解反応が進み、無機物に分解される。
この文脈において、以下の文中の空欄に当てはまる最も適当なものを選択肢のうちから1つ選びなさい。
・（ ）は細胞内で分解される。
① ミトコンドリア ② グルコース ③ 真核細胞 ④ 無機物
いや、それ「この文脈において」とか言われても、「解糖系がミトコンドリアの外膜の外でおこなわれる」っていう高校の生物で習う内容に反している。いくら「酵素など」と書いたところで、この「など」が「酵素」に係っているのか、それとも「ミトコンドリアの酵素」に係っているのかが曖昧で、そもそも意味がない。というか、この部分が「ミトコンドリアの」という限定を含んでいる以上、少なくともエムデン・マイヤーホフ経路の酵素は除外しているわけで、だとすると解糖系は無視されていると考えられる。そうすると、文の内容がそもそも間違っていて、しかも、選択肢に「ピルビン酸」も「アセチルCoA」も含まれてないのだから、答えられないのは当然だろう。
RSTは「さまざまな分野の、事実について書かれている短い文章を正確に読めるかどうか」の能力を7項目の異なる観点から判断するものだ。
いや、これ「事実について書かれている」わけじゃないから。こんなの「正確に読める」わけがないと、私(安岡孝一)個人は思うのだが、それとも東洋経済の「AI」は「正確に読める」のかしら。
間違ってる？ (スコア:2)
「以下の文」は確かに『「ミトコンドリアの酵素」など』か『ミトコンドリアの「酵素など」』かが曖昧であり、悪文ではありますが、
『文の内容がそもそも間違って』はいないかと。
結論が「無機物に分解される」であるので、解糖系だけでなくクエン酸回路を含めた経路を論じていることがわかります。
（Embden-Meyerhof経路にしてもペントースリン酸経路にしても有機物のまま）
なので、係り受け部分は『「ミトコンドリアの酵素」など』であることが確定します。
（「など」に解糖系の酵素が含まれる）
そう考えるとこの文章は（悪文ではあっても）別に間違ってはいなく、
さらに解糖系は細胞質基質、クエン酸回路はミトコンドリアであってもいずれも細胞内には違いないので、
②が適当であることを排除しません。
①③④は文脈で述べられていないため適当でないので、従って②が回答となるでしょう。
生物学の知識を前提としない場合、係り受けがどちらであるかは確定しませんが、
「～グルコースが、細胞に取り込まれると、～、無機物に分解される。」であるので、
②が適当であるのはわかります。
むしろ悪文からも読み取れるという意味で良問なのかも。
Re:間違ってる？ (スコア:2)
うーん、やっぱり、あまり「良問」とは思えないのです。もちろん、Q.2で②が適当というのは、ムリヤリそう誘導してあるので大丈夫なのですが、さらに読んでもらうとQ.19とか出てきて、さすがにイラっとするのです。
Re:間違ってる？ (スコア:2)
あら、コメントの後半が切れてる…。ちょっと書き足します。で、このQ.19では「整数」という部分がどう考えてもおかしくて、「正の整数」なり「自然数」なりにしないと、いくら回答が④だけだとしても「文の内容がそもそも間違っている」としか、言いようが無いと思うわけです。単に「整数」だと「0」とか「負の整数」が入っちゃいますから。
一方、それはQ.2でも同様でして、解糖系のことを知っているのを期待するのなら、「ミトコンドリアの酵素など」という部分がどう考えてもおかしくて、せめて「細胞質基質やミトコンドリアの酵素など」なり「細胞内の酵素など」なりにしないと、いくら回答が②だとしても「文の内容がそもそも間違っている」と、私(安岡孝一)には思えるわけです。その逆に解糖系のことを知らないだろうと考えるのなら、やはり「ミトコンドリアの酵素など」はおかしくて、単純に「酵素など」とするか「細胞内の酵素など」とするべきだと思うわけです。
Re:間違ってる？ (スコア:1)
東洋経済のサイトの記事の問題を読んでいないのではっきり言えませんが、新井紀子先生の新著「AIに負けない子どもを育てる」の体験版の問題(記事のQ2,Q19とたぶんおなじ問題を含む)は回答が難しいものも含まれ、現在のRSTでは使わなくなった破棄された問題群、だそうです。そういう意味ではあまり良くない問題なのかもしれないですね。
問題作成の方法についても解説されていましたが、全員が正解になるものや全員が不正解になる問題は破棄ないし、改変し、項目反応理論に合う結果を出した問題のみが残される、ということ。中には「読解力」のある人の方が正解にならないような問題もでてきて、それもボツになると書いてありました。
ということで、専門的知識や内容に詳しくなく、深い意味を考えない方が正解しやすい場合もある、ということかも。ということは、むしろNLPやBERTの後継技術などのAIでも正解できそうな問題もあるような気もするのですが、如何でしょうか？ 「意味」には今のAIでもあつかえるもの、「浅い意味」、「深い意味」などがあるのかどうか？
Re:間違ってる？ (スコア:2)
うーむ、もしそうだとすると、この東洋経済の記事はタイトルがおかしくて、たとえば「リーディングスキルテスト（RST）で破棄された問題を解いてみよう」にしなきゃいけない気がするんですけど…。ただ、東洋経済の「AI」は、どうもこれらの「破棄された問題群」が「正確に読める」らしいのです。
Re:間違ってる？ (スコア:1)
補足すると、体験版の問題群は「お蔵入り」したものを蔵から出してきた、というもので、お蔵入りした理由は、古くなったから、ということだったと思います。「AIに負けない」の本が手元に無いので確認はできないのですが。つまりRSTの問題として著しく不適当ではないが、何らかの理由で本番のRSTでは使われなくなった問題、ということのようです。