常識に基づき論理的に推論する AI の過去の研究として次が、このペーパーの2年前に発表されています。よって、このペーパーが書かれた時点で、AI が常識を持って推論することは難しくありません。
G. Angeli and C. D. Manning (2014):
NaturalLI: Natural Logic Inference for Common Sense Reasoning [stanford.edu],
Proc. EMNLP 2014 (Conference on Empirical Methods in Natural Language Processing).
[概要]
事実（常識）を列挙したデータベースが与えられたとき、未知の出来事の真偽を判定し、真ならデータベースに追加する推論技術の提案。
推論の例：「猫がネズミを食べる」から、「「哺乳類は動物を食べない」が偽である」を導ける。
あんま意味ない発表だよね (スコア:2, おもしろおかしい)
自分の提言に沿うような結果が出るような調査をしたんじゃないのかなとしか思えない
こんなのは程度問題だからな
Re:あんま意味ない発表だよね (スコア:2, 参考になる)
こういうコメントがあるんじゃないかと思ってこの記事を見に来た。
新井先生は調査の内容も含めパブリックにできるものはなるべくパブリックにしてくださってるので、自分で確認できる。
たとえば今回のテストだとこういう内容があったみたいだ。
----引用開始----
以下の文を読みなさい。
仏教は東南アジア、東アジアに、キリスト教はヨーロッパ、
南北アメリカ、オセアニアに、イスラム教は北アフリカ、
西アジア、中央アジア、東南アジアにおもに広がっている。
この文脈において、以下の文中の空欄にあてはまる最も適当
なものを選択肢のうちから一つ選びなさい。
オセアニアに広がっているのは（ ）である。
A．ヒンドゥー教 B．キリスト教
C．イスラム教 D．仏教
----引用ここまで (引用元: http://www.nira.or.jp/pdf/opinion31.pdf [nira.or.jp] )----
先生自身のTwitterで色々発言してくださってるので、少し読んでみてくださいませんか。
程度問題かどうかはそれから判断して頂ければ。
https://twitter.com/noricoco [twitter.com]
Re:あんま意味ない発表だよね (スコア:2)
同じ問題でやって過去に比べて上がった下がったというのには意味があると思いますが、
絶対量として75%が悲観すべき数字なのか素晴らしい値なのかはわからないでしょうとしか言いようがないと思います。
先生のtwitterは読ませてもらいます
Re:あんま意味ない発表だよね (スコア:1)
引用されている問題について、同じ内容の過去の話題
（義務教育では英語やプログラミングではなく日本語読解能力を身につけさせるべき [developers.srad.jp]）のコメントで、
問題文は作文のガイドラインを満たしていない、書き方の悪い、要修正の文 [srad.jp]という指摘があります。
つまり、きちんと書かれた文章なら、より多くの被験者が正しく読み解けるはずです。
（教科書に記述されているとはいえ）書き方の悪い文が読み解けなければ、
読む側の能力不足ではなく、書き手側の問題ではないのでしょうか？
このような問題を使った調査結果から、読解力不足を主張するのは強引だと思います。
Re:あんま意味ない発表だよね (スコア:2, すばらしい洞察)
元の文章が完璧でないのはその通りなのですが、世の中の文章をすべて完璧にすることはできないです。
不完全な文章からでも、それなりに意図を読み取れる必要があります。
誰が悪いといったって、読み取れる人と読み取れない人がいれば、不利益を被るのは読み取れない人なのだから。
教科書が悪いから理解できなかったというのが真実でも、理解できなかった人の時間は戻ってきません。
教科書を改善するのは当然必要でしょうが、不完全な教科書からでも理解できるようにする努力も同時に実行していいと思います。
Re:あんま意味ない発表だよね (スコア:1)
教科書を改善するのは当然必要でしょうが、 不完全な教科書からでも理解できるようにする努力も同時に実行していいと思います。
その努力は既にされていて、理解が困難な一文があっても、
長い文章全体を理解できる読解力がある、というのが PISA の結果です。
Re: (スコア:0)
え？ そうすると、今回の調査のように理解が困難な一文が含まれていたとしても、教科書を直す必要はないということになりますかね。
Re:あんま意味ない発表だよね (スコア:1)
なるほど。
わかりにくい文は直したほうが良いという思い込みが
あったため、気づきませんでした。
読みにくい短文について、読み手に苦労させるのか、
書き手に書き直しの手間を求めるのか、
両方の選択肢があり得ますね。
ご指摘ありがとうございました。
複雑な文は読めてもなくすのが良い (スコア:0)
納得できません。
学生の時間効率を考慮すると、それでも書き手に書き直しの手間を求めます。
(a) 時間を掛けて文章全体を考えれば理解できるけれど、読みにくい短文を含む教科書
(b) 平易な文で書かれた教科書
(b) を読むのに比べて、(a) を読むのは、読みにくい短文を読み解くための
時間とエネルギーが余分に掛かります。そしてそれらは、本来の学習内容を
理解するための分から削られることになり、もったいないです。
この効率の点から、理解が困難な短文を含む長い文章を理解できる読解力があるとしても、
教科書を（複雑な文をできる限りなくした）平易な文章で書いていただくよう、
優秀な執筆者の先生方、よろしくお願いします。
Re: (スコア:0)
日本語というのはもともと表記揺れが発生しやすい上に主語の省略や事物の列記などで誤解が生じやすい言語体系です。
読み手側が努力する、というのはそれはそれで正しい方向だとは思いますよ。
ただしぱっと見てわからない文章を許容する必要があるのかどうかはまた別の問題ではないですかね。
根本的な解決を避けようとする思考を良しとすることも含めて。
Re: (スコア:0)
これは「作文」のガイドラインではなくて、「書き表し方」のガイドラインですね。
しかもこのガイドラインを厳密に満たす文書なんて少ないのに、
それしか読めないようでは読解力不足と言われても仕方がないのでは？
教科書に書かれているのは、世の中でも読みやすく推敲された部類の文章ではないでしょうか。
ちなみに、あなたのコメントは横書きなのに「、」を使っているため、当該ガイドライン（付録）に従っていません。
Re:あんま意味ない発表だよね (スコア:1)
これは「作文」のガイドラインではなくて、「書き表し方」のガイドラインですね。 しかもこのガイドラインを厳密に満たす文書なんて少ないのに、 それしか読めないようでは読解力不足と言われても仕方がないのでは？
仕方がないと思うのは、ただのあなたの主観ですね。
そしてガイドラインを厳密に満たす文章だけ読めればよいと、私は書いていません。
例に挙げられた文を、ガイドラインに準拠する文章に書き直してもらえれば、
元の文章より理解しやすくなる、というコメントを紹介しました。
そして、読解力不足というのは、あなたもこの研究グループも大げさな表現で
耳目を引こうといていますね。
正確には「専門的・抽象的な語彙や複雑な言い回しを含む文」を理解する力だけが
足りないとしか、この調査では言えません。
教科書に書かれているのは、世の中でも読みやすく推敲された部類の文章ではないでしょうか。
同意できません。教科書に読みやすい文章も含まれるでしょうが、
調査の問題で使われている文は、書き直すことで読みやすくなります。
恐らく、あなたの考える「読みやすい文章」と私の考える「読みやすい文章」は
異なるのでしょう。
考えが違えば、話もかみ合わないのも当然でしょう。
Re: (スコア:0)
本当に読んで欲しい主題の部分だったら、リンクの記事への返信の様に箇条書きにしますしね。
https://srad.jp/comment/3062241 [srad.jp]
前置きとして添えて、次の段落からオセアニアの宗教についての主題が始まるのであればこの書き方で良いんじゃないかな。
「仏教は」から「オセアニアに、」迄で40文字なので、1行に収めて欲しいですが。
#運転免許の試験対策？
Re:あんま意味ない発表だよね (スコア:1)
Re: (スコア:0)
そもそも、その意見が屁理屈だと認識できない読解力に問題あり。
Re: (スコア:0)
いや、読解力というのは「文書作成者の意図を読み取る力」だと思うので、「この問題文の作成者が考えた正解を選択しなさい」と解釈して選択すればいいだけです。
つまり少々書き方が悪い文書であっても、どう解釈するかを確認するのが目的の試験なのだから、「誰が読んでも正解できる問題文じゃないから無意味」という指摘は何のための試験なのか理解できていないという事になりそうなのですが・・・
# わたしは一度も過ちを犯したことがありません、と言う人をあなたは信じますか
Re:あんま意味ない発表だよね (スコア:1)
この調査における読解力には限定があり、
「専門的・抽象的な語彙や複雑な言い回しを含む文書作成者の意図を読み取る力」となっています。
この試験の目的がそうなら、
人によって印象の異なる、一般的な言葉である、 「基礎読解力」が不足していると書かずに、
「専門的・抽象的な語彙や複雑な言い回しを含む文書作成者の意図を読み取る力」が
不足していると具体的に書くのが誠実な研究結果だと思います。
そう具体的に書いてあるなら、
「誰が読んでも正解できる問題文じゃないから無意味」と思われるようなコメントは書きません。
これもわざとだからな (スコア:0)
ゆとり教育と同じだよ。
若者は駄目だから若者は人権無視の労働させても問題ないと
洗脳する為のものだから。
日テレや産経系列はこういうのが多い。
ドラマでも若者や男性軽視が多い。
こいつらのやっていることは本当に気持ち悪い。
Re: (スコア:0)
これ(#3062345)、書いたのオレだけど、地味に効いたようで、以降の発表では改竄(?)しててちょっと笑った。大したことじゃないが。
https://srad.jp/comment/3062345 [srad.jp]
>Re:義務教育の目標は新聞を読めるようにすること (スコア:0)
>by Anonymous Coward on 2016年08月12日 19時02分 (#3062345)
>まあ、「ヒンドゥー教」または「ヒンズー教」を「ヒンドゥ教」と記述して平気な教授様の考えなど推して知るべし
この中からお前のお父さんとお母さんを見つけな！ (スコア:1)
問題文が
「東南アジア、東アジアでは仏教が、ヨーロッパ、南北アメリカ、
オセアニアではキリスト教が、北アフリカ、西アジア、中央アジア、
東南アジアではイスラム教がおもに広がっている。」
なら迷わず回答できる。仏教とキリスト教とイスラム教の母数が未定義なら
もとの問題に答えをためらうのが普通だろう。逆にこの問題に躊躇なく
答えられるなら、社畜の才能はあってもPGには向かないのでは？
Re: (スコア:0)
以前は回答に時間制限があったようですが，
このプロジェクトの新井教授の最近のツイート [twitter.com]によると，
今般発表したリーディングスキルテストでは、問題に制限時間を設けていません。
とのことなので，どれだけ時間を掛けても当たれば正解扱いされます．
このテストは，読むのに難儀する書類を上司から渡されたとき，
社畜として時間をいとわず，サービス残業になっても必死に読み解こうとする資質を見るのに使えそうです．
調査のオピニオンペーパーの中の疑問点 (スコア:1)
リンク先の文献 新井紀子、尾崎幸謙 (2017): デジタライゼーション時代 に求められる人材育成. NIRA オピニオンペーパー no.31. (PDF) [nira.or.jp] を読もうとしましたが、誤った事実認識が書かれているなど、読み進めるのがつらくなる内容で、半分ほどで読むのを断念しました。
私はこのペーパーを読むことは勧めませんが、これから読む方のために、前半を読んだときに気づいた疑問点を、以下に5点列挙します。また、このペーパーを読むことを勧めた前のコメントのかたの、以下の5点に対するご意見を伺えれば、うれしく思います。
(1) [3ページ目右列]
そんな時代を背景としてAIプロジェクト「ロボットは東 大に入れるか」（通称：東ロボ）は2011年に始まった。 （中略） 1990年代の第5世代コンピューターの手ひどい失敗がトラウマ（心的外傷）となった結果、当時の日本には大型の AIプロジェクトは皆無の状況だった。
90年代以後の人工知能に関するプロジェクトが3つ見つかりました（まだ他にもあるかもしれません）ので、これは誤りです。
+ リアルワールド・コンピューティング・プロジェクト [coocan.jp] (通商産業省 1992-2002)
+ 巨大学術社会情報からの知識発見に関する基礎研究 [kyushu-u.ac.jp] (文部省 科学研究費 特定領域研究（A）1998-2000)
+ 情報洪水時代におけるアクティブマイニングの実現 [osaka-u.ac.jp] （文部省 科学研究費 特定領域研究 2005-2008）
また、東ロボプロジェクトと同時期に別の AI プロジェクトも実施されていて、「当時の日本には大型の AIプロジェクトは皆無の状況だった。」ということはありません。
+ 科学的発見・社会的課題解決に向けた各分野のビッグデータ利活用推進のための次世代アプリケーション技術の創出・高度化 [jst.go.jp] （JST CREST・さきがけ複合領域 2013-）
(2) [5ページ目左列]
われわれは日本数学会と協力し、2011年に5000人を超える大学生に対し、高校1年までに習う数学の中でも、特に基本的な項目をどれだけ理解しているかの調査を行った（日本数学会教育委員会，2013）。その結果、いくつかの課題が見いだされた。例えば、「平均」がもつ意味を正しく理解している大学生は調査対象者の4分の3にとどまることがわかった。
そのような数学の理解度の低さは、そのとき見出された課題ではなく、以前から指摘されています。例えば書籍 分数ができない大学生 (1998) [amazon.co.jp]では、 「大学生の10人のうち2人は小学生の算数ができません。」と指摘され、広く話題になりました。
(3) [5ページ右列]
つまり、AIと最も差別化できるはずの「よく見、よく読み、よく聞き、よく書き、よく話す能力」が教育できておらず、現代のAIに簡単に代替されるような表層的なスキルしか身に着いていないのではないかとの懸念が生じたのである。意味を理解せず表層的に問題を解いただけの東ロボが2015、2016年と2年続けて偏差値57を上回り、高校3年生の上位25％に入ったということも、この仮説が正しいことを示唆するものであった。
この仮説を将棋に当てはめると、「意味を理解せず表層的に将棋を指すAIが現役棋士のほとんどを上回っているので、現役棋士は表層的なスキルしか獲得していない」ことになります。しかし、現役棋士は、将棋に関して表層的なスキル以上の事柄を理解しています。
つまり、この仮説（懸念）は誤った結論を導きます。
(4) [6ページ目左列]
人間は、1日は昼と夜で構成されるという常識に基づき論理的に推論することで、「ヨーロッパは日本より相対的に緯度が高いので、夏の夜の時間が短い」ことがわかるが、常識に欠けるAIにはこのような推論は難しい 。
常識に基づき論理的に推論する AI の過去の研究として次が、このペーパーの2年前に発表されています。よって、このペーパーが書かれた時点で、AI が常識を持って推論することは難しくありません。
G. Angeli and C. D. Manning (2014): NaturalLI: Natural Logic Inference for Common Sense Reasoning [stanford.edu], Proc. EMNLP 2014 (Conference on Empirical Methods in Natural Language Processing).
[概要]
事実（常識）を列挙したデータベースが与えられたとき、未知の出来事の真偽を判定し、真ならデータベースに追加する推論技術の提案。 推論の例：「猫がネズミを食べる」から、「「哺乳類は動物を食べない」が偽である」を導ける。
(5) [6ページ目右列]
次に、図2は、（5）のイメージ同定に分類される、文を表象する正しい図を選ぶ問題例である。
正解は「A」である。こうした問題については、よほどフ レームを限定しないと機械に解かせることは困難だろう。
SAT (アメリカの大学進学適性試験)の図形の問題を、手を加えずにコンピュータで自動的に解くという、次の研究が、このペーパーの1年前に公表されています。このためこのペーパーが書かれた時点で、図形の問題を機械に自動的に解かせるのが困難といえるか、疑問です。
M. Seo et al. (2015): Solving Geometry Problems: Combining Text and Diagram Interpretation [allenai.org], Proc. EMNLP 2015 (Conference on Empirical Methods in Natural Language Processing).
Re: (スコア:0)
このレベルの問題に正解できない学生がいるのは問題だ！と思う人は100%を基準に考えるだろうし、
正解しない学生がいてもいいんじゃない？と思う人は程度問題だと判断するんだろうね。
「数学なんか勉強しても何一つ人生の役に立たない」と言うような人達と同じで、
この手の文章が読めることが大事だという考えを持つことができない人達も相当数いるということなんだと思う。
Re: (スコア:0)
この問題は空欄で提出するのが正解じゃないのかな？
文中の「おもに広がっている」と出題文の「広がっている」を厳密に区別する読解力を試す問題と見た。
Re: (スコア:0)
「最も適当なもの」を選べという問題なんですけど。
Re: (スコア:0)
わざわざ解答選択肢に「 」を入れてあるのにそれ言うの？
Re: (スコア:0)
この人にはA,B,C,D以外の選択肢が見えているのか？
Re: (スコア:0)
彼には全てが不正解の場合や、正解が複数ある場合の選択肢が見えているんじゃないすかね。
この問題なら回答欄に書くのは「A」、「ヒンドゥー教」、「A．ヒンドゥー教」どのパターンでもいいんじゃないかな？
「アルファベットで答えよ」とも「A.B.C.D.の何れかで答えよ」とも書いてないんだよね。
「最も適当なもの」とあるから、省略すると不正解にする気満々だとか・・・・。
(出題に不要な修飾が含まれ、更に同じ意味の正解が複数パターン発生するのはダメダメじゃないかと思いつつ)
(前提文と出題文で、同じ事を示すのに別の言葉を意図せずに使っているなら更にダメダメだし)
(それとも「オセアニアにおもに広がっているのは（ ）である。」にしなかった意味を考えろって出題？)
#いや、これはベストオブテキトーで解答しなければならず。全回答者の内
#最もテキトーに答えた１人だけが正解者になる問題だよきっと。
Re: (スコア:0)
こういうダメな人を検出するのに良い問題だったということですね。
Re: (スコア:0)
「この文脈において」の意味が読解出来ない人来たな
Re: (スコア:0)
「キリスト教はヨーロッパ、南北アメリカ、オセアニアにおもに広がっている」という文章からは、ヨーロッパ、南北アメリカ、オセアニア以外にもキリスト教が広まっている地域があると読めるわけで、この文章を前提にするのならば「オセアニアに広がっているのは（ ）である。」のカッコ内にはキリスト教しか入らないのでは。