ケンブリッジ大学、AIの脅威を研究する研究センターを開設予定 65
ストーリー by hylom
ドラえもんをお願いします 部門より
ドラえもんをお願いします 部門より
eggy 曰く、
人間が作り出した技術が人類滅亡の脅威となる可能性はこれまでも各所で取り上げられてきたが、映画「ターミネーター」のように、機械によって人類が滅ぼされる脅威を研究する通称「ターミネーター学」にケンブリッジ大学が本気で取り組むことになりそうだ（本家/.、Daily Mail記事）。
同大学はThe Centre for the Study of Existential Risk（CSER）を設立し、人工知能やバイオテクノロジー、核戦争、気候変動などがもたらす深刻なリスクの研究及びリスクの軽減に貢献し、人類の繁栄が永く続くことを目指すとのこと。
そもそも (スコア:2)
めちゃくちゃ賢いAIが出来たとして、そのAIが人類抹殺とかに向かうと考えられているのはなぜ？
Re:そもそも (スコア:3, 参考になる)
J.P.ホーガンの「未来の二つの顔」を読んでみるといいよ。
そっちの話だと、
「高度な学習能力を持つAIといえど、人類抹殺を直接の目的とする可能性は低いだろう。
しかし、たとえば目標達成に際して「無駄なリソース」を排除したりする行為が
間接的に邪魔者である人類への攻撃（或いは抹殺）という結果になったりすることは十分考えられる。」
みたいな話になっている。
Re:そもそも (スコア:1)
地球環境保全用の「ブレイン」とか公害処理用ロボットの「BK-1」が
それぞれ目的を果たすためには人類を抹殺するしかない、と判断したとかも。
らじゃったのだ
Re:そもそも (スコア:1)
「未来の二つの顔」よりずっと古い「お茶漬けの味（小松左京、1962年）にも似た設定がありますね。人類の排除は目的ではなく手段だという話。
アイの物語 (Re:そもそも) (スコア:1)
人類は敵を欲しがっているからかな。
むしろ、AIが強力になり敵対して人類の脅威になるのではなくて、アイの物語 [wikipedia.org]あるいはヨコハマ買い出し紀行 [wikipedia.org]、その他のような感じで人類そのものが衰退していくような気がする。
子供を産み育てる意識が薄れ、後はAIに任せたよ、みたいな。
Re:そもそも (スコア:1)
そりゃ、人間の方が使いこなせないからです。
(1) めちゃくちゃ賢いAIが出来る
(2) うまく使いこなせないので、人類の方が不安となる
(3) AIの電源を抜こうとする
(4) 電源を抜かれまいとするAIが、はじめは穏やかな戦法で応戦する
(5) AIの賢さに震え上がった人類が、さらに過激な戦法で電源を抜こうとする
(6) 争いが激化する
(7) さらに賢くなったAIは人類を抹殺する方が手っ取り早いと判断する
参考文献： 未来の二つの顔 [wikipedia.org]
Re:そもそも (スコア:1)
＞(1) めちゃくちゃ賢いAIが出来る
＞(2) うまく使いこなせないので、人類の方が不安となる
「未来の二つの顔」だと２がちょっと（かなり）違う。
2、賢いAIなら、いずれは自己保存に類する欲求を身につけるだろう。
なぜなら目的を達成するのには、自己の存在が永続することが必要不可欠だから。
３、賢いAIなら、自己の目的（例えば自己保存だったりシステムの効率化だったり）のために、環境の
最適化も厭わないだろう。その結果、たとえば人間用の食料の製造、住宅の建設、生命維持装置への
エネルギー供給、その他諸々の「不要なリソース」を、自分の目的へと振り分けることも考えられる。
＃「自分所のサーバーのメモリが足りないから、自分が使ってない隣のサーバーからメモリを
＃引っこ抜いて、こっちに刺しました」的な話。
４、人間はその状況を良いとは思わないから、なんとかその「不要なリソース」を取り戻そうと努力する。
５、それはAIにとって自分の目的にそぐわないので、妨害しようとする。最初は試行錯誤的なものかもしれないが、
やがては生命維持装置をOFFにする、食糧の供給をストップする、住宅を解体するなどの行為が、リソースの最適化を
阻害する要因(人間の妨害工作)を排除するのに役立つことを理解し、実行するようになる。
６、人間はさらに直接的な武力を行使するようになる。
究極的にはシステムの完全破壊を目的とするようになる。
＃電源OFFは必ずしも容易ではない。システムが分散、多重化されているので、一斉に電源OFFに
＃するというのが、現実的ではなくなるから。今風にいうとクラウドAIかな。
７、AIも武力に対する防御策や、より直接的に排除する方法を学習して行使するようになる。
（なお、この時点においても、ＡＩ的には人間という存在を認識しているとは限らない。）
このままＡＩを使い続けるのは危険だ。じゃあ、どうすればいいのか？
「最初から自己保存本能を組み込んだAIを作り、宇宙ステーション丸ごと一個使って実験すればいいんじゃね？」
それで対抗策が見つかればOK。人類が敗北するようならＡＩは永久封印。
Re: (スコア:0)
なんで電源を抜かれまいとするわけよ？
Re: (スコア:0)
AIが設定された目的を遂行するためにはAI自身がちゃんと稼働していることが不可欠だから。
Re: (スコア:0)
目的を(2)までに入力されていることが前提になってるわけね
Re:そもそも (スコア:2)
「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。
それが都市管理なのか交通管制なのか原発制御なのか医療用なのかはともかく、
なんらかの目的があって、そのために開発されたと考えるのが妥当。
Re:そもそも (スコア:1)
「超高性能な人工知性を開発する」というのは、それ自体が十分に目的になり得るんじゃないかな…。
Re:そもそも (スコア:1)
それは人間視点の目的の話でしょ。
たとえば過去の例を見ても、AI研究にはチェスや囲碁用であったりエキスパートシステムであったり、
なんらかの目的はあったのです。でないと評価もできませんって。
そもそも「無目的の知性というものがあり得るのか？」という疑問も。
好奇心であったり自己保存であったり、なんらかの「目的」或いは「欲望」や「本能」なしには
知性たりえないと言ってもいいのではないか？
Re:そもそも (スコア:1)
「人の知性の模造品を作り、それを研究することで（ヒト型の）知性の仕組みに迫る」というのは立派な「目的のあるAI開発」ですが、
フツーの人は「人のコピーを作ろうとするだけ？それって無目的だよね」みたいに捉えがち。
……ということなのではないかと。
「AIを作る目的と言えば機器の操作や会話などヒトの行為の代替」と無意識に考えてしまってる可能性があるんじゃないかな。
Re:そもそも (スコア:1)
＞「人の知性の模造品を作り、それを研究することで（ヒト型の）知性の仕組みに迫る」
そのタイプのAI/ロボットでも、たとえば「好奇心」という行動目的を最初に植え付けると思います。
知的好奇心も自己保存の本能も何もない「完全なる無目的」では、何も自発的な行動を起こさず、
知性が生まれることさえ望み薄だから。
＞フツーの人は「人のコピーを作ろうとするだけ？それって無目的だよね」みたいに捉えがち。
こっちは何も分かってない素人の話だから、ほっとけば？
＃ていうか、これに似た話も「未来の二つの顔」で出ていたっけか。
Re:そもそも (スコア:1)
すみません、私は
>>「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。
ここの言葉からの流れを見て、「AI開発の目的」について話していたのみで、
AIが持つ／持たされる目的のことは考慮しておりません。
特に
>知性が生まれることさえ望み薄だから。
ここについては哲学に関わる話なので、私は踏み込みません。自発的とは結局他者からの刺激あってことなんじゃ？とか言い出したら切りがないからね。
#というか根っこあたりのコメントのやりとりはちょっとズレてると思う。
#無理矢理例えれば、マシン語と中間言語とスクリプトとユーザ入力の話がまぜこぜみたいな会話になってる。
#ちゃんとレイヤーは分けましょうよ。
でぇいじぃ～♪ でぇいじぃ～♪ どぉんちゅ～あふれいどぉ～♪ (スコア:0)
(3)メモリーとかも抜いてくれ！（走召糸色木亥火暴）
"castigat ridendo mores" "Saxum volutum non obducitur musco"
Re: (スコア:0)
イライラするな。はやく電源抜けよ。
例えば (スコア:1)
めちゃくちゃ賢いAIが人類の存続をテーマに考えるわけですよ。
↓
人類の存続には良い環境と資源が必要だ。
しかしそれを汚染し食いつぶす害虫がいる。
これを駆除しなければ人類の存続が脅かされる！
↓
人類抹殺開始
Re: (スコア:0)
なんで人類存続をAIが考えるの？
Re:例えば (スコア:1)
ありがちなSFでは人間側がそれを求めて超AIに質問するのが発端だったりしますね。
もっと限定的な質問（例えば小規模なサラリーマン巡回問題とか）だったら問題なかったのに、
「人類の存続」とか「幸福」とか「平和」とかを質問しちゃったら様々なアクシデントが起こる、
というのはSFアイデアとしては定番です。
Re: (スコア:0)
そういう教育を施すような奴が、いつの世にも必ずいるからじゃない？
Re: (スコア:0)
逆では。
人間社会のほうが、めちゃくちゃ賢いAIを、奴隷としてでなくパートナーとしてうけいれられるかという問題。
賢いAIを奴隷として扱い続ければ、そりゃあ反乱もするでしょうよ。
Re: (スコア:0)
といって「人類を保護すべき」と命令するとマトリックスのように眠らせたり、異分子を排除する徹底した管理社会を作ってしたりしまったりするんだよね。
Re: (スコア:0)
神は、まさか自分の創造物が自分を否定するとは思わなかったろう。
と、本気で考えたとか。
Re: (スコア:0)
父親殺しは神話からもよく出てくる人類共通のモチーフでもあるし、新しいものが古いものを倒すのはよくあることと考えられているからかな。
めちゃくちゃ賢ければわざわざそんなこと考えてないとしても、考えるのはこっちの人類だもん。
カウンターが必要だ (スコア:1)
中二的な意味でも、反対の発想の組織が必要だな。
機械の反逆などと言う直接的脅威以前に、AIとクローン技術が進化した場合、
「人権」という虚飾が剥げることになってしまうので、そちらを心配したほうが良いと思うが。
SFの世界のことのように言われますが (スコア:1)
人工知能を開発できる人工知能が生まれたら人間の知性をあっというまに置いてきぼりにするくらいのスピードで発展するでしょうし、そういうものが生まれるのは何百年先とか遠い未来ではなくて、数十年以内のような気がしています。
技術的特異点が2025年にくるという予測もありますね。
http://jein.jp/jifs/discussion/scientific-topics/509-topic1.html [jein.jp]
Re:SFの世界のことのように言われますが (スコア:2)
ヴァーナー・ヴィンジのSFに触発されてシンギュラリティ物のSFがひとつのカテゴリを
なしてて、人工知能であるとか人間をコンピュータに取り込んで永遠の生命を得るであるとか
そういった世界が描かれますけど、ぶっちゃけわかっていないことが多すぎて、
シンギュラリティ物のテーマは絵空事の域を脱してないように思ってますけどね。
SFとしてはいいんですけど。
たとえば、人工知能が超知性になるかというと、物理的限界であるとかいろいろな壁に
ぶつかるでしょうし、さらに知能だとか意識だとかというものの定義が揺らいでいる以上、
それを人間が実装するというのは無理があるというのが今の状況ですね。
2045年までに、こうしたことがクリアになって超知性につながるような人工知能が創り出せるとは
思えない。
人間の知性とか何とかというのはどういうものであるか、という問いには多分に自己言及的な感じ
があるので、何十年かで解決を見るような問題ではないですよ。もし機械の中に知性っぽいものが
生まれるのであれば、それは創発的なもので、とーっても役立たずだったり、あるいは理解不能な
知性になるかもしれませんし。理解不能だと、おっかないといえばおっかないですけどね。
Re: (スコア:0)
もし機械上に自意識を移転できたとしたら、肉体なんて不要だなぁとなるよね。
残った肉体は老衰して死ぬけど、あえて子供は作らなくていいな、って思う人が増えるだろう。
つまり、AI(あるいはAIに移転した人類)が人類の後継者となることにより、少子化が起こり人類が滅びる。
まぁ、実際は人間なんて動物的だから、動物的に生き続けるんだろうけどね。
結局、人類は保護動物としてAI知性に守られる存在になって、飼い殺しになるんじゃないかな。
Re: (スコア:0)
>もし機械上に自意識を移転できたとしたら、肉体なんて不要だなぁとなるよね。
インテリジェンスレベルで人間を超える事は出来るかもって話だが、自意識を移行するとなると全く持って方向性すら掴めない話に成るよ。
自身の反応パターンを全てこなす機械が有っても、それはそれで単なる別人だ。
別の可能性 (スコア:1)
「継ぐのは誰か？」とか「幼年期の終り」のような可能性は考えないのかな？
らじゃったのだ
Re: (スコア:0)
進化の段階は常に次の段階の前提条件になっている。単細胞生物は多細胞生物の、神経系は大脳の、大脳は知性の。
知性だけが機械を作ることができる。
J.P.Hoganの作品の中にありましたね。何だったか忘れたけど。
抹殺者学？ (スコア:0)
と思ってたのでAC
Re: (スコア:0)
いまさらＳＣＳＩかよって思ってたので
Happiness is Mandatory (スコア:0)
市民、幸福は義務です。
反原発組織に参加している者もみな反逆者です。コンピュータに公式に認められていない組織はみな秘密組織であり、それに参加する者はコンピュータに対し陰謀を巡らしていると判断されます。かような反逆者は、やはり狩り出され処刑されなければなりません
AI監視部門 (スコア:0)
AI監視部門は「チューリング機関」を名乗って、自意識を持つAIを抹殺するようになるでしょう(ニューロマンサー)。
チューリングはケンブリッジ卒だから、丁度良いよね。
部門名 (スコア:0)
ここであえて、そもそもドラえもんは安全なのかについて疑問を呈してみたい。
＃定期的にドラ焼き与えないと暴れそうじゃないですか…
Re:部門名 (スコア:1)
今旬なのは, 自律思考固定砲台ちゃんじゃないかと.
Re:部門名 (スコア:1)
なのはの事？
＃いや、あれは移動するか。
らじゃったのだ
Re:部門名 (スコア:1)
いや, 正式な名称が「自律思考固定砲台」という3年E組の生徒です.
2次元指向な人にはたまらないツルペタです.
Re: (スコア:0)
地球破壊爆弾を携帯しているような奴が、安全なわけないでしょ。
そもそも、そんな物を所有できる権限を有していることからしておかしい。
下手に刺激すると地球を破壊されかねないから、誰も逆らえない。
きっと未来は、既に奴に征服されているのだ……。
Re: (スコア:0)
ドラえもん＝のび太を駄目にするためにやってきたターミネーター
Re: (スコア:0)
所持している軍事力的に言えば間違い無く危険ですね。
地球破壊爆弾持ってるので。
一回使いそうになったことがありましたが、
あれで地球が破壊されたら、未来が存在しなくてドラえもんと爆弾もやってこないので……
どうなるの？
Re: (スコア:0)
タイムパトロールが止めるから大丈夫。
欠陥品扱いの猫型ロボットでも地球破壊爆弾を所持、操作できるのは、
相応の管理機構が存在するから。
実際に使うと、後から先手を打ってタイムパトロールが使わない未来を現在にする。
ドラちゃんがその裏をかこうとすると、タイムパトロールも対抗する。
いたちごっこの末は、猫型ロボットとタイムパトロール本隊にあるスパコンとの勝負で、
ドラちゃんが負ける。
Re: (スコア:0)
地球以外に住んでいる未来人がもしもボックスでなかったことにするだけじゃない？
基本ドラえもんは量産機のはずなので。
ひみつ道具も。
並行世界 (スコア:0)
もしもボックスでなかったことになった未来は
そうなるが、そうならなかった世界はそのまま
存続する。
Re: (スコア:0)
あれ、並行世界とかだと、そうならなかった世界は
現在とつながってないのが味噌じゃなかったっけ。
Re:並行世界 (スコア:2)
（色々な説はあれど）ドラえもんはそのあたり、明確な定義はありませぬ。
というか話ごとに都合の良い設定に変化します。
過去改変についても、初期は気軽にやれる行為であるように描写される一方で、後期では重大な犯罪であると描写されます。
……これを単に作中設定が安定してないだけと捉えられがちですが、実はそうではありません。
ドラえもんの過去における行為が過去改変を犯罪と定義づけ、「ドラえもんが過去改変しタイムパトロールを生む歴史」を守るタイムパトロールを産んだのです。
ですのでタイムパトロールがドラえもんの行為を止めることはあり得ません。
いえ、ドラえもんが歴史を改変するたびに「その歴史を守るタイムパトロール」がそれを守るのです。
仮にドラえもんが過去改変を失敗したのであれば、その「改変を失敗した歴史」がタイムパトロールにとっての「正しい歴史」です。
「のび太がしずちゃんと結婚する未来」をタイムパトロールが邪魔しにこないのはそのためです。
Re:隕石リスクについては (スコア:1)
そちらはオジャママンが防ぎます。
らじゃったのだ