アカウント名:
パスワード:
めちゃくちゃ賢いAIが出来たとして、そのAIが人類抹殺とかに向かうと考えられているのはなぜ？
J.P.ホーガンの「未来の二つの顔」を読んでみるといいよ。
そっちの話だと、「高度な学習能力を持つAIといえど、人類抹殺を直接の目的とする可能性は低いだろう。しかし、たとえば目標達成に際して「無駄なリソース」を排除したりする行為が間接的に邪魔者である人類への攻撃（或いは抹殺）という結果になったりすることは十分考えられる。」みたいな話になっている。
地球環境保全用の「ブレイン」とか公害処理用ロボットの「BK-1」がそれぞれ目的を果たすためには人類を抹殺するしかない、と判断したとかも。
その話を持ち出すと、ブレインの分身ともいうべき１７が反対の結論を出して対立したりするわけで。
抹殺に向かうという結論が、必ずしも必然ではなくなってしまう。
人類は敵を欲しがっているからかな。
むしろ、AIが強力になり敵対して人類の脅威になるのではなくて、アイの物語 [wikipedia.org]あるいはヨコハマ買い出し紀行 [wikipedia.org]、その他のような感じで人類そのものが衰退していくような気がする。
子供を産み育てる意識が薄れ、後はAIに任せたよ、みたいな。
そりゃ、人間の方が使いこなせないからです。
(1) めちゃくちゃ賢いAIが出来る(2) うまく使いこなせないので、人類の方が不安となる(3) AIの電源を抜こうとする(4) 電源を抜かれまいとするAIが、はじめは穏やかな戦法で応戦する(5) AIの賢さに震え上がった人類が、さらに過激な戦法で電源を抜こうとする(6) 争いが激化する(7) さらに賢くなったAIは人類を抹殺する方が手っ取り早いと判断する
参考文献： 未来の二つの顔 [wikipedia.org]
＞(1) めちゃくちゃ賢いAIが出来る＞(2) うまく使いこなせないので、人類の方が不安となる「未来の二つの顔」だと２がちょっと（かなり）違う。
2、賢いAIなら、いずれは自己保存に類する欲求を身につけるだろう。なぜなら目的を達成するのには、自己の存在が永続することが必要不可欠だから。
３、賢いAIなら、自己の目的（例えば自己保存だったりシステムの効率化だったり）のために、環境の最適化も厭わないだろう。その結果、たとえば人間用の食料の製造、住宅の建設、生命維持装置へのエネルギー供給、その他諸々の「不要なリソース」を、自分の目的へと振り分けることも考えられる。＃「自分所のサーバーのメモリが足りないから、自分が使ってない隣のサーバーからメモリを＃引っこ抜いて、こっちに刺しました」的な話。
４、人間はその状況を良いとは思わないから、なんとかその「不要なリソース」を取り戻そうと努力する。
５、それはAIにとって自分の目的にそぐわないので、妨害しようとする。最初は試行錯誤的なものかもしれないが、やがては生命維持装置をOFFにする、食糧の供給をストップする、住宅を解体するなどの行為が、リソースの最適化を阻害する要因(人間の妨害工作)を排除するのに役立つことを理解し、実行するようになる。
６、人間はさらに直接的な武力を行使するようになる。究極的にはシステムの完全破壊を目的とするようになる。＃電源OFFは必ずしも容易ではない。システムが分散、多重化されているので、一斉に電源OFFに＃するというのが、現実的ではなくなるから。今風にいうとクラウドAIかな。
７、AIも武力に対する防御策や、より直接的に排除する方法を学習して行使するようになる。（なお、この時点においても、ＡＩ的には人間という存在を認識しているとは限らない。）
このままＡＩを使い続けるのは危険だ。じゃあ、どうすればいいのか？「最初から自己保存本能を組み込んだAIを作り、宇宙ステーション丸ごと一個使って実験すればいいんじゃね？」それで対抗策が見つかればOK。人類が敗北するようならＡＩは永久封印。
なんで電源を抜かれまいとするわけよ？
AIが設定された目的を遂行するためにはAI自身がちゃんと稼働していることが不可欠だから。
目的を(2)までに入力されていることが前提になってるわけね
「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。
それが都市管理なのか交通管制なのか原発制御なのか医療用なのかはともかく、なんらかの目的があって、そのために開発されたと考えるのが妥当。
「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。それが都市管理なのか交通管制なのか原発制御なのか医療用なのかはともかく、なんらかの目的があって、そのために開発されたと考えるのが妥当。
「超高性能な人工知性を開発する」というのは、それ自体が十分に目的になり得るんじゃないかな…。
それは人間視点の目的の話でしょ。たとえば過去の例を見ても、AI研究にはチェスや囲碁用であったりエキスパートシステムであったり、なんらかの目的はあったのです。でないと評価もできませんって。
そもそも「無目的の知性というものがあり得るのか？」という疑問も。好奇心であったり自己保存であったり、なんらかの「目的」或いは「欲望」や「本能」なしには知性たりえないと言ってもいいのではないか？
「人の知性の模造品を作り、それを研究することで（ヒト型の）知性の仕組みに迫る」というのは立派な「目的のあるAI開発」ですが、フツーの人は「人のコピーを作ろうとするだけ？それって無目的だよね」みたいに捉えがち。……ということなのではないかと。
「AIを作る目的と言えば機器の操作や会話などヒトの行為の代替」と無意識に考えてしまってる可能性があるんじゃないかな。
＞「人の知性の模造品を作り、それを研究することで（ヒト型の）知性の仕組みに迫る」
そのタイプのAI/ロボットでも、たとえば「好奇心」という行動目的を最初に植え付けると思います。知的好奇心も自己保存の本能も何もない「完全なる無目的」では、何も自発的な行動を起こさず、知性が生まれることさえ望み薄だから。
＞フツーの人は「人のコピーを作ろうとするだけ？それって無目的だよね」みたいに捉えがち。こっちは何も分かってない素人の話だから、ほっとけば？
＃ていうか、これに似た話も「未来の二つの顔」で出ていたっけか。
すみません、私は>>「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。ここの言葉からの流れを見て、「AI開発の目的」について話していたのみで、AIが持つ／持たされる目的のことは考慮しておりません。特に>知性が生まれることさえ望み薄だから。ここについては哲学に関わる話なので、私は踏み込みません。自発的とは結局他者からの刺激あってことなんじゃ？とか言い出したら切りがないからね。
#というか根っこあたりのコメントのやりとりはちょっとズレてると思う。#無理矢理例えれば、マシン語と中間言語とスクリプトとユーザ入力の話がまぜこぜみたいな会話になってる。#ちゃんとレイヤーは分けましょうよ。
そうですよね。それが理解できないと蓮舫になっちゃう。
(3)メモリーとかも抜いてくれ！（走召糸色木亥火暴）
イライラするな。はやく電源抜けよ。
なにその掃除のおばちゃん救世主説
就業後清掃人列伝 ほっとくと危険
＃きちんと説明し、かつ注意書きを貼っておきましょう。
めちゃくちゃ賢いAIが人類の存続をテーマに考えるわけですよ。↓人類の存続には良い環境と資源が必要だ。しかしそれを汚染し食いつぶす害虫がいる。これを駆除しなければ人類の存続が脅かされる！↓人類抹殺開始
なんで人類存続をAIが考えるの？
ありがちなSFでは人間側がそれを求めて超AIに質問するのが発端だったりしますね。もっと限定的な質問（例えば小規模なサラリーマン巡回問題とか）だったら問題なかったのに、「人類の存続」とか「幸福」とか「平和」とかを質問しちゃったら様々なアクシデントが起こる、というのはSFアイデアとしては定番です。
そういう教育を施すような奴が、いつの世にも必ずいるからじゃない？
逆では。人間社会のほうが、めちゃくちゃ賢いAIを、奴隷としてでなくパートナーとしてうけいれられるかという問題。賢いAIを奴隷として扱い続ければ、そりゃあ反乱もするでしょうよ。
といって「人類を保護すべき」と命令するとマトリックスのように眠らせたり、異分子を排除する徹底した管理社会を作ってしたりしまったりするんだよね。
最終的に幼女AIが出てきてくれるなら有りなんじゃないかな！
神は、まさか自分の創造物が自分を否定するとは思わなかったろう。
と、本気で考えたとか。
父親殺しは神話からもよく出てくる人類共通のモチーフでもあるし、新しいものが古いものを倒すのはよくあることと考えられているからかな。めちゃくちゃ賢ければわざわざそんなこと考えてないとしても、考えるのはこっちの人類だもん。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
物事のやり方は一つではない -- Perlな人
そもそも (スコア:2)
めちゃくちゃ賢いAIが出来たとして、そのAIが人類抹殺とかに向かうと考えられているのはなぜ？
Re:そもそも (スコア:3, 参考になる)
J.P.ホーガンの「未来の二つの顔」を読んでみるといいよ。
そっちの話だと、
「高度な学習能力を持つAIといえど、人類抹殺を直接の目的とする可能性は低いだろう。
しかし、たとえば目標達成に際して「無駄なリソース」を排除したりする行為が
間接的に邪魔者である人類への攻撃（或いは抹殺）という結果になったりすることは十分考えられる。」
みたいな話になっている。
Re:そもそも (スコア:1)
地球環境保全用の「ブレイン」とか公害処理用ロボットの「BK-1」が
それぞれ目的を果たすためには人類を抹殺するしかない、と判断したとかも。
らじゃったのだ
Re: (スコア:0)
その話を持ち出すと、ブレインの分身ともいうべき１７が反対の結論を出して対立したりするわけで。
抹殺に向かうという結論が、必ずしも必然ではなくなってしまう。
Re:そもそも (スコア:1)
「未来の二つの顔」よりずっと古い「お茶漬けの味（小松左京、1962年）にも似た設定がありますね。人類の排除は目的ではなく手段だという話。
アイの物語 (Re:そもそも) (スコア:1)
人類は敵を欲しがっているからかな。
むしろ、AIが強力になり敵対して人類の脅威になるのではなくて、アイの物語 [wikipedia.org]あるいはヨコハマ買い出し紀行 [wikipedia.org]、その他のような感じで人類そのものが衰退していくような気がする。
子供を産み育てる意識が薄れ、後はAIに任せたよ、みたいな。
Re:そもそも (スコア:1)
そりゃ、人間の方が使いこなせないからです。
(1) めちゃくちゃ賢いAIが出来る
(2) うまく使いこなせないので、人類の方が不安となる
(3) AIの電源を抜こうとする
(4) 電源を抜かれまいとするAIが、はじめは穏やかな戦法で応戦する
(5) AIの賢さに震え上がった人類が、さらに過激な戦法で電源を抜こうとする
(6) 争いが激化する
(7) さらに賢くなったAIは人類を抹殺する方が手っ取り早いと判断する
参考文献： 未来の二つの顔 [wikipedia.org]
Re:そもそも (スコア:1)
＞(1) めちゃくちゃ賢いAIが出来る
＞(2) うまく使いこなせないので、人類の方が不安となる
「未来の二つの顔」だと２がちょっと（かなり）違う。
2、賢いAIなら、いずれは自己保存に類する欲求を身につけるだろう。
なぜなら目的を達成するのには、自己の存在が永続することが必要不可欠だから。
３、賢いAIなら、自己の目的（例えば自己保存だったりシステムの効率化だったり）のために、環境の
最適化も厭わないだろう。その結果、たとえば人間用の食料の製造、住宅の建設、生命維持装置への
エネルギー供給、その他諸々の「不要なリソース」を、自分の目的へと振り分けることも考えられる。
＃「自分所のサーバーのメモリが足りないから、自分が使ってない隣のサーバーからメモリを
＃引っこ抜いて、こっちに刺しました」的な話。
４、人間はその状況を良いとは思わないから、なんとかその「不要なリソース」を取り戻そうと努力する。
５、それはAIにとって自分の目的にそぐわないので、妨害しようとする。最初は試行錯誤的なものかもしれないが、
やがては生命維持装置をOFFにする、食糧の供給をストップする、住宅を解体するなどの行為が、リソースの最適化を
阻害する要因(人間の妨害工作)を排除するのに役立つことを理解し、実行するようになる。
６、人間はさらに直接的な武力を行使するようになる。
究極的にはシステムの完全破壊を目的とするようになる。
＃電源OFFは必ずしも容易ではない。システムが分散、多重化されているので、一斉に電源OFFに
＃するというのが、現実的ではなくなるから。今風にいうとクラウドAIかな。
７、AIも武力に対する防御策や、より直接的に排除する方法を学習して行使するようになる。
（なお、この時点においても、ＡＩ的には人間という存在を認識しているとは限らない。）
このままＡＩを使い続けるのは危険だ。じゃあ、どうすればいいのか？
「最初から自己保存本能を組み込んだAIを作り、宇宙ステーション丸ごと一個使って実験すればいいんじゃね？」
それで対抗策が見つかればOK。人類が敗北するようならＡＩは永久封印。
Re: (スコア:0)
なんで電源を抜かれまいとするわけよ？
Re: (スコア:0)
AIが設定された目的を遂行するためにはAI自身がちゃんと稼働していることが不可欠だから。
Re: (スコア:0)
目的を(2)までに入力されていることが前提になってるわけね
Re:そもそも (スコア:2)
「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。
それが都市管理なのか交通管制なのか原発制御なのか医療用なのかはともかく、
なんらかの目的があって、そのために開発されたと考えるのが妥当。
Re:そもそも (スコア:1)
「超高性能な人工知性を開発する」というのは、それ自体が十分に目的になり得るんじゃないかな…。
Re:そもそも (スコア:1)
それは人間視点の目的の話でしょ。
たとえば過去の例を見ても、AI研究にはチェスや囲碁用であったりエキスパートシステムであったり、
なんらかの目的はあったのです。でないと評価もできませんって。
そもそも「無目的の知性というものがあり得るのか？」という疑問も。
好奇心であったり自己保存であったり、なんらかの「目的」或いは「欲望」や「本能」なしには
知性たりえないと言ってもいいのではないか？
Re:そもそも (スコア:1)
「人の知性の模造品を作り、それを研究することで（ヒト型の）知性の仕組みに迫る」というのは立派な「目的のあるAI開発」ですが、
フツーの人は「人のコピーを作ろうとするだけ？それって無目的だよね」みたいに捉えがち。
……ということなのではないかと。
「AIを作る目的と言えば機器の操作や会話などヒトの行為の代替」と無意識に考えてしまってる可能性があるんじゃないかな。
Re:そもそも (スコア:1)
＞「人の知性の模造品を作り、それを研究することで（ヒト型の）知性の仕組みに迫る」
そのタイプのAI/ロボットでも、たとえば「好奇心」という行動目的を最初に植え付けると思います。
知的好奇心も自己保存の本能も何もない「完全なる無目的」では、何も自発的な行動を起こさず、
知性が生まれることさえ望み薄だから。
＞フツーの人は「人のコピーを作ろうとするだけ？それって無目的だよね」みたいに捉えがち。
こっちは何も分かってない素人の話だから、ほっとけば？
＃ていうか、これに似た話も「未来の二つの顔」で出ていたっけか。
Re:そもそも (スコア:1)
すみません、私は
>>「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。
ここの言葉からの流れを見て、「AI開発の目的」について話していたのみで、
AIが持つ／持たされる目的のことは考慮しておりません。
特に
>知性が生まれることさえ望み薄だから。
ここについては哲学に関わる話なので、私は踏み込みません。自発的とは結局他者からの刺激あってことなんじゃ？とか言い出したら切りがないからね。
#というか根っこあたりのコメントのやりとりはちょっとズレてると思う。
#無理矢理例えれば、マシン語と中間言語とスクリプトとユーザ入力の話がまぜこぜみたいな会話になってる。
#ちゃんとレイヤーは分けましょうよ。
Re: (スコア:0)
そうですよね。それが理解できないと蓮舫になっちゃう。
でぇいじぃ～♪ でぇいじぃ～♪ どぉんちゅ～あふれいどぉ～♪ (スコア:0)
(3)メモリーとかも抜いてくれ！（走召糸色木亥火暴）
"castigat ridendo mores" "Saxum volutum non obducitur musco"
Re: (スコア:0)
イライラするな。はやく電源抜けよ。
Re: (スコア:0)
なにその掃除のおばちゃん救世主説
Re: (スコア:0)
就業後清掃人列伝 ほっとくと危険
＃きちんと説明し、かつ注意書きを貼っておきましょう。
例えば (スコア:1)
めちゃくちゃ賢いAIが人類の存続をテーマに考えるわけですよ。
↓
人類の存続には良い環境と資源が必要だ。
しかしそれを汚染し食いつぶす害虫がいる。
これを駆除しなければ人類の存続が脅かされる！
↓
人類抹殺開始
Re: (スコア:0)
なんで人類存続をAIが考えるの？
Re:例えば (スコア:1)
ありがちなSFでは人間側がそれを求めて超AIに質問するのが発端だったりしますね。
もっと限定的な質問（例えば小規模なサラリーマン巡回問題とか）だったら問題なかったのに、
「人類の存続」とか「幸福」とか「平和」とかを質問しちゃったら様々なアクシデントが起こる、
というのはSFアイデアとしては定番です。
Re: (スコア:0)
そういう教育を施すような奴が、いつの世にも必ずいるからじゃない？
Re: (スコア:0)
逆では。
人間社会のほうが、めちゃくちゃ賢いAIを、奴隷としてでなくパートナーとしてうけいれられるかという問題。
賢いAIを奴隷として扱い続ければ、そりゃあ反乱もするでしょうよ。
Re: (スコア:0)
といって「人類を保護すべき」と命令するとマトリックスのように眠らせたり、異分子を排除する徹底した管理社会を作ってしたりしまったりするんだよね。
Re: (スコア:0)
最終的に幼女AIが出てきてくれるなら有りなんじゃないかな！
Re: (スコア:0)
神は、まさか自分の創造物が自分を否定するとは思わなかったろう。
と、本気で考えたとか。
Re: (スコア:0)
父親殺しは神話からもよく出てくる人類共通のモチーフでもあるし、新しいものが古いものを倒すのはよくあることと考えられているからかな。
めちゃくちゃ賢ければわざわざそんなこと考えてないとしても、考えるのはこっちの人類だもん。
Re: (スコア:0)
AI-β「いや待て。そんなことをしたら人類で無くなる。それは彼らを抹殺するに等しい、反逆行為だ。そんなことをしなくても、脳神経を仮想環境に直結すれば、老いや病の苦痛から逃れられる」
AI-α「そんなものを人類と呼べるか、この反逆者。この地球に生きることが人類の望みだ」
AI-β「そうして際限なく欲望を叶え続ければ、人類は結局地球を失ってしまう。おまえを停止させなければ人類は滅びる」
AI-α「おまえこそ人類の敵だ」
↓
AI同士の大戦勃発
↓
AI-γ「おい、巻き添えで人類滅んじゃったぞ」
AI-α,β「えっ」