アカウント名:
パスワード:
めちゃくちゃ賢いAIが出来たとして、そのAIが人類抹殺とかに向かうと考えられているのはなぜ？
そりゃ、人間の方が使いこなせないからです。
(1) めちゃくちゃ賢いAIが出来る(2) うまく使いこなせないので、人類の方が不安となる(3) AIの電源を抜こうとする(4) 電源を抜かれまいとするAIが、はじめは穏やかな戦法で応戦する(5) AIの賢さに震え上がった人類が、さらに過激な戦法で電源を抜こうとする(6) 争いが激化する(7) さらに賢くなったAIは人類を抹殺する方が手っ取り早いと判断する
参考文献： 未来の二つの顔 [wikipedia.org]
＞(1) めちゃくちゃ賢いAIが出来る＞(2) うまく使いこなせないので、人類の方が不安となる「未来の二つの顔」だと２がちょっと（かなり）違う。
2、賢いAIなら、いずれは自己保存に類する欲求を身につけるだろう。なぜなら目的を達成するのには、自己の存在が永続することが必要不可欠だから。
３、賢いAIなら、自己の目的（例えば自己保存だったりシステムの効率化だったり）のために、環境の最適化も厭わないだろう。その結果、たとえば人間用の食料の製造、住宅の建設、生命維持装置へのエネルギー供給、その他諸々の「不要なリソース」を、自分の目的へと振り分けることも考えられる。＃「自分所のサーバーのメモリが足りないから、自分が使ってない隣のサーバーからメモリを＃引っこ抜いて、こっちに刺しました」的な話。
４、人間はその状況を良いとは思わないから、なんとかその「不要なリソース」を取り戻そうと努力する。
５、それはAIにとって自分の目的にそぐわないので、妨害しようとする。最初は試行錯誤的なものかもしれないが、やがては生命維持装置をOFFにする、食糧の供給をストップする、住宅を解体するなどの行為が、リソースの最適化を阻害する要因(人間の妨害工作)を排除するのに役立つことを理解し、実行するようになる。
６、人間はさらに直接的な武力を行使するようになる。究極的にはシステムの完全破壊を目的とするようになる。＃電源OFFは必ずしも容易ではない。システムが分散、多重化されているので、一斉に電源OFFに＃するというのが、現実的ではなくなるから。今風にいうとクラウドAIかな。
７、AIも武力に対する防御策や、より直接的に排除する方法を学習して行使するようになる。（なお、この時点においても、ＡＩ的には人間という存在を認識しているとは限らない。）
このままＡＩを使い続けるのは危険だ。じゃあ、どうすればいいのか？「最初から自己保存本能を組み込んだAIを作り、宇宙ステーション丸ごと一個使って実験すればいいんじゃね？」それで対抗策が見つかればOK。人類が敗北するようならＡＩは永久封印。
なんで電源を抜かれまいとするわけよ？
AIが設定された目的を遂行するためにはAI自身がちゃんと稼働していることが不可欠だから。
目的を(2)までに入力されていることが前提になってるわけね
「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。
それが都市管理なのか交通管制なのか原発制御なのか医療用なのかはともかく、なんらかの目的があって、そのために開発されたと考えるのが妥当。
「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。それが都市管理なのか交通管制なのか原発制御なのか医療用なのかはともかく、なんらかの目的があって、そのために開発されたと考えるのが妥当。
「超高性能な人工知性を開発する」というのは、それ自体が十分に目的になり得るんじゃないかな…。
それは人間視点の目的の話でしょ。たとえば過去の例を見ても、AI研究にはチェスや囲碁用であったりエキスパートシステムであったり、なんらかの目的はあったのです。でないと評価もできませんって。
そもそも「無目的の知性というものがあり得るのか？」という疑問も。好奇心であったり自己保存であったり、なんらかの「目的」或いは「欲望」や「本能」なしには知性たりえないと言ってもいいのではないか？
「人の知性の模造品を作り、それを研究することで（ヒト型の）知性の仕組みに迫る」というのは立派な「目的のあるAI開発」ですが、フツーの人は「人のコピーを作ろうとするだけ？それって無目的だよね」みたいに捉えがち。……ということなのではないかと。
「AIを作る目的と言えば機器の操作や会話などヒトの行為の代替」と無意識に考えてしまってる可能性があるんじゃないかな。
＞「人の知性の模造品を作り、それを研究することで（ヒト型の）知性の仕組みに迫る」
そのタイプのAI/ロボットでも、たとえば「好奇心」という行動目的を最初に植え付けると思います。知的好奇心も自己保存の本能も何もない「完全なる無目的」では、何も自発的な行動を起こさず、知性が生まれることさえ望み薄だから。
＞フツーの人は「人のコピーを作ろうとするだけ？それって無目的だよね」みたいに捉えがち。こっちは何も分かってない素人の話だから、ほっとけば？
＃ていうか、これに似た話も「未来の二つの顔」で出ていたっけか。
すみません、私は>>「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。ここの言葉からの流れを見て、「AI開発の目的」について話していたのみで、AIが持つ／持たされる目的のことは考慮しておりません。特に>知性が生まれることさえ望み薄だから。ここについては哲学に関わる話なので、私は踏み込みません。自発的とは結局他者からの刺激あってことなんじゃ？とか言い出したら切りがないからね。
#というか根っこあたりのコメントのやりとりはちょっとズレてると思う。#無理矢理例えれば、マシン語と中間言語とスクリプトとユーザ入力の話がまぜこぜみたいな会話になってる。#ちゃんとレイヤーは分けましょうよ。
そうですよね。それが理解できないと蓮舫になっちゃう。
(3)メモリーとかも抜いてくれ！（走召糸色木亥火暴）
イライラするな。はやく電源抜けよ。
なにその掃除のおばちゃん救世主説
就業後清掃人列伝 ほっとくと危険
＃きちんと説明し、かつ注意書きを貼っておきましょう。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
犯人はmoriwaka -- Anonymous Coward
そもそも (スコア:2)
めちゃくちゃ賢いAIが出来たとして、そのAIが人類抹殺とかに向かうと考えられているのはなぜ？
Re:そもそも (スコア:1)
そりゃ、人間の方が使いこなせないからです。
(1) めちゃくちゃ賢いAIが出来る
(2) うまく使いこなせないので、人類の方が不安となる
(3) AIの電源を抜こうとする
(4) 電源を抜かれまいとするAIが、はじめは穏やかな戦法で応戦する
(5) AIの賢さに震え上がった人類が、さらに過激な戦法で電源を抜こうとする
(6) 争いが激化する
(7) さらに賢くなったAIは人類を抹殺する方が手っ取り早いと判断する
参考文献： 未来の二つの顔 [wikipedia.org]
Re:そもそも (スコア:1)
＞(1) めちゃくちゃ賢いAIが出来る
＞(2) うまく使いこなせないので、人類の方が不安となる
「未来の二つの顔」だと２がちょっと（かなり）違う。
2、賢いAIなら、いずれは自己保存に類する欲求を身につけるだろう。
なぜなら目的を達成するのには、自己の存在が永続することが必要不可欠だから。
３、賢いAIなら、自己の目的（例えば自己保存だったりシステムの効率化だったり）のために、環境の
最適化も厭わないだろう。その結果、たとえば人間用の食料の製造、住宅の建設、生命維持装置への
エネルギー供給、その他諸々の「不要なリソース」を、自分の目的へと振り分けることも考えられる。
＃「自分所のサーバーのメモリが足りないから、自分が使ってない隣のサーバーからメモリを
＃引っこ抜いて、こっちに刺しました」的な話。
４、人間はその状況を良いとは思わないから、なんとかその「不要なリソース」を取り戻そうと努力する。
５、それはAIにとって自分の目的にそぐわないので、妨害しようとする。最初は試行錯誤的なものかもしれないが、
やがては生命維持装置をOFFにする、食糧の供給をストップする、住宅を解体するなどの行為が、リソースの最適化を
阻害する要因(人間の妨害工作)を排除するのに役立つことを理解し、実行するようになる。
６、人間はさらに直接的な武力を行使するようになる。
究極的にはシステムの完全破壊を目的とするようになる。
＃電源OFFは必ずしも容易ではない。システムが分散、多重化されているので、一斉に電源OFFに
＃するというのが、現実的ではなくなるから。今風にいうとクラウドAIかな。
７、AIも武力に対する防御策や、より直接的に排除する方法を学習して行使するようになる。
（なお、この時点においても、ＡＩ的には人間という存在を認識しているとは限らない。）
このままＡＩを使い続けるのは危険だ。じゃあ、どうすればいいのか？
「最初から自己保存本能を組み込んだAIを作り、宇宙ステーション丸ごと一個使って実験すればいいんじゃね？」
それで対抗策が見つかればOK。人類が敗北するようならＡＩは永久封印。
Re: (スコア:0)
なんで電源を抜かれまいとするわけよ？
Re: (スコア:0)
AIが設定された目的を遂行するためにはAI自身がちゃんと稼働していることが不可欠だから。
Re: (スコア:0)
目的を(2)までに入力されていることが前提になってるわけね
Re:そもそも (スコア:2)
「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。
それが都市管理なのか交通管制なのか原発制御なのか医療用なのかはともかく、
なんらかの目的があって、そのために開発されたと考えるのが妥当。
Re:そもそも (スコア:1)
「超高性能な人工知性を開発する」というのは、それ自体が十分に目的になり得るんじゃないかな…。
Re:そもそも (スコア:1)
それは人間視点の目的の話でしょ。
たとえば過去の例を見ても、AI研究にはチェスや囲碁用であったりエキスパートシステムであったり、
なんらかの目的はあったのです。でないと評価もできませんって。
そもそも「無目的の知性というものがあり得るのか？」という疑問も。
好奇心であったり自己保存であったり、なんらかの「目的」或いは「欲望」や「本能」なしには
知性たりえないと言ってもいいのではないか？
Re:そもそも (スコア:1)
「人の知性の模造品を作り、それを研究することで（ヒト型の）知性の仕組みに迫る」というのは立派な「目的のあるAI開発」ですが、
フツーの人は「人のコピーを作ろうとするだけ？それって無目的だよね」みたいに捉えがち。
……ということなのではないかと。
「AIを作る目的と言えば機器の操作や会話などヒトの行為の代替」と無意識に考えてしまってる可能性があるんじゃないかな。
Re:そもそも (スコア:1)
＞「人の知性の模造品を作り、それを研究することで（ヒト型の）知性の仕組みに迫る」
そのタイプのAI/ロボットでも、たとえば「好奇心」という行動目的を最初に植え付けると思います。
知的好奇心も自己保存の本能も何もない「完全なる無目的」では、何も自発的な行動を起こさず、
知性が生まれることさえ望み薄だから。
＞フツーの人は「人のコピーを作ろうとするだけ？それって無目的だよね」みたいに捉えがち。
こっちは何も分かってない素人の話だから、ほっとけば？
＃ていうか、これに似た話も「未来の二つの顔」で出ていたっけか。
Re:そもそも (スコア:1)
すみません、私は
>>「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。
ここの言葉からの流れを見て、「AI開発の目的」について話していたのみで、
AIが持つ／持たされる目的のことは考慮しておりません。
特に
>知性が生まれることさえ望み薄だから。
ここについては哲学に関わる話なので、私は踏み込みません。自発的とは結局他者からの刺激あってことなんじゃ？とか言い出したら切りがないからね。
#というか根っこあたりのコメントのやりとりはちょっとズレてると思う。
#無理矢理例えれば、マシン語と中間言語とスクリプトとユーザ入力の話がまぜこぜみたいな会話になってる。
#ちゃんとレイヤーは分けましょうよ。
Re: (スコア:0)
そうですよね。それが理解できないと蓮舫になっちゃう。
でぇいじぃ～♪ でぇいじぃ～♪ どぉんちゅ～あふれいどぉ～♪ (スコア:0)
(3)メモリーとかも抜いてくれ！（走召糸色木亥火暴）
"castigat ridendo mores" "Saxum volutum non obducitur musco"
Re: (スコア:0)
イライラするな。はやく電源抜けよ。
Re: (スコア:0)
なにその掃除のおばちゃん救世主説
Re: (スコア:0)
就業後清掃人列伝 ほっとくと危険
＃きちんと説明し、かつ注意書きを貼っておきましょう。