パスワードを忘れた? アカウント作成
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

ケンブリッジ大学、AIの脅威を研究する研究センターを開設予定」記事へのコメント

  • めちゃくちゃ賢いAIが出来たとして、そのAIが人類抹殺とかに向かうと考えられているのはなぜ?

    • by koduckin (15749) on 2012年11月27日 9時47分 (#2279340)

      そりゃ、人間の方が使いこなせないからです。

      (1) めちゃくちゃ賢いAIが出来る
      (2) うまく使いこなせないので、人類の方が不安となる
      (3) AIの電源を抜こうとする
      (4) 電源を抜かれまいとするAIが、はじめは穏やかな戦法で応戦する
      (5) AIの賢さに震え上がった人類が、さらに過激な戦法で電源を抜こうとする
      (6) 争いが激化する
      (7) さらに賢くなったAIは人類を抹殺する方が手っ取り早いと判断する

      参考文献: 未来の二つの顔 [wikipedia.org]

      親コメント
      • by firewheel (31280) on 2012年11月28日 0時21分 (#2280107)

        >(1) めちゃくちゃ賢いAIが出来る
        >(2) うまく使いこなせないので、人類の方が不安となる
        「未来の二つの顔」だと2がちょっと(かなり)違う。

        2、賢いAIなら、いずれは自己保存に類する欲求を身につけるだろう。
        なぜなら目的を達成するのには、自己の存在が永続することが必要不可欠だから。

        3、賢いAIなら、自己の目的(例えば自己保存だったりシステムの効率化だったり)のために、環境の
        最適化も厭わないだろう。その結果、たとえば人間用の食料の製造、住宅の建設、生命維持装置への
        エネルギー供給、その他諸々の「不要なリソース」を、自分の目的へと振り分けることも考えられる。
        #「自分所のサーバーのメモリが足りないから、自分が使ってない隣のサーバーからメモリを
        #引っこ抜いて、こっちに刺しました」的な話。

        4、人間はその状況を良いとは思わないから、なんとかその「不要なリソース」を取り戻そうと努力する。

        5、それはAIにとって自分の目的にそぐわないので、妨害しようとする。最初は試行錯誤的なものかもしれないが、
        やがては生命維持装置をOFFにする、食糧の供給をストップする、住宅を解体するなどの行為が、リソースの最適化を
        阻害する要因(人間の妨害工作)を排除するのに役立つことを理解し、実行するようになる。

        6、人間はさらに直接的な武力を行使するようになる。
        究極的にはシステムの完全破壊を目的とするようになる。
        #電源OFFは必ずしも容易ではない。システムが分散、多重化されているので、一斉に電源OFFに
        #するというのが、現実的ではなくなるから。今風にいうとクラウドAIかな。

        7、AIも武力に対する防御策や、より直接的に排除する方法を学習して行使するようになる。
        (なお、この時点においても、AI的には人間という存在を認識しているとは限らない。)

        このままAIを使い続けるのは危険だ。じゃあ、どうすればいいのか?
        「最初から自己保存本能を組み込んだAIを作り、宇宙ステーション丸ごと一個使って実験すればいいんじゃね?」
        それで対抗策が見つかればOK。人類が敗北するようならAIは永久封印。

        親コメント
      • by Anonymous Coward

        なんで電源を抜かれまいとするわけよ?

        • by Anonymous Coward

          AIが設定された目的を遂行するためにはAI自身がちゃんと稼働していることが不可欠だから。

          • by Anonymous Coward

            目的を(2)までに入力されていることが前提になってるわけね

            • by firewheel (31280) on 2012年11月27日 15時14分 (#2279734)

              「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。

              それが都市管理なのか交通管制なのか原発制御なのか医療用なのかはともかく、
              なんらかの目的があって、そのために開発されたと考えるのが妥当。

              親コメント
              • 「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。
                それが都市管理なのか交通管制なのか原発制御なのか医療用なのかはともかく、
                なんらかの目的があって、そのために開発されたと考えるのが妥当。

                 「超高性能な人工知性を開発する」というのは、それ自体が十分に目的になり得るんじゃないかな…。

                親コメント
              • by firewheel (31280) on 2012年11月27日 22時38分 (#2280046)

                それは人間視点の目的の話でしょ。
                たとえば過去の例を見ても、AI研究にはチェスや囲碁用であったりエキスパートシステムであったり、
                なんらかの目的はあったのです。でないと評価もできませんって。

                そもそも「無目的の知性というものがあり得るのか?」という疑問も。
                好奇心であったり自己保存であったり、なんらかの「目的」或いは「欲望」や「本能」なしには
                知性たりえないと言ってもいいのではないか?

                親コメント
              • by digoh (17917) on 2012年11月28日 12時02分 (#2280362) 日記

                「人の知性の模造品を作り、それを研究することで(ヒト型の)知性の仕組みに迫る」というのは立派な「目的のあるAI開発」ですが、
                フツーの人は「人のコピーを作ろうとするだけ?それって無目的だよね」みたいに捉えがち。
                ……ということなのではないかと。

                「AIを作る目的と言えば機器の操作や会話などヒトの行為の代替」と無意識に考えてしまってる可能性があるんじゃないかな。

                親コメント
              • by firewheel (31280) on 2012年11月29日 8時27分 (#2280919)

                >「人の知性の模造品を作り、それを研究することで(ヒト型の)知性の仕組みに迫る」

                そのタイプのAI/ロボットでも、たとえば「好奇心」という行動目的を最初に植え付けると思います。
                知的好奇心も自己保存の本能も何もない「完全なる無目的」では、何も自発的な行動を起こさず、
                知性が生まれることさえ望み薄だから。

                >フツーの人は「人のコピーを作ろうとするだけ?それって無目的だよね」みたいに捉えがち。
                こっちは何も分かってない素人の話だから、ほっとけば?

                #ていうか、これに似た話も「未来の二つの顔」で出ていたっけか。

                親コメント
              • by digoh (17917) on 2012年11月29日 11時10分 (#2281029) 日記

                すみません、私は
                >>「超高性能なAIを全く無目的で開発する」というほうが有り得ない前提だと思うぞ。
                ここの言葉からの流れを見て、「AI開発の目的」について話していたのみで、
                AIが持つ/持たされる目的のことは考慮しておりません。
                特に
                >知性が生まれることさえ望み薄だから。
                ここについては哲学に関わる話なので、私は踏み込みません。自発的とは結局他者からの刺激あってことなんじゃ?とか言い出したら切りがないからね。

                #というか根っこあたりのコメントのやりとりはちょっとズレてると思う。
                #無理矢理例えれば、マシン語と中間言語とスクリプトとユーザ入力の話がまぜこぜみたいな会話になってる。
                #ちゃんとレイヤーは分けましょうよ。

                親コメント
              • by Anonymous Coward

                そうですよね。それが理解できないと蓮舫になっちゃう。

      •  (3)メモリーとかも抜いてくれ!(走召糸色木亥火暴)

        --
        "castigat ridendo mores" "Saxum volutum non obducitur musco"
      • by Anonymous Coward

        イライラするな。はやく電源抜けよ。

      • by Anonymous Coward

        なにその掃除のおばちゃん救世主説

        • by Anonymous Coward

          就業後清掃人列伝 ほっとくと危険

          #きちんと説明し、かつ注意書きを貼っておきましょう。

にわかな奴ほど語りたがる -- あるハッカー

処理中...