パスワードを忘れた? アカウント作成
11595395 story
ロボット

「ロボット工学三原則」は守ることができない? 89

ストーリー by hylom
人間でもそういう判断は難しいが 部門より

「ロボットは人間に危害を加えてはならない」などの3つの原則を定めた、アイザック・アシモフ考案の「ロボット工学三原則」は広く知られているが、実際にこの三原則をロボットに守らせることは困難であるという実験結果が公開されたという(コタク・ジャパン)。

詳細はコタク・ジャパンの記事を参照してほしいが、シミュレーションの結果では複数の人間を守る際にどちらかしか助けられないケースなどで判断に迷い、結局どちらも助けられない、といったことも発生したそうだ。ただ、軍用ロボットなどでは「犠牲者を最小限に抑える」というルールを持っているものもあるそうで、「ロボット工学三原則」は完全に守れない、という分けではなさそうである。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by GreyWolf (32369) on 2014年09月24日 14時48分 (#2681755)
    結局のところ、3原則にも矛盾があり
    ロボット心理学者であるスーザン・キャンベルの出番となる。

    最終的には、Rダニール・オリバーと、(部分的には)Rジスカルドが
    第一原則「ロボットは人間に危害を加えてはならない。あるいは危害が加えられることを看過してはいけない」に優先する
    第零原則「ロボットは人類に危害を加えてはならない。あるいは危害が加えられることを看過してはいけない」を自ら生み出し
    人間に危害を加えることが可能になる。
    • by Anonymous Coward

      カルヴィン?

  • AロボはHロボが人間でないことを見抜いたのではないかとw

  • by Yuhki (17870) on 2014年09月24日 13時48分 (#2681703) 日記

    × 三原則をロボットに守らせることは困難である
    ○ 三原則をロボットに守らせることは"このロボットの作成者にとって"困難である

    • by T.SKG (20663) on 2014年09月24日 14時06分 (#2681713) 日記

      元々の作中の設定からして高度な判断力が要求されるから、ポジトロン電子頭脳が必須だったはず。
      人間並みに自律的に自由に活動するロボットを簡単に作れると思うのが間違いだよね。

      親コメント
      • by Anonymous Coward on 2014年09月24日 14時37分 (#2681742)

        原作に基づくとそういうことなんでしょうが、そもそも人間の倫理的な判断はアルゴリズムによって再現することができないのではないか(言い換えると倫理的な判断は論理的でない)という倫理学上の問題が絡んでいるので、親スレの○×は間違ってますよ。

        どちらかというと、ロボット工学三原則はアルゴリズムとして実装するには曖昧すぎるので、もっと具体的(かつ複雑)なルールにせざるをえませんよという問題提起ではないでしょうか。軍の戦闘用ロボの話もそういう文脈で理解すればわかりやすいと思います。

        親コメント
        • by T.SKG (20663) on 2014年09月24日 15時10分 (#2681777) 日記

          三原則の実装は、SFの中の自律的なロボットを作るのと同じくらい難しいが ○ です。
          「組み込まれたプログラムを動かすのが困難」であるかのような元記事の書き方は × だと。

          #2681749 [srad.jp] のかたの説明がより適切だと思います。

          親コメント
        • by firewheel (31280) on 2014年09月24日 18時06分 (#2681880)

          あなたは「鋼鉄都市」をはじめとするロボット物を全く読んでいませんね?

          そもそもロボット三原則の倫理観(或いは正義感)は、人間の持つ倫理観(や正義感)とは似て非なる物ですから。
          たとえばR・ダニールに「正義」の定義をさせてみると良いでしょう。

          親コメント
    • by alternative (23238) on 2014年09月24日 14時09分 (#2681718)

      では
      >シミュレーションの結果では複数の人間を守る際にどちらかしか助けられないケースなどで判断に迷い、結局どちらも助けられない
      上記はトロッコ問題 [wikipedia.org]とか冷たい方程式 [wikipedia.org]とかのことだと思いますが、
      誰もが納得できる答えをあなたは出すことができますか?

      それができない限りは、
      >結局どちらも助けられない
      誰が作ってもこういう結果になるということになるのではないでしょうか。

      親コメント
      • by firewheel (31280) on 2014年09月24日 18時14分 (#2681889)

        >上記はトロッコ問題 [wikipedia.org]とか冷たい方程式 [wikipedia.org]とかのことだと思いますが、
        >誰もが納得できる答えをあなたは出すことができますか?
        アシモフのロボット三原則の話だから、「誰もが納得する答」である必要は無い。
        アシモフのロボット三原則的には答が既に提示されてます。

        たとえば
        「多数の命を助けるために少数の命を犠牲にするのは認められる。(その場合でも可能な限り犠牲は最小限に抑える。)」
        「行動してもしなくても同数の命が助かる場合は、消極的に行動する。(或いは行動しない。)」
        という比較をしてより多数の利益を優先するように行動することになってる(はず)。

        ところで「ロボット三原則はフレーム問題が解決できない」とかって誤解は、この本が広めた奴じゃないかなあ。
        「ロボットにつけるクスリ―誤解だらけのコンピュータサイエンス」 [amazon.co.jp]

        ホントにそこについては誤解だらけの本だった。

        親コメント
      • 映画の方のアイ,ロボットの例なので、ちょっとずれるかもしれないが、
        ロボットが水に落ちた車から生存率の高い男性を救助するために少女をあっさり見捨てたよね。
        あのような判断をする方がしっくりきて、迷って答えを出さない方が違和感がある。
        #あくまでもロボットのようなものに与える判断基準について。

        親コメント
      • by Anonymous Coward

        ロボットなら自らを犠牲にしてトロッコを止めるとか、宇宙船から降りる、が正解でしょう。

        ロボットの能力的にトロッコを止められないならロボット内の評価関数でどちらを助けるか選ぶだけです、もちろん評価に時間が掛かり過ぎてはいけませんから、それなりの処理速度を持たせ評価関数のデバッグもちゃんと行って置く必要はあります。

        • by Anonymous Coward

          能力的にトロッコが止められる場合:
           猛スピードのトロッコを自らを犠牲にして止めた場合。中の人間は、そのスピードで前方へ吹っ飛んで死ぬと思います。

          能力的にトロッコが止めれられない場合:
           どのように原則に反することなく評価するのかが気になります。

          • by digoh (17917) on 2014年09月24日 15時13分 (#2681780) 日記

            トロッコ問題はトロッコに人が乗ってるわけじゃないですよ。

            トロッコは止められない前提、路線変更自体は失敗なく意図通りできる前提で、
            路線を変更するか否か、そのとき「助かる人数の差」「自分が能動的に行動するか否かの差」をどう評価するか、という問題です。
            自分を犠牲にすればとか他の解決法を考えるとかまで考慮するものではないのです。

            「ボタンを押すと1人死ぬが、ボタンを押さなければ5人死ぬ。疑う余地はない」ってのと本質は同じ。

            #なおアシモフの作品における一般的なロボットなら「常に三原則に合致した行動がとれる」わけではなく「反する行動について考えたり実行しようとすると止まったり壊れたりする」ので、トロッコ問題なら5人死亡となる可能性が高い。

            親コメント
            • by firewheel (31280) on 2014年09月24日 18時19分 (#2681893)

              >「ボタンを押すと1人死ぬが、ボタンを押さなければ5人死ぬ。疑う余地はない」ってのと本質は同じ。
              >「反する行動について考えたり実行しようとすると止まったり壊れたりする」ので、トロッコ問題なら5人死亡となる可能性が高い。

              この場合は「5人を助けるためにボタンを押して、一人殺す」が正解のはず。
              ただしその結果として、それをした陽電子頭脳は焼き切れて機能停止する。
              #これについては、さんざん議論されてるはずだが?

              たとえば「ロボットと帝国」で、人類の未来を救うために行動した彼のようにね。

              親コメント
              • by digoh (17917) on 2014年09月25日 13時00分 (#2682284) 日記

                >#これについては、さんざん議論されてるはずだが?
                覚え違いでしたか、すみません。

                ただ、「ロボットと帝国の彼」はちょっと「一般的なロボット」とは言えないかと思います。
                想定してたのはあの月面だかどこだかでなかなかミッションに成功できなかった話。
                重み付けや命令をある程度調整しないと行動すらできませんでしたよね。

                親コメント
          • by Anonymous Coward
            トロッコ問題には鉄の塊にぶつかって止まる、みたいな派生もあるんで、中の人間とか居ないと思いますが。
            そもそも中に人が居るならそいつが動くことをまず期待するので答えも変わってくる可能性がある。
      • by Anonymous Coward

        判断に迷って、どちらも助けられない事が問題にされているのですから、
        誰もが納得できる答えを出す必要はないですよね。

        #誰もが納得できる答えを出す事は私には不可能ですが、
        #自分の価値観(優先度)に従って納得できる答えは出したいものです。

      • by Anonymous Coward

        他の人も書いてるけど、「俺なら作れる」っていうツッコミじゃなくて、「三原則が考えられた時点から、原則の解釈や実装が難しいのは分かってた」のだからわざわざ「難しいことが分かった!」って今言われても…って話なんですよ。
        トロッコや冷たい方程式のような同時に全てを助けられない時どうする?どうなる?ってのは元ネタにもあり、後の派生ネタ・パロディも山ほど作られたようなネタです。
        シミュレーションしてみたこと自体は話のネタにはなっても、「無理だよ!」ってのは目新しくもなんともない。

        問題となるのは制作者の倫理観と実装におけるフレーム問題であって、三原則そのものの問題とはちょっと違うのですよ。強いて言えば原則が大ざっぱすぎることが問題ですが、そんなのこの法則に限った話じゃない。
        (アシモフのアレは自らある程度調整してしまうわけだが、それは棚に上げる)

      • by Anonymous Coward

        判断に迷うとどちらも助けられないトロッコ問題って何?
        典型的な5人対1人のトロッコ問題だとどっちかは確実に助かるはずだけど。

    • by Anonymous Coward

      確かロボット三原則って、
      ロボットをロボットとしてロボットのまま社会の中で共存させようとしたら、
      こんな感じの法則が要るだろうけど、そうしたら(それを厳密に守ろうとしたら)こんな変なことになるよ、
      (だからそんなのはありえん)っていうネタ提供だった、
      とかいう解説をどっかで見た気がするのですが。

      • by Anonymous Coward

        そもそも三原則に(一見すると)反する行動によって引き起こされる事件ネタは
        アシモフ自身がたくさん出してるから、考案した時点で矛盾をはらんでることは百も承知なわけですよ。

      • by Anonymous Coward

        ありえんという話は出てこないですね。「三原則を守れるロボットが作れる」と言うところまでフィクションの範囲内です。
        その上で、ちょっとでも緩和するとえらいことになるとか、三原則を守らせた上でどこまでできるか試してみるとかの短編エピソード集。

        まあ、文庫1冊程度の量なんだし、(このレスも含めて)胡散臭い解説の前にともかく元の小説を読んだ方が早い。

        • by firewheel (31280) on 2014年09月24日 18時22分 (#2681895)

          >まあ、文庫1冊程度の量なんだし、(このレスも含めて)胡散臭い解説の前にともかく元の小説を読んだ方が早い。
          ロボット三原則は「われはロボット」だけじゃないっすよ。
          最低でも「ロボットの時代」「鋼鉄都市」「はだかの太陽」「夜明けのロボット」「ロボットと帝国」あたりは読んでおいた方が良い。

          あとついでに「アンドリューNDR114」も。

          親コメント
  • 必要なのは優先順位ではないでしょうか。 一人だけしか助けられないなら一人だけ助け、一人も助けられないなら、自らを守るということかなと。
    • by Anonymous Coward

      殺人者「ロボ、男女?どっちを救いたい?ほら!選べ!選べよ!なあ!なあ!なああ!」

      AI「return rand(0, 1) ? '男' : '女';」

      良かった片方は助けられた。

  • by jizou (5538) on 2014年09月24日 14時23分 (#2681728) 日記

    ファウンデーションと地球 あたりで、第0法則 が出てきてましたよね。
    人類の利益を優先するだったかな?

    でも、その判断は、ロボットには重たすぎて、人間の判断が必要だったような。

    興味のある方は、ぜひ原作を読んでみて下さい。

    • by firewheel (31280) on 2014年09月24日 18時30分 (#2681902)

      >ファウンデーションと地球 あたりで、第0法則 が出てきてましたよね。
      ロボット工学三原則の第0法則は「ロボットと帝国」ですね。
      「ファウンデーションと地球」で出てくるのは心理歴史学の第0法則。

      >人類の利益を優先するだったかな?
      第1条を「人類」に対して拡大解釈したものだったはず。
      個人の人類を守るには人類を守る必要があるから、ごく自然な第一条の補足という考え。

      ただし運用が非常に難しい。
      「人間に対する危害」に比べ「人類への危害」が遙かに曖昧で計算しづらいものだから。

      親コメント
    • by kamiyama (46596) on 2014年09月25日 23時25分 (#2682697) 日記
      蛇足ながら7作目「ファウンデーションの誕生」にて第0法則が出てきました.(4,5作目を読めてないので、もっと前に出ていたかはわからないですが)
      親コメント
    • by Anonymous Coward

      なんか最後のほうは、守れないからってひきこもって見守ってるとかそんなお話になっていたような。

  • by Yuhki (17870) on 2014年09月24日 14時59分 (#2681766) 日記

    「ロボット工学三原則」がなんのことなのかをおそらく誤解したまま話をしている人があまりにも多いのに驚いた。
    リソースの無駄遣いであることを承知でコピペするよ。

    第一条 ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。
    第二条 ロボットは人間にあたえられた命令に服従しなければならない。ただし、あたえられた命令が、第一条に反する場合は、この限りでない。
    第三条 ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。

    これだけ。トロッコ問題などのいわゆる「究極の選択」に対してどうふるまうべきか、については一切言及がない。
    それにもかかわらずhylomが

    シミュレーションの結果では複数の人間を守る際にどちらかしか助けられないケースなどで判断に迷い、結局どちらも助けられない、といったことも発生したそうだ。

    などと本質と無関係なエピソードを不用意にとりあげたばかりに勘違いする人が続出した。

    もう一度言うが、「ロボット工学三原則」と「究極の選択」は何も関係がない。くそが。

    • by Anonymous Coward on 2014年09月24日 15時51分 (#2681800)

      第一条 編集者は事実と異なる記事を掲載せしてはいけない
      第二条 編集者はタレコミの本質を守らなければならない。ただし、与えられたタレコミが、第一条に反する場合は、この限りではない。
      第三条 編集者は、前項第一条および第二条に反するおそれのないかぎり、タイポを防がなければいけない

      ということで、
      > などと本質と無関係なエピソードを不用意にとりあげたばかりに勘違いする人が続出した。

      hylom氏がなんらかの究極の選択を強いられ判断に迷い、結局どの条項も守ることが出来ない、といったことが発生したのでは?

      親コメント
    • by firewheel (31280) on 2014年09月24日 20時02分 (#2681963)

      >これだけ。トロッコ問題などのいわゆる「究極の選択」に対してどうふるまうべきか、については一切言及がない。
      条文にはな。

      判例も読まないと法律の理解が不完全になるように、
      本編を読まないとロボット三原則の理解は不完全になる。

      親コメント
  •  以下、↑のネタ禁止(走召糸色木亥火暴)

    --
    ------------------------------ "castigat ridendo mores"
  • by Anonymous Coward on 2014年09月24日 14時17分 (#2681725)

    「『犠牲者を最小限に抑える』というルール」は「『ロボット工学三原則』は完全に守れない」(≒不完全になら守れる)の一例だよね。

    あと、軍用ロボットのところは「『犠牲者を最小限に抑える』というルール」をプログラミングするんじゃなくて、
    戦闘状況での意思決定アルゴリズムを実装したところ、人間と違い冷静にルールを守ので犠牲者を最小限に
    抑えられるようになった、という内容ではないかと。

  • by Anonymous Coward on 2014年09月24日 14時35分 (#2681740)

    人間にすら事前に判断できない上に
    人間が後付で判断を下すような事案を
    こんな形で出されても難癖としか評しようがないなぁ

    人間用の法律における緊急避難にしたって
    事後に妥当か否か争われるわけだし

    このネタで攻めるなら
    ロボットの自壊によって回避可能な場合の判断
    くらいじゃないでしょうかね

    • by Anonymous Coward

      AIが勝手に判断を下したら下したで、今度は「ビッグブラザー」がー、と言い出すんでしょうね。

  • by Anonymous Coward on 2014年09月24日 14時43分 (#2681750)

    この葛藤を描いた映画があったような

  • by Anonymous Coward on 2014年09月24日 14時48分 (#2681756)

    フレーム問題の一言で終わる話のような・・・
    これは実際に物理的に存在するロボットでやってみた事に意義があるだけかも?
    (フレームを作って単純化した上で、(冷たい方程式のような)『対象を複数にする事により複雑化する問題』だけを見る実験?)

    人工知能学会のサイトにあるフレーム問題の解説
    人工知能の話題: フレーム問題 [ai-gakkai.or.jp]

    その元ネタの原文
    COGNITIVE WHEELS: THE FRAME PROBLEM OF AI. DANIEL C. DENNETT
    https://www.cs.sfu.ca/~vaughan/teaching/415/papers/dennett-cognitivewh... [cs.sfu.ca]

  • by Anonymous Coward on 2014年09月24日 15時41分 (#2681795)
    そもそもロボット工学の三原則は何かを解決するためのメソッドではないですし。
    人間社会と共存していくためにはこういった原則が必要だよね、というだけの話でしょうに。
    ロボット工学の三原則に則るだけでは解決できない何かが存在するからと言って、『「ロボット工学の三原則』は守ることができない」って意味不明ですよ。
typodupeerror

アレゲは一日にしてならず -- アレゲ研究家

読み込み中...