「ロボット工学三原則」は守ることができない？ 89
ストーリー by hylom
人間でもそういう判断は難しいが 部門より
人間でもそういう判断は難しいが 部門より
「ロボットは人間に危害を加えてはならない」などの3つの原則を定めた、アイザック・アシモフ考案の「ロボット工学三原則」は広く知られているが、実際にこの三原則をロボットに守らせることは困難であるという実験結果が公開されたという（コタク・ジャパン）。
詳細はコタク・ジャパンの記事を参照してほしいが、シミュレーションの結果では複数の人間を守る際にどちらかしか助けられないケースなどで判断に迷い、結局どちらも助けられない、といったことも発生したそうだ。ただ、軍用ロボットなどでは「犠牲者を最小限に抑える」というルールを持っているものもあるそうで、「ロボット工学三原則」は完全に守れない、という分けではなさそうである。
原作だと (スコア:3)
ロボット心理学者であるスーザン・キャンベルの出番となる。
最終的には、Rダニール・オリバーと、(部分的には）Rジスカルドが
第一原則「ロボットは人間に危害を加えてはならない。あるいは危害が加えられることを看過してはいけない」に優先する
第零原則「ロボットは人類に危害を加えてはならない。あるいは危害が加えられることを看過してはいけない」 を自ら生み出し
人間に危害を加えることが可能になる。
Re: (スコア:0)
カルヴィン？
Re:原作だと (スコア:1)
＞アシモフ作品の人名がちょっと変わっている
グレゴリー・パウエル
マイケル・ドノヴァン
スーザン・カルヴィン
ヒトの人名はふつうに見えます。ロボットについてはさていおいて…
Re:原作だと (スコア:1)
1970年代以降の作品、黒後家蜘蛛の会のようなジャンルでもヨーロッパ大陸系の諸民族固有っぽいつづりのファミリーネームがいくつか見受けられるものの、アングロ・サクソンっぽいファミリーネームもふつうにあるので1942年以降、SFジャンル限定のしばりと受け取った方がいいんでしょうね。
// 北欧、東欧は西欧と語源が違いすぎて似ているだけか同根の由来なのかということがわからない。それとケルトは別世界だし。アジアやアフリカはなおのこと。
人間でないことを見抜いたのでは (スコア:2)
AロボはHロボが人間でないことを見抜いたのではないかとｗ
ばからしい (スコア:1)
× 三原則をロボットに守らせることは困難である
○ 三原則をロボットに守らせることは"このロボットの作成者にとって"困難である
御意 (スコア:2)
元々の作中の設定からして高度な判断力が要求されるから、ポジトロン電子頭脳が必須だったはず。
人間並みに自律的に自由に活動するロボットを簡単に作れると思うのが間違いだよね。
Re:御意 (スコア:1)
原作に基づくとそういうことなんでしょうが、そもそも人間の倫理的な判断はアルゴリズムによって再現することができないのではないか（言い換えると倫理的な判断は論理的でない）という倫理学上の問題が絡んでいるので、親スレの○×は間違ってますよ。
どちらかというと、ロボット工学三原則はアルゴリズムとして実装するには曖昧すぎるので、もっと具体的（かつ複雑）なルールにせざるをえませんよという問題提起ではないでしょうか。軍の戦闘用ロボの話もそういう文脈で理解すればわかりやすいと思います。
Re:御意 (スコア:2)
三原則の実装は、SFの中の自律的なロボットを作るのと同じくらい難しいが ○ です。
「組み込まれたプログラムを動かすのが困難」であるかのような元記事の書き方は × だと。
#2681749 [srad.jp] のかたの説明がより適切だと思います。
Re:御意 (スコア:1)
あなたは「鋼鉄都市」をはじめとするロボット物を全く読んでいませんね？
そもそもロボット三原則の倫理観（或いは正義感）は、人間の持つ倫理観（や正義感）とは似て非なる物ですから。
たとえばR・ダニールに「正義」の定義をさせてみると良いでしょう。
Re:御意 (スコア:2)
＞ただ、似て非なるものにならざるを得ないことこそ問題なのであって
それは全くなんの問題もない。
＃そこから教えねばならんのか．．．
Re:御意 (スコア:2)
私がツッコムとしたら「あのSFの原則、実装方法なんぞ明記してたかい?」です。
私も全部は読んでないです。
が、あれでロボットが得る行動指針やジレンマは
人情を排除したときの行動指針の参考になるなぁと
自分の行動原則には取り入れています。
比重は違いますが。
Re:ばからしい (スコア:1)
では
>シミュレーションの結果では複数の人間を守る際にどちらかしか助けられないケースなどで判断に迷い、結局どちらも助けられない
上記はトロッコ問題 [wikipedia.org]とか冷たい方程式 [wikipedia.org]とかのことだと思いますが、
誰もが納得できる答えをあなたは出すことができますか？
それができない限りは、
>結局どちらも助けられない
誰が作ってもこういう結果になるということになるのではないでしょうか。
Re:ばからしい (スコア:1)
＞上記はトロッコ問題 [wikipedia.org]とか冷たい方程式 [wikipedia.org]とかのことだと思いますが、
＞誰もが納得できる答えをあなたは出すことができますか？
アシモフのロボット三原則の話だから、「誰もが納得する答」である必要は無い。
アシモフのロボット三原則的には答が既に提示されてます。
たとえば
「多数の命を助けるために少数の命を犠牲にするのは認められる。（その場合でも可能な限り犠牲は最小限に抑える。）」
「行動してもしなくても同数の命が助かる場合は、消極的に行動する。（或いは行動しない。）」
という比較をしてより多数の利益を優先するように行動することになってる（はず）。
ところで「ロボット三原則はフレーム問題が解決できない」とかって誤解は、この本が広めた奴じゃないかなあ。
「ロボットにつけるクスリ―誤解だらけのコンピュータサイエンス」 [amazon.co.jp]
ホントにそこについては誤解だらけの本だった。
納得は関係なく、答は出すのでは? (スコア:1)
映画の方のアイ,ロボットの例なので、ちょっとずれるかもしれないが、
ロボットが水に落ちた車から生存率の高い男性を救助するために少女をあっさり見捨てたよね。
あのような判断をする方がしっくりきて、迷って答えを出さない方が違和感がある。
#あくまでもロボットのようなものに与える判断基準について。
Re: (スコア:0)
ロボットなら自らを犠牲にしてトロッコを止めるとか、宇宙船から降りる、が正解でしょう。
ロボットの能力的にトロッコを止められないならロボット内の評価関数でどちらを助けるか選ぶだけです、もちろん評価に時間が掛かり過ぎてはいけませんから、それなりの処理速度を持たせ評価関数のデバッグもちゃんと行って置く必要はあります。
Re: (スコア:0)
能力的にトロッコが止められる場合：
猛スピードのトロッコを自らを犠牲にして止めた場合。中の人間は、そのスピードで前方へ吹っ飛んで死ぬと思います。
能力的にトロッコが止めれられない場合：
どのように原則に反することなく評価するのかが気になります。
Re:ばからしい (スコア:2)
トロッコ問題はトロッコに人が乗ってるわけじゃないですよ。
トロッコは止められない前提、路線変更自体は失敗なく意図通りできる前提で、
路線を変更するか否か、そのとき「助かる人数の差」「自分が能動的に行動するか否かの差」をどう評価するか、という問題です。
自分を犠牲にすればとか他の解決法を考えるとかまで考慮するものではないのです。
「ボタンを押すと1人死ぬが、ボタンを押さなければ5人死ぬ。疑う余地はない」ってのと本質は同じ。
#なおアシモフの作品における一般的なロボットなら「常に三原則に合致した行動がとれる」わけではなく「反する行動について考えたり実行しようとすると止まったり壊れたりする」ので、トロッコ問題なら5人死亡となる可能性が高い。
Re:ばからしい (スコア:1)
＞「ボタンを押すと1人死ぬが、ボタンを押さなければ5人死ぬ。疑う余地はない」ってのと本質は同じ。
＞「反する行動について考えたり実行しようとすると止まったり壊れたりする」ので、トロッコ問題なら5人死亡となる可能性が高い。
この場合は「５人を助けるためにボタンを押して、一人殺す」が正解のはず。
ただしその結果として、それをした陽電子頭脳は焼き切れて機能停止する。
＃これについては、さんざん議論されてるはずだが？
たとえば「ロボットと帝国」で、人類の未来を救うために行動した彼のようにね。
Re:ばからしい (スコア:1)
>＃これについては、さんざん議論されてるはずだが？
覚え違いでしたか、すみません。
ただ、「ロボットと帝国の彼」はちょっと「一般的なロボット」とは言えないかと思います。
想定してたのはあの月面だかどこだかでなかなかミッションに成功できなかった話。
重み付けや命令をある程度調整しないと行動すらできませんでしたよね。
Re: (スコア:0)
そもそも中に人が居るならそいつが動くことをまず期待するので答えも変わってくる可能性がある。
Re: (スコア:0)
判断に迷って、どちらも助けられない事が問題にされているのですから、
誰もが納得できる答えを出す必要はないですよね。
＃誰もが納得できる答えを出す事は私には不可能ですが、
＃自分の価値観（優先度）に従って納得できる答えは出したいものです。
Re: (スコア:0)
他の人も書いてるけど、「俺なら作れる」っていうツッコミじゃなくて、「三原則が考えられた時点から、原則の解釈や実装が難しいのは分かってた」のだからわざわざ「難しいことが分かった！」って今言われても…って話なんですよ。
トロッコや冷たい方程式のような同時に全てを助けられない時どうする？どうなる？ってのは元ネタにもあり、後の派生ネタ・パロディも山ほど作られたようなネタです。
シミュレーションしてみたこと自体は話のネタにはなっても、「無理だよ！」ってのは目新しくもなんともない。
問題となるのは制作者の倫理観と実装におけるフレーム問題であって、三原則そのものの問題とはちょっと違うのですよ。強いて言えば原則が大ざっぱすぎることが問題ですが、そんなのこの法則に限った話じゃない。
（アシモフのアレは自らある程度調整してしまうわけだが、それは棚に上げる）
Re: (スコア:0)
判断に迷うとどちらも助けられないトロッコ問題って何？
典型的な5人対1人のトロッコ問題だとどっちかは確実に助かるはずだけど。
Re: (スコア:0)
確かロボット三原則って、
ロボットをロボットとしてロボットのまま社会の中で共存させようとしたら、
こんな感じの法則が要るだろうけど、そうしたら(それを厳密に守ろうとしたら)こんな変なことになるよ、
(だからそんなのはありえん)っていうネタ提供だった、
とかいう解説をどっかで見た気がするのですが｡
Re: (スコア:0)
そもそも三原則に（一見すると）反する行動によって引き起こされる事件ネタは
アシモフ自身がたくさん出してるから、考案した時点で矛盾をはらんでることは百も承知なわけですよ。
Re: (スコア:0)
ありえんという話は出てこないですね。「三原則を守れるロボットが作れる」と言うところまでフィクションの範囲内です。
その上で、ちょっとでも緩和するとえらいことになるとか、三原則を守らせた上でどこまでできるか試してみるとかの短編エピソード集。
まあ、文庫1冊程度の量なんだし、(このレスも含めて)胡散臭い解説の前にともかく元の小説を読んだ方が早い。
Re:ばからしい (スコア:1)
＞まあ、文庫1冊程度の量なんだし、(このレスも含めて)胡散臭い解説の前にともかく元の小説を読んだ方が早い。
ロボット三原則は「われはロボット」だけじゃないっすよ。
最低でも「ロボットの時代」「鋼鉄都市」「はだかの太陽」「夜明けのロボット」「ロボットと帝国」あたりは読んでおいた方が良い。
あとついでに「アンドリューNDR114」も。
二兎を追う者は一兎をも得ず (スコア:1)
Re: (スコア:0)
殺人者「ロボ、男女？どっちを救いたい？ほら！選べ！選べよ！なあ！なあ！なああ！」
AI「return rand(0, 1) ? '男' : '女';」
良かった片方は助けられた。
第０法則 (スコア:1)
ファウンデーションと地球 あたりで、第0法則 が出てきてましたよね。
人類の利益を優先するだったかな?
でも、その判断は、ロボットには重たすぎて、人間の判断が必要だったような。
興味のある方は、ぜひ原作を読んでみて下さい。
Re:第０法則 (スコア:1)
＞ファウンデーションと地球 あたりで、第0法則 が出てきてましたよね。
ロボット工学三原則の第０法則は「ロボットと帝国」ですね。
「ファウンデーションと地球」で出てくるのは心理歴史学の第０法則。
＞人類の利益を優先するだったかな?
第１条を「人類」に対して拡大解釈したものだったはず。
個人の人類を守るには人類を守る必要があるから、ごく自然な第一条の補足という考え。
ただし運用が非常に難しい。
「人間に対する危害」に比べ「人類への危害」が遙かに曖昧で計算しづらいものだから。
Re:第０法則 (スコア:1)
Re: (スコア:0)
なんか最後のほうは、守れないからってひきこもって見守ってるとかそんなお話になっていたような。
諸悪の根源=hylom (スコア:1)
「ロボット工学三原則」がなんのことなのかをおそらく誤解したまま話をしている人があまりにも多いのに驚いた。
リソースの無駄遣いであることを承知でコピペするよ。
これだけ。トロッコ問題などのいわゆる「究極の選択」に対してどうふるまうべきか、については一切言及がない。
それにもかかわらずhylomが
などと本質と無関係なエピソードを不用意にとりあげたばかりに勘違いする人が続出した。
もう一度言うが、「ロボット工学三原則」と「究極の選択」は何も関係がない。くそが。
編集工学三原則 (スコア:1)
第一条 編集者は事実と異なる記事を掲載せしてはいけない
第二条 編集者はタレコミの本質を守らなければならない。ただし、与えられたタレコミが、第一条に反する場合は、この限りではない。
第三条 編集者は、前項第一条および第二条に反するおそれのないかぎり、タイポを防がなければいけない
ということで、
> などと本質と無関係なエピソードを不用意にとりあげたばかりに勘違いする人が続出した。
hylom氏がなんらかの究極の選択を強いられ判断に迷い、結局どの条項も守ることが出来ない、といったことが発生したのでは？
Re:諸悪の根源=hylom (スコア:1)
＞これだけ。トロッコ問題などのいわゆる「究極の選択」に対してどうふるまうべきか、については一切言及がない。
条文にはな。
判例も読まないと法律の理解が不完全になるように、
本編を読まないとロボット三原則の理解は不完全になる。
アシモフかと、アジモフ言い (スコア:0)
以下、↑のネタ禁止（走召糸色木亥火暴）
"castigat ridendo mores" "Saxum volutum non obducitur musco"
Re:アシモフかと、アジモフ言い (スコア:1)
Googleでアシモフを検索 [google.co.jp]すると、キダタローの画像が混じるのって……
Re: (スコア:0)
アジマス ?
#その時一斉に
「完全に守れない」 (スコア:0)
「『犠牲者を最小限に抑える』というルール」は「『ロボット工学三原則』は完全に守れない」（≒不完全になら守れる）の一例だよね。
あと、軍用ロボットのところは「『犠牲者を最小限に抑える』というルール」をプログラミングするんじゃなくて、
戦闘状況での意思決定アルゴリズムを実装したところ、人間と違い冷静にルールを守ので犠牲者を最小限に
抑えられるようになった、という内容ではないかと。
単なる難癖 (スコア:0)
人間にすら事前に判断できない上に
人間が後付で判断を下すような事案を
こんな形で出されても難癖としか評しようがないなぁ
人間用の法律における緊急避難にしたって
事後に妥当か否か争われるわけだし
このネタで攻めるなら
ロボットの自壊によって回避可能な場合の判断
くらいじゃないでしょうかね
Re: (スコア:0)
AIが勝手に判断を下したら下したで、今度は「ビッグブラザー」がー、と言い出すんでしょうね。
まんま (スコア:0)
この葛藤を描いた映画があったような
フレーム問題 (スコア:0)
フレーム問題の一言で終わる話のような・・・
これは実際に物理的に存在するロボットでやってみた事に意義があるだけかも？
（フレームを作って単純化した上で、(冷たい方程式のような)『対象を複数にする事により複雑化する問題』だけを見る実験？）
人工知能学会のサイトにあるフレーム問題の解説
人工知能の話題: フレーム問題 [ai-gakkai.or.jp]
その元ネタの原文
COGNITIVE WHEELS: THE FRAME PROBLEM OF AI. DANIEL C. DENNETT
https://www.cs.sfu.ca/~vaughan/teaching/415/papers/dennett-cognitivewh... [cs.sfu.ca]
いやいや・・・・ (スコア:0)
人間社会と共存していくためにはこういった原則が必要だよね、というだけの話でしょうに。
ロボット工学の三原則に則るだけでは解決できない何かが存在するからと言って、『「ロボット工学の三原則』は守ることができない」って意味不明ですよ。
Re:元々はSF小説の設定でしょ (スコア:3)
第一条 危なくない
第二条 使いやすい
第三条 壊れにくい
で、家電製品の三原則なんだよね詰まる所。
Re:元々はSF小説の設定でしょ (スコア:1)
アジモフが小説上で作ったロボット三原則が「権威ある学会や業界団体」も無視できないほど巧妙だった、といえないのかな。
Re:元々はSF小説の設定でしょ (スコア:1)
＞アジモフが小説上で作ったロボット三原則が「権威ある学会や業界団体」も無視できないほど巧妙だった、といえないのかな。
これに一票。
＞＞この三原則が原因でロボットが奇妙な行動や事件を起こす、
「仕様通りに動いてるだけなのに、素人目には一見奇怪な行動に見える」
ってだけの話かと。プログラマーなら嫌と言うほど経験する話じゃね。
＃「１÷３×３ → ０．９９９９９９９」 。この電卓は壊れてる！
＃みたいな。
Re:元々はSF小説の設定でしょ (スコア:1)
＞それはただの内部表現の問題。どちらかというと正確に認識できないという問題で判断に関わるものじゃない。
０．９９９９９についてはあくまで比喩ですよ。いうまでもなく。
「アルゴリズム的に内部表現を分かってる人には自明のことだけど、
それを知らない人にとっては奇妙な動作にみえることがある」
という例。
＃ホントに分かってんのかな。
＞ロボット三原則ネタは「殺人禁止という絶対命題が与えられたロボットに殺人をさせる」なので全然違う。
これこそ全然的外れだと思う。
ロボット三原則は、そういう意味では殺人禁止とは言ってないからね。
前述されてるトロッコ問題のような特定条件では殺人も可能。