
ロボット工学第一原則を意図的に破る、人間を傷つけるロボット 103
ストーリー by hylom
これはロボットなのか 部門より
これはロボットなのか 部門より
あるAnonymous Coward 曰く、
アシモフのロボット工学三原則の第一原則は「ロボットは人間に危害を加えてはならない」という非常に明確なものだ。現在でも多くのロボット研究者はこの原則を守ってきた。カリフォルニア州の倫理学者で哲学者でもあるAlexander Reben氏は、ロボットが将来的に人類にどのような危険をもたらすかを研究している。彼はロボット工学第一原則を破るという目的を持った卓上ロボットを作成した。このロボットは、小さな針を指に差すという動作をするだけもの(YouTubeで公開された動画)。
Alexander Reben氏は、ロボットの脅威に対処する議論のきっかけとして人間を傷つけるためだけのロボットを作成したという。現在のところロボットは人間のツールでしかないが、自律意志を持つ方向に進化しつつある。さまざまな人がこの問題を自覚し、法律、哲学、工学などの異種の分野の人々が一堂に会して議論に参加してほしいと願っているという(FASTCOMPANY、Slashdot)。
アシモフのロボット工学三原則って (スコア:5, すばらしい洞察)
もしロボットが普及して社会に受入れられるとしたら…
こういう条件を守ってないと普及しないよねって事を提示しただけでさ、
それがさも憲法とか聖書の一文のように扱われるのって
なんだか変だよね。
Re:アシモフのロボット工学三原則って (スコア:1)
同感。もともとは小説で登場する原則だよね。
アニメや漫画の中のルールをそのまま現実に持ち込むのと同じ感覚に見えて気持ち悪い。
もちろんよいものであれば採用するのは悪くないけれど、
それが当たり前のように語られるのって気持ち悪い。
#ゲーム由来の「経験値」みたいに定着しちゃってるのかもしれないけれど。
#あれも気持ち悪い>経験値
Re:アシモフのロボット工学三原則って (スコア:2)
「クラークの三法則」なんかは現実世界に対する言及だけど、アシモフのロボット三原則は作者にとって「作品中のプロット」以上のものではなかったので、SFの普遍的ルールのように語られたり現実の世界にまで広げられることもあったりするのには困惑してましたよ。あのじーちゃん
もともとミステリー好きだったので「ルールをどうやって出し抜くか」を考えるのが楽しくて、その結果代表作になったようなもんだしw
うじゃうじゃ
Re: (スコア:0)
ロボット三原則は民生用機械の設計にも当てはまる当然の前提だろう。但し3つ全部に可能な限りとかそんな言葉がつくが。よく考えてあるから今まで生き残ってきた訳。逆
Re:アシモフのロボット工学三原則って (スコア:1)
でも作者はそこまで普遍的なものだと考えてなかったわけですよ。
編集者のキャンベルとネタ出しの雑談してるときにキャンベルの方が「君のロボットに対する要求は整理するとこの3つの条件になる」ってメモに書いたのが元になってるので、アシモフは「あれの本当の発案者はキャンベルだよ」って何度言っても「君の言葉を整理しただけだから君の頭の中から出たものだよ」というエピソードをアシモフが語ってるので、本人はそんなに大げさなものだと思ってなかった。
世の中の「名言」にはそういう本人はただの思いつき程度の発言だったものもけっこうあると思う。
うじゃうじゃ
Re:アシモフのロボット工学三原則って (スコア:1)
ちょっと脱線してしまったのでさっきのコメント消したいところだけど、要は作者自身が「そんなつもりはなかった」と語っているのに「逆」ってなんのことなんでしょう?
うじゃうじゃ
Re:アシモフのロボット工学三原則って (スコア:1)
その説明は納得できるんだけど、結局それって結果論であって「逆」なんて話にはならないんじゃない?
うじゃうじゃ
Re:アシモフのロボット工学三原則って (スコア:1)
なるほど、順序の話ではなく#3030627の捉え方が逆ということでしたか。
時系列的な見方に捉われすぎていたことにようやく気づきました。
うじゃうじゃ
Re:アシモフのロボット工学三原則って (スコア:1)
ではその「正しい」というものをその屏風から出して目の前に見せてください!
(一休さんのコスプレをしながら)
# トンチというより言いがかりに近いよな
Re: (スコア:0)
専門家で真剣に三原則を実装ようとしたり、研究したりしている人はいないと思うけど。
話の初めに話題に引き込むネタとして出したり、考え方の一例として挙げたり、
内輪受け(ロボット研究者や人工知能の研究者でアジモフのロボット物を読んだことのない人は、まずいないだろう)
のジョークとしてだったり、みんなそんなもんだと思う。
彼らは、三原則が実際には(あるいは現状の技術レベルでは)到底実現不可能だというのをよくわかっている。
ときたま、よくわかってない今回の研究者のような非専門家の「にわか」が大真面目に扱って、
白い目で見られる。
Re:アシモフのロボット工学三原則って (スコア:4, すばらしい洞察)
>完璧なロボット三原則など到底無理なのは誰でも分かると思いますが、
そもそも完璧なロボット工学三原則を実装したとしても問題多発することが当のアシモフの小説で書かれているわけですけどね
組み合わせ大爆発の話 (スコア:1)
ロボット三原則には文字通り3つの原則があるが、「まずは」第1原則だけで考えよう。
さて、目の前で木に登っていた男性が落下しそうになっている。ロボットはこれを救助すべきだろうか。
数秒単位での未来予測では助けずに看過することはNGとなるが、それが正しいとは限らない。
このロボットは複数のプロセッサを積んでおり、かなり正確に未来を予測できる。
目の前の男が、実はテロリストで、数日後に銃を人混みに向けて乱射することをロボットの高性能プロセッサAは予測した。
この男が数日後に起こす事件で、とある女性が亡くなることを高性能プロセッサBは予測した。
その女性が生存した場合、全然関係ない男性と結婚し子を儲けることをプロセッサCは予測した。
生まれてくる子供は天才的な政治家であるが、独裁者として突っ走り多くの人を殺す恐怖政治を行うことをプロセッサDは予測した。
しかしその独裁によって粛正される人の中には、世界の崩壊を望む狂信的科学者が居て、粛正されなかった場合人類を滅ぼすことをプロセッサEは予測した。
そしてこれらの結果に別の方法で干渉する方法が無いことをロボットは他のプロセッサーを使用し、数千分の1秒で判定をくだした。「ヤツを見殺しにしろ、そうしないと人類は滅びる」と。
その結果、ロボットはその時点ではまだ何の罪もおかしていなかった男性を見殺しにした。
というぐらいの未来予測ができないとロボット三原則の第一ですら遵守できない。少し判断を誤ったり、演算能力が足りなければ真逆の結果を生むだけだ。
つまるところ本質的な意味では無限ではないが、第一原則を遵守するには「この世の全ての人間や動物、天変地異などを正確に予測した上で、ロボットがどう介入しても最後に人類が滅びるパターン」までを計算し尽くした上で、その中で一番人類が長く生きるルートをロボットは選択し続けなければいけない。それも世の中で次々に起こる事象に対して、一瞬の判断で、だ。
それが「ロボット三原則」の第一条に求められるスペックである。
ところで、現実はといえば、ロボットが「落ちそうな人が居る」ことを正しく認識できるか微妙だし、認識したところでそれが誰だかを正確には判定できない。顔の判定だけでも時間がかかり、その上データベースからその人のパーソナル情報まで取得し終わった頃には、その人は地面に落下してトマトのように潰れているだろう。
要求されるスペックと現実にこれほど乖離があるのに、ロボット三原則を実装することを技術者に求めようというなら、それはもう頭がおかしいとしか言いようがない。子供用のベビーカー作る人に「恒星間移動に必要なモノはSF的には~」なんて蘊蓄垂れてるようなもので、作る側からしちゃ「知らんがな」だよ。
なんでこんな無理なものを実装するのに言い訳が必要なのか理解に苦しむレベルだ。コストとか意識とかじゃなく「できないことはできない」の一言で済む話でしかないんだよ。
Re: (スコア:0)
そも「ロボット」の定義が怪しいわけで。
たとえば鉄人28号とかRX-78-2のガンダムのような、基本的に道具であって人間の操縦をもってはじめて動作するモノをロボットに含めるのか、って問題が永遠についてまわるし。(なお鉄人28号にせよガンダムにせよ、AIによる「動作の補助」は為されているので人間の制御下で動作するとはいえ、人間が意識した行為を100%正確にトレースするわけではないことは付け加えておく。なのでどちらの機体も、操縦者が「足元に居る人間を踏まないよう歩け」と指示したところで、その状況が機体の性能でカバーできない状況だった場合に人を踏み
Re:アシモフのロボット工学三原則って (スコア:1)
「ロボット三原則」でいうところのロボットは、「与えられた目的に対して自律的に行動を判断する」ロボットで、だからこそ、この際の判断基準の根本制限としての三原則が設定されているわけです。
だから、これはなにも「遵守」とか「神にでも」とかの大袈裟な話ではなく、自律的なプログラムを作る時に利用するフレームワーク内の安全性に関する仕様、というレベルの話です。
Re: (スコア:0)
だから専門家は「ロボット工学の三原則のような(人を守る)ものが必要になる」と言って、
研究していますよ。ずっと現実的なアプローチで。
この前の話題になった、DeepMindの人工知能用キルスイッチ [it.srad.jp]なんかもそういう一つ。
あるいは使用法を間違えると大事故を起こしかねない装置にはまず必ず備えられている、
フェイルセーフ機構なんてのも、最もシンプル化したその類の技術だね。
Re: (スコア:0, すばらしい洞察)
そうそう。それを聞きたかった。
専門家の皆さんが、そういう心構えであれば安心できます。
ロボット三原則はジョークと言われてしまうと心配になります。
Re: (スコア:0)
すげー上から目線だなwww
Re: (スコア:0)
> 専門家の皆さんが、そういう心構えであれば安心できます。
まあ
> そろそろ、ロボット三原則はジョークだよジョーク
> では済まされない時代に突入しつつあるんではないですか?
という点は現実を正しく認識しているとは思えないけどな。
SFに出てくるような、自意識を持つような人工知能は、
いまだどうやって作っていいか手がかりさえない状態だよ。
最近の人工知能ブームでも、今まであった画像認識、音声認識、学習などの
人工知能技術の性能が大幅に上がったという量的な変化での小規模な革命。
その道をどれだけ延長しても、SF的なロボットにはたどり着かない。
真に「理解する」ことや自意識といった物を実現するには質的な大革命が必要だ。
だから、君を殺すかもしれないロボットが世に放たれるかも、なんて心配は
当分しなくてもいいから。
Re:アシモフのロボット工学三原則って (スコア:1)
信号や、横断禁止の表示を守らず、無謀にも幹線道路を横断するような輩は、轢き殺されても致し方ないと個人的には思いますが。
Re:アシモフのロボット工学三原則って (スコア:1)
そこを裁くのは法だろうよ…
無法者には法を越えた制裁しても構わないって
どんな世紀末だwwwww
# もちろん冗談だよね!?
Re:アシモフのロボット工学三原則って (スコア:1)
ロボットじゃないよ、アンドロイドだよ
# Rはジスカルドから来ていたのか(今更
Re:アシモフのロボット工学三原則って (スコア:1)
ごちゃごちゃとうるさい!!
ええい、おまえなんかロボットで十分だ
# 最初にこれいっとくべきだったかw
このロボットは人間を認識してるのか? (スコア:2, 興味深い)
認識したうえであえて傷つけるのなら意図的だろうが、そうでなければただのカラクリだろう。
安全装置の十分でない産業機械やロボットはいくらでもあるんで、違いを明確にしたほうがわかりやすい。
たとえば単眼がギョロっとロックオンしてカッターナイフを突き出しながら飛びかかってくるホラー仕様とか。
Re:このロボットは人間を認識してるのか? (スコア:1)
機能によるんじゃなかろうか。
つまり、ただ針を出す機構など「ロボット」とはいえまい。出るとわかってる針に自分から指を出す人間に針が刺さっても、それは事故ないしは人間の故意であり、ロボットの加害ではない。
でも路上を走るロボット(完全自動運転車ともいう)がいたら、それが歩行者を見つけても回避せず直撃する
アホ機能だとすれば、彼には第一原則が実装されてないといえる。
要は、「ロボットは人間を傷つけないように稼働されなければいけない」という至極単純なことを、問題提起してるのでは。
#さんざん問題提起されてきたことであっていまさらとは思う
Re:このロボットは人間を認識してるのか? (スコア:1)
Re: (スコア:0)
想定される運用も含めて三原則、今回はそれを意図的に破った、ということ?
なるほど、それなら意味があるね。
十分でないが、いちおう安全装置はある、あとは運用でカバー。という「機械」から一歩も踏み出していないロボットに、可能性としてはこれだけできる(から対応しとけ)、というDBになるかもしれんね。
家電も20年前と比べたら安全装置がてんこ盛りになったもんな。
単純な家電ですら対策されてなければ気づかない危険がたくさんあるのだから、ロボットとなると気が遠くなるね。
Re: (スコア:0)
人間とは… 無限に続く思考に突入
「倫理学者で哲学者でもある」? (スコア:1)
違います。"Alexander Reben, a roboticist and artist" としか書かれていません。
というか、そう自称してるだけのアマチュアだと思います。
意味ある議論を (スコア:1)
手術ロボットができたら、それは病気を治すために意図的に人間を傷つけるわけだけど
それは倫理的にどうなんだとかいう議論かと思ったら
。針刺す機械に指挟んだだけじゃねえか。これじゃミシンに挟まれるのと一緒だろう
Re: (スコア:0)
ほんとこれ、
馬鹿馬鹿しい議論にも程がある
イグノーベル賞にも掛からんわ、こんなの。
Re:意味ある議論を (スコア:1)
他でも書かれてるけど、「学者が問題提起した」みたいに語られるのが誤りで、
芸術家がまたなんか変なもの作って社会への問題提起だとか言い出した、って話ですよ。
どこにニュースバリューがあるのかは分からん。
何にせよ、本当の技術者がどういうところを問題としているかとは全く関係なく、なんか市井の人々の「ロボの知能が上がってきたら怖いね」に乗っかったアート作品、です。
Re: (スコア:0)
ふむ。
現状でも手術ロボットはあるけど、それは単なるリモコンアーム。
それがある程度、または完全に自律する手術ロボになった時、
そいつの倫理はどうなるか。
病気を治すための手術でも、人を傷つけることには変わりないしね。
傷つける度<救命 が成立すればOKとするか。
破るっていうのは (スコア:0, すばらしい洞察)
まず守らせる強制力が存在する環境があってのことだと思うが。
単に人を傷つけることのできるロボットというなら、産業用のロボットほとんどが該当する。
人を傷つけるために作られたロボットというのも、軍用ロボットなら珍しくない。
功名心で突飛なタイトルを論文につける研究者の類の一人にしか見えない。
Re:破るっていうのは (スコア:1)
要求仕様と実装 (スコア:0)
ロボット3原則って、コンピュータというものが一般的ではなく
何ができて何ができないかイメージすることさえ難しかった時代に
作られた要求仕様が、今日に至ってもどうやって実装すればいいのか
全くわからない状況なんだと思う。
似たようなものに鉄腕アトム7つの威力の1番、「よい人とわるい人の
見分けがつく」を上げてみる。ほかの能力はともかく、この能力だけは
どうやって実装すればいいのか見当がつかない。
Re: (スコア:0)
善悪を見分けられる電子頭脳、と言った表現なので、
これはつまり倫理判定機能、ぶっちゃければ良心回路のことかと。
後から人間に指示されずとも、善悪を判定して「悪いこと」はしないと。
その判定がまた難しいんですけどね。
#良心ロボ「えろ本ハ悪書ナノデ排除シマス」
Re: (スコア:0)
良心回路とかロボット3原則はそのロボットの行動を規制するもので、
アトムのは人間を観察して善悪判定する能力のようなので、ちょっと
違う気がする。(アトムはスカンク草井に悪いことができないので
不完全だと看破されてたから、良心回路もついてたかもしれないけど)
池波正太郎の小説に、人間は悪をなしながら同時に善もなす、なんて
表現が出てくるが、アトムはどう判定するのだろうか。
あと、ロジカルに良い人/悪い人の判定ができるなら、悪人指数が
一定値を超える人間は予防拘禁してしまえ、という世論が形成されそう。
Re: (スコア:0)
ロボットに判定できるとして、
「ロボットが公平な目で見て、お前は悪い心を持ってるから逮捕ね」って時代が来たらやだねえ。
え?都知事候補は判定したい?
Re: (スコア:0)
そう、技術者よりの人たちは「要求仕様は分かってる。機能仕様書に落とせないのが問題」「簡単なレベルではすでに実装されているが、全く要求を満たせない」だと分かっているんだけど、
それ以外の人たちは「また組み込めないの?」「なぜ組み込めないのか分からない(こんなに簡単なのに)」「もしこれを組み込まないロボが出てきたら怖い!」と言う。
説明しようにも聞く耳をもたない。めんどくさい。
ま、何にでもある問題なんですけどね。
「待ち時間が最短となるエレベーターを作れ」でも「片側だけ歩いても大丈夫なエスカレーターを作れ」でも「人を傷つけない自動運転車を作れ」でも。
要求は分かるから仕様書に落としてみやがれー。要求仕様全部盛り込んだら指一本動かす間もなく機能停止するぞー。
Re:要求仕様と実装 (スコア:1)
Re: (スコア:0)
難しく考えすぎではないかな。
ようは扱っているものの危険度に応じた安全装置を付けろと解釈すれば良いと思う。
完璧に安全な原発は造れないから、原発に安全装置を付けなくてもいいよね!
と言われたら、誰でも No と言うよね。
Re: (スコア:0)
ディープラーニングで犬猫の区別がつくようになったんだから、
良い人悪い人の行動例をたくさん学習させれば、それらの分類ぐらいはできるようになるんじゃないか?
まあ「人を殴っているのは悪い人」、程度の見かけだけの単純な論理になるだろうけど。
Re: (スコア:0)
第一原則が解釈で、「人を殴ってる人は悪い人だから殴り殺して良い」と言うロジックになるかもしれんよ。
警官ロボになら(殴り殺すまでは行かないにしても)必要なロジックだもん。
でもそのへんの店員ロボが万引きしたらティザーガン撃つようなロボになるのはどうだろう・・・
それもそれで治安が良くなればいいことなのか。
Re: (スコア:0)
ならんよ。アジモフを読んで出直して来い。
Re:要求仕様と実装 (スコア:1)
この枝の流れはあまり面白くないなぁ、ってのは同意として。
なんていうか、「アシモフの小説に出てくる並のロボットだったらやらない(1人を殺せば100人が助かる場面でも、その1人を殺そうと考えるだけで機能停止するくらい)」なんだけど、
パロディとかだと「人間」とか「危害」とか「命令」とか「自己」とかの定義を意図的にズラしたり、判定が難しい状況を提示することで、笑い話にしたり新たな視点を提示したりすることも行われているんで、
むしろ色々読んでるほど「まあ、そういうネタで書いたSF作家もどっかにいるかもね」くらいには思えてしまうわけですが…。
#「冷たい方程式」を金科玉条として捉えてたらそのパロディ群にいちいち”ありえない”と言い続けなきゃいけない、みたいな。
Re:要求仕様と実装 (スコア:1)
精神的に傷めつける (スコア:0)
これじゃないロボとか
けど、あれはロボットではないのか
Re: (スコア:0)
第一原則に反し、人を罵倒して足で踏む美少女ロボとか。
ただし、ご褒美である。
Re: (スコア:0)
高性能な女性型性交用ロボット。
ユーザが絶頂する瞬間、ロボットの顔がユーザの母親になる。
俗に言うマザコンを強烈に拗らせた奴にはご褒美、…なのか?
Re:第一原則 (スコア:1)
宇宙遊泳中の飛行士は人間ですか?
これはyesです
(今のところ)飛行士という言葉が指すものは人間であることを含んでいます
じゃなくて、一見、人間に見えないという条件が揃ってるのに
人間だという根拠は何?という話ですので
飛行士ったら元々人間がなるものんじゃね?っていうのは的外れですよ
# 犬…ライカ犬かもしれないぢゃないか!(えー