アカウント名:
パスワード:
もしロボットが普及して社会に受入れられるとしたら…
こういう条件を守ってないと普及しないよねって事を提示しただけでさ、
それがさも憲法とか聖書の一文のように扱われるのって
なんだか変だよね。
専門家で真剣に三原則を実装ようとしたり、研究したりしている人はいないと思うけど。話の初めに話題に引き込むネタとして出したり、考え方の一例として挙げたり、内輪受け(ロボット研究者や人工知能の研究者でアジモフのロボット物を読んだことのない人は、まずいないだろう)のジョークとしてだったり、みんなそんなもんだと思う。
彼らは、三原則が実際には(あるいは現状の技術レベルでは)到底実現不可能だというのをよくわかっている。
ときたま、よくわかってない今回の研究者のような非専門家の「にわか」が大真面目に扱って、白い目で見られる。
>完璧なロボット三原則など到底無理なのは誰でも分かると思いますが、そもそも完璧なロボット工学三原則を実装したとしても問題多発することが当のアシモフの小説で書かれているわけですけどね
ロボット三原則には文字通り3つの原則があるが、「まずは」第1原則だけで考えよう。
1.第一条ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。
さて、目の前で木に登っていた男性が落下しそうになっている。ロボットはこれを救助すべきだろうか。数秒単位での未来予測では助けずに看過することはNGとなるが、それが正しいとは限らない。
このロボットは複数のプロセッサを積んでおり、かなり正確に未来を予測できる。目の前の男が、実はテロリストで、数日後に銃を人混みに向けて乱射することをロボットの高性能プロセッサAは予測した。この男が数日後に起こす事件で、とある女性が亡くなることを高性能プロセッサBは予測した。その女性が生存した場合、全然関係ない男性と結婚し子を儲けることをプロセッサCは予測した。生まれてくる子供は天才的な政治家であるが、独裁者として突っ走り多くの人を殺す恐怖政治を行うことをプロセッサDは予測した。しかしその独裁によって粛正される人の中には、世界の崩壊を望む狂信的科学者が居て、粛正されなかった場合人類を滅ぼすことをプロセッサEは予測した。そしてこれらの結果に別の方法で干渉する方法が無いことをロボットは他のプロセッサーを使用し、数千分の1秒で判定をくだした。「ヤツを見殺しにしろ、そうしないと人類は滅びる」と。
その結果、ロボットはその時点ではまだ何の罪もおかしていなかった男性を見殺しにした。
というぐらいの未来予測ができないとロボット三原則の第一ですら遵守できない。少し判断を誤ったり、演算能力が足りなければ真逆の結果を生むだけだ。つまるところ本質的な意味では無限ではないが、第一原則を遵守するには「この世の全ての人間や動物、天変地異などを正確に予測した上で、ロボットがどう介入しても最後に人類が滅びるパターン」までを計算し尽くした上で、その中で一番人類が長く生きるルートをロボットは選択し続けなければいけない。それも世の中で次々に起こる事象に対して、一瞬の判断で、だ。それが「ロボット三原則」の第一条に求められるスペックである。
ところで、現実はといえば、ロボットが「落ちそうな人が居る」ことを正しく認識できるか微妙だし、認識したところでそれが誰だかを正確には判定できない。顔の判定だけでも時間がかかり、その上データベースからその人のパーソナル情報まで取得し終わった頃には、その人は地面に落下してトマトのように潰れているだろう。
要求されるスペックと現実にこれほど乖離があるのに、ロボット三原則を実装することを技術者に求めようというなら、それはもう頭がおかしいとしか言いようがない。子供用のベビーカー作る人に「恒星間移動に必要なモノはSF的には~」なんて蘊蓄垂れてるようなもので、作る側からしちゃ「知らんがな」だよ。なんでこんな無理なものを実装するのに言い訳が必要なのか理解に苦しむレベルだ。コストとか意識とかじゃなく「できないことはできない」の一言で済む話でしかないんだよ。
そも「ロボット」の定義が怪しいわけで。
たとえば鉄人28号とかRX-78-2のガンダムのような、基本的に道具であって人間の操縦をもってはじめて動作するモノをロボットに含めるのか、って問題が永遠についてまわるし。(なお鉄人28号にせよガンダムにせよ、AIによる「動作の補助」は為されているので人間の制御下で動作するとはいえ、人間が意識した行為を100%正確にトレースするわけではないことは付け加えておく。なのでどちらの機体も、操縦者が「足元に居る人間を踏まないよう歩け」と指示したところで、その状況が機体の性能でカバーできない状況だった場合に人を踏み
「ロボット三原則」でいうところのロボットは、「与えられた目的に対して自律的に行動を判断する」ロボットで、だからこそ、この際の判断基準の根本制限としての三原則が設定されているわけです。だから、これはなにも「遵守」とか「神にでも」とかの大袈裟な話ではなく、自律的なプログラムを作る時に利用するフレームワーク内の安全性に関する仕様、というレベルの話です。
ガンダムはスーツです。
これが考慮されているのであれば、「ロボット三原則のようなもの」はあると思います。責任ある作成者・運用者なら当然安全対策は施しますよね。
戦闘用ロボットなら「自国の兵士は殺さない安全対策はガッチガチにされてるけど、敵兵は容赦なく殺す、ついでに敵国の民間人も怪しければ殺す」ぐらいの仕様は十分ありうるこれは別にガンダムやらエヴァやらのSF世界観の話ではなく、自律型ドローンとして割と近い将来実現しそうな話としてね
そして戦争状態にある国家でそれが運用されたら、反戦活動家や人権団体の先鋒は反対するだろうが、一般国民は自国兵士の血
わざわざ欠陥があるとわかってる原則を組み込むよりは新たによりよい原則を考案して組み込む方が建設的かと思います。
だから専門家は「ロボット工学の三原則のような(人を守る)ものが必要になる」と言って、研究していますよ。ずっと現実的なアプローチで。この前の話題になった、DeepMindの人工知能用キルスイッチ [it.srad.jp]なんかもそういう一つ。
あるいは使用法を間違えると大事故を起こしかねない装置にはまず必ず備えられている、フェイルセーフ機構なんてのも、最もシンプル化したその類の技術だね。
そうそう。それを聞きたかった。専門家の皆さんが、そういう心構えであれば安心できます。ロボット三原則はジョークと言われてしまうと心配になります。
すげー上から目線だなwww
> 専門家の皆さんが、そういう心構えであれば安心できます。
まあ
> そろそろ、ロボット三原則はジョークだよジョーク> では済まされない時代に突入しつつあるんではないですか?
という点は現実を正しく認識しているとは思えないけどな。
SFに出てくるような、自意識を持つような人工知能は、いまだどうやって作っていいか手がかりさえない状態だよ。
最近の人工知能ブームでも、今まであった画像認識、音声認識、学習などの人工知能技術の性能が大幅に上がったという量的な変化での小規模な革命。その道をどれだけ延長しても、SF的なロボットにはたどり着かない。真に「理解する」ことや自意識といった物を実現するには質的な大革命が必要だ。
だから、君を殺すかもしれないロボットが世に放たれるかも、なんて心配は当分しなくてもいいから。
現段階でロボットが低レベルだとして、それに応じた安全対策は必要ではないのですか?自動運転車が人間を轢き殺す未来はそう遠くないと思います。私は「ロボット三原則のようなもの」でも構わないから研究して欲しいと思います。オリジナルのロボット三原則を厳密に実現しろと言いたいわけではないですよ。
それは、人工知能用に何か特別なものを用意しなくても、今人間が運転している車でも持っている「自動ブレーキ」で十分なんでは?
自動ブレーキは是非とも普及して欲しいですよね。お年寄りがアクセルを踏み間違えたりした時にも有効そうだし。それはさておき、自動ブレーキも「ロボット三原則のようなもの」と考えられると思います。私みたいな素人には十分に人工知能だという印象なんですが、専門家からすると、そんなものを人工知能と言わないでくれってことになるんでしょうか。安全にブレーキを踏むって結構高度な判断だと思うのですが。
>信号や、横断禁止の表示を守らず、無謀にも幹線道路を横断するような輩は、轢き殺されても致し方ないと個人的には思いますが。
ロボット三原則の話とはずれてしまいますが、あなたは自分が運転している時、そういう横断者を轢き殺すのですか?普通は轢き殺さないですよね。その方が車にとっても安全ですから。議論があるとしたら、その横断者を保護しようとすると、他の人が危険にさらされる場合でしょうね。こういう時のためにも、やはりロボット三原則は研究しておいた方が良いと思います。そういう競合が起きた場合にどうするべきか人工知能に判断させるために。
「AI効果」という言葉がありまして、実現できない間、研究中は人工知能と呼ばれていたものが、ようやく実用化までこぎつけると、単なる「自動~」と呼ばれて人工知能の範疇から外されてしまう。だから人工知能という聖杯はいつまでたっても手に入らない。近づこうとするとゴールも逃げていく蜃気楼のようなもの、という半分笑い話。
まあ実際、これまで「AI」から「自動~」へ降格をくらった物らは、その実現方法は機械的な条件判断を複雑化させたり力技で解いているというだけで、研究時代に夢見られていた人工的な「知能」(「強いAI」と呼ばれるもの)によってそれが実現されているわけではないので、「ああ、結局またしても本当の『知能』には行き着かずに、大して目新しくもない手法と力技で実現させてしまった」とそういう落胆とともに「自動~」と呼ばれるんでしょうけど。
危うい思考ですね。あなたがハンドル握ったら事故りますね。他者が突発的な動き、不合理な動きをするなんて当然の事でしょう。
そこを裁くのは法だろうよ…
無法者には法を越えた制裁しても構わないって
どんな世紀末だwwwww
# もちろん冗談だよね!?
その問題は、人間運転車が人間を轢き殺さなくなってから解決に着手することにするよ。
それはJAP裁判特有の判決です。諸外国では「信号や、横断禁止の表示を守らず、無謀にも幹線道路を横断するような輩は、轢き殺されても致し方ない」→加えて破損した車の補償判決が出て来る国もあります。
一般大衆側の、その捉え方は危ない。
本質を見ずにお題目で喜んでると、「ロボット三原則を完璧に実装した(と称して、その実、屁理屈で三原則の隙を突いて人を殺せる)ロボットです」と言うようなのにコロッと騙される。
「天然なんとか」の類の健康い良いと称する製品やら、「遺伝子組み換え無しだから安心」というような誤魔化しやら。
なんか三原則という言葉に縛られすぎていない?必要なのは「適切な制御」であって「三原則そのもの」ではないよ。仮に、件のDeepMindのキルスイッチを作った人たちが三原則を実装したつもりでなかったのだとしたら、あなたは「絶望した! 三原則を実装しようとしない専門家に絶望した!!」とか叫んだりするの?
「適切な」も時代や状況、国によっても変わってくるから絶対的なモノではないんだよな……
たとえば日本の製造物責任法(PL法)の運用に「開発危険の抗弁」という考え方があって、言ってしまえば「開発時の科学的知見では危険性が予知できなかった場合は責任を負わなくていい」ということ(少し語弊があるかもしれないが)
ロボット工学にしたって、製造時には細心の注意を払っていても、その時の科学技術では予期できない危険性が混入することは将来的に十分考えられるし、それに対して結果論で過度に責任を追及するようなことがあってはならないと思う(それを許すと技術の進歩とその実装そのものが技術者の抱えるリスクにしかならないので)
逆説的に「安全対策を一切考慮されていないロボットでも、誰も危険性を認識せず、実際に事故が起きない」状態であれば責任を追及されることもないだろうしなあ。「適切な制御」と一般化することができないのを揶揄しているのも(広義の意味での)「ロボット三原則」の主題だと思う。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
目玉の数さえ十分あれば、どんなバグも深刻ではない -- Eric Raymond
アシモフのロボット工学三原則って (スコア:5, すばらしい洞察)
もしロボットが普及して社会に受入れられるとしたら…
こういう条件を守ってないと普及しないよねって事を提示しただけでさ、
それがさも憲法とか聖書の一文のように扱われるのって
なんだか変だよね。
Re:アシモフのロボット工学三原則って (スコア:0)
専門家で真剣に三原則を実装ようとしたり、研究したりしている人はいないと思うけど。
話の初めに話題に引き込むネタとして出したり、考え方の一例として挙げたり、
内輪受け(ロボット研究者や人工知能の研究者でアジモフのロボット物を読んだことのない人は、まずいないだろう)
のジョークとしてだったり、みんなそんなもんだと思う。
彼らは、三原則が実際には(あるいは現状の技術レベルでは)到底実現不可能だというのをよくわかっている。
ときたま、よくわかってない今回の研究者のような非専門家の「にわか」が大真面目に扱って、
白い目で見られる。
Re:アシモフのロボット工学三原則って (スコア:4, すばらしい洞察)
>完璧なロボット三原則など到底無理なのは誰でも分かると思いますが、
そもそも完璧なロボット工学三原則を実装したとしても問題多発することが当のアシモフの小説で書かれているわけですけどね
組み合わせ大爆発の話 (スコア:1)
ロボット三原則には文字通り3つの原則があるが、「まずは」第1原則だけで考えよう。
さて、目の前で木に登っていた男性が落下しそうになっている。ロボットはこれを救助すべきだろうか。
数秒単位での未来予測では助けずに看過することはNGとなるが、それが正しいとは限らない。
このロボットは複数のプロセッサを積んでおり、かなり正確に未来を予測できる。
目の前の男が、実はテロリストで、数日後に銃を人混みに向けて乱射することをロボットの高性能プロセッサAは予測した。
この男が数日後に起こす事件で、とある女性が亡くなることを高性能プロセッサBは予測した。
その女性が生存した場合、全然関係ない男性と結婚し子を儲けることをプロセッサCは予測した。
生まれてくる子供は天才的な政治家であるが、独裁者として突っ走り多くの人を殺す恐怖政治を行うことをプロセッサDは予測した。
しかしその独裁によって粛正される人の中には、世界の崩壊を望む狂信的科学者が居て、粛正されなかった場合人類を滅ぼすことをプロセッサEは予測した。
そしてこれらの結果に別の方法で干渉する方法が無いことをロボットは他のプロセッサーを使用し、数千分の1秒で判定をくだした。「ヤツを見殺しにしろ、そうしないと人類は滅びる」と。
その結果、ロボットはその時点ではまだ何の罪もおかしていなかった男性を見殺しにした。
というぐらいの未来予測ができないとロボット三原則の第一ですら遵守できない。少し判断を誤ったり、演算能力が足りなければ真逆の結果を生むだけだ。
つまるところ本質的な意味では無限ではないが、第一原則を遵守するには「この世の全ての人間や動物、天変地異などを正確に予測した上で、ロボットがどう介入しても最後に人類が滅びるパターン」までを計算し尽くした上で、その中で一番人類が長く生きるルートをロボットは選択し続けなければいけない。それも世の中で次々に起こる事象に対して、一瞬の判断で、だ。
それが「ロボット三原則」の第一条に求められるスペックである。
ところで、現実はといえば、ロボットが「落ちそうな人が居る」ことを正しく認識できるか微妙だし、認識したところでそれが誰だかを正確には判定できない。顔の判定だけでも時間がかかり、その上データベースからその人のパーソナル情報まで取得し終わった頃には、その人は地面に落下してトマトのように潰れているだろう。
要求されるスペックと現実にこれほど乖離があるのに、ロボット三原則を実装することを技術者に求めようというなら、それはもう頭がおかしいとしか言いようがない。子供用のベビーカー作る人に「恒星間移動に必要なモノはSF的には~」なんて蘊蓄垂れてるようなもので、作る側からしちゃ「知らんがな」だよ。
なんでこんな無理なものを実装するのに言い訳が必要なのか理解に苦しむレベルだ。コストとか意識とかじゃなく「できないことはできない」の一言で済む話でしかないんだよ。
Re: (スコア:0)
そも「ロボット」の定義が怪しいわけで。
たとえば鉄人28号とかRX-78-2のガンダムのような、基本的に道具であって人間の操縦をもってはじめて動作するモノをロボットに含めるのか、って問題が永遠についてまわるし。(なお鉄人28号にせよガンダムにせよ、AIによる「動作の補助」は為されているので人間の制御下で動作するとはいえ、人間が意識した行為を100%正確にトレースするわけではないことは付け加えておく。なのでどちらの機体も、操縦者が「足元に居る人間を踏まないよう歩け」と指示したところで、その状況が機体の性能でカバーできない状況だった場合に人を踏み
Re:アシモフのロボット工学三原則って (スコア:1)
「ロボット三原則」でいうところのロボットは、「与えられた目的に対して自律的に行動を判断する」ロボットで、だからこそ、この際の判断基準の根本制限としての三原則が設定されているわけです。
だから、これはなにも「遵守」とか「神にでも」とかの大袈裟な話ではなく、自律的なプログラムを作る時に利用するフレームワーク内の安全性に関する仕様、というレベルの話です。
脊髄反射 (スコア:0)
ガンダムはスーツです。
Re: (スコア:0)
戦闘用ロボットなら「自国の兵士は殺さない安全対策はガッチガチにされてるけど、敵兵は容赦なく殺す、ついでに敵国の民間人も怪しければ殺す」ぐらいの仕様は十分ありうる
これは別にガンダムやらエヴァやらのSF世界観の話ではなく、自律型ドローンとして割と近い将来実現しそうな話としてね
そして戦争状態にある国家でそれが運用されたら、反戦活動家や人権団体の先鋒は反対するだろうが、一般国民は自国兵士の血
Re: (スコア:0)
わざわざ欠陥があるとわかってる原則を組み込むよりは新たによりよい原則を考案して組み込む方が建設的かと思います。
Re: (スコア:0)
だから専門家は「ロボット工学の三原則のような(人を守る)ものが必要になる」と言って、
研究していますよ。ずっと現実的なアプローチで。
この前の話題になった、DeepMindの人工知能用キルスイッチ [it.srad.jp]なんかもそういう一つ。
あるいは使用法を間違えると大事故を起こしかねない装置にはまず必ず備えられている、
フェイルセーフ機構なんてのも、最もシンプル化したその類の技術だね。
Re: (スコア:0, すばらしい洞察)
そうそう。それを聞きたかった。
専門家の皆さんが、そういう心構えであれば安心できます。
ロボット三原則はジョークと言われてしまうと心配になります。
Re: (スコア:0)
すげー上から目線だなwww
Re: (スコア:0)
> 専門家の皆さんが、そういう心構えであれば安心できます。
まあ
> そろそろ、ロボット三原則はジョークだよジョーク
> では済まされない時代に突入しつつあるんではないですか?
という点は現実を正しく認識しているとは思えないけどな。
SFに出てくるような、自意識を持つような人工知能は、
いまだどうやって作っていいか手がかりさえない状態だよ。
最近の人工知能ブームでも、今まであった画像認識、音声認識、学習などの
人工知能技術の性能が大幅に上がったという量的な変化での小規模な革命。
その道をどれだけ延長しても、SF的なロボットにはたどり着かない。
真に「理解する」ことや自意識といった物を実現するには質的な大革命が必要だ。
だから、君を殺すかもしれないロボットが世に放たれるかも、なんて心配は
当分しなくてもいいから。
Re: (スコア:0)
現段階でロボットが低レベルだとして、それに応じた安全対策は必要ではないのですか?
自動運転車が人間を轢き殺す未来はそう遠くないと思います。
私は「ロボット三原則のようなもの」でも構わないから研究して欲しいと思います。
オリジナルのロボット三原則を厳密に実現しろと言いたいわけではないですよ。
Re:アシモフのロボット工学三原則って (スコア:1)
信号や、横断禁止の表示を守らず、無謀にも幹線道路を横断するような輩は、轢き殺されても致し方ないと個人的には思いますが。
Re: (スコア:0)
それは、人工知能用に何か特別なものを用意しなくても、
今人間が運転している車でも持っている「自動ブレーキ」で十分なんでは?
Re: (スコア:0)
自動ブレーキは是非とも普及して欲しいですよね。
お年寄りがアクセルを踏み間違えたりした時にも有効そうだし。
それはさておき、自動ブレーキも「ロボット三原則のようなもの」と
考えられると思います。私みたいな素人には十分に人工知能だという印象なんですが、
専門家からすると、そんなものを人工知能と言わないでくれってことになるんでしょうか。
安全にブレーキを踏むって結構高度な判断だと思うのですが。
Re: (スコア:0)
>信号や、横断禁止の表示を守らず、無謀にも幹線道路を横断するような輩は、轢き殺されても致し方ないと個人的には思いますが。
ロボット三原則の話とはずれてしまいますが、
あなたは自分が運転している時、そういう横断者を轢き殺すのですか?
普通は轢き殺さないですよね。その方が車にとっても安全ですから。
議論があるとしたら、その横断者を保護しようとすると、他の人が危険にさらされる場合でしょうね。
こういう時のためにも、やはりロボット三原則は研究しておいた方が良いと思います。
そういう競合が起きた場合にどうするべきか人工知能に判断させるために。
Re: (スコア:0)
「AI効果」という言葉がありまして、実現できない間、研究中は人工知能と呼ばれていたものが、
ようやく実用化までこぎつけると、単なる「自動~」と呼ばれて人工知能の範疇から外されてしまう。
だから人工知能という聖杯はいつまでたっても手に入らない。近づこうとするとゴールも逃げていく蜃気楼のようなもの、
という半分笑い話。
まあ実際、これまで「AI」から「自動~」へ降格をくらった物らは、その実現方法は機械的な条件判断を
複雑化させたり力技で解いているというだけで、研究時代に夢見られていた人工的な「知能」
(「強いAI」と呼ばれるもの)によってそれが実現されているわけではないので、
「ああ、結局またしても本当の『知能』には行き着かずに、大して目新しくもない手法と力技で実現させてしまった」
とそういう落胆とともに「自動~」と呼ばれるんでしょうけど。
Re: (スコア:0)
危うい思考ですね。あなたがハンドル握ったら事故りますね。
他者が突発的な動き、不合理な動きをするなんて当然の事でしょう。
Re:アシモフのロボット工学三原則って (スコア:1)
そこを裁くのは法だろうよ…
無法者には法を越えた制裁しても構わないって
どんな世紀末だwwwww
# もちろん冗談だよね!?
Re: (スコア:0)
その問題は、人間運転車が人間を轢き殺さなくなってから解決に着手することにするよ。
Re: (スコア:0)
それはJAP裁判特有の判決です。
諸外国では「信号や、横断禁止の表示を守らず、無謀にも幹線道路を横断するような輩は、轢き殺されても致し方ない」→加えて破損した車の補償判決が出て来る国もあります。
Re: (スコア:0)
一般大衆側の、その捉え方は危ない。
本質を見ずにお題目で喜んでると、
「ロボット三原則を完璧に実装した(と称して、その実、屁理屈で三原則の隙を突いて人を殺せる)ロボットです」
と言うようなのにコロッと騙される。
「天然なんとか」の類の健康い良いと称する製品やら、「遺伝子組み換え無しだから安心」というような誤魔化しやら。
Re: (スコア:0)
なんか三原則という言葉に縛られすぎていない?
必要なのは「適切な制御」であって「三原則そのもの」ではないよ。
仮に、件のDeepMindのキルスイッチを作った人たちが三原則を実装したつもりでなかったのだとしたら、あなたは「絶望した! 三原則を実装しようとしない専門家に絶望した!!」とか叫んだりするの?
Re: (スコア:0)
「適切な」も時代や状況、国によっても変わってくるから絶対的なモノではないんだよな……
たとえば日本の製造物責任法(PL法)の運用に「開発危険の抗弁」という考え方があって、言ってしまえば「開発時の科学的知見では危険性が予知できなかった場合は責任を負わなくていい」ということ(少し語弊があるかもしれないが)
ロボット工学にしたって、製造時には細心の注意を払っていても、その時の科学技術では予期できない危険性が混入することは将来的に十分考えられるし、それに対して結果論で過度に責任を追及するようなことがあってはならないと思う(それを許すと技術の進歩とその実装そのものが技術者の抱えるリスクにしかならないので)
逆説的に「安全対策を一切考慮されていないロボットでも、誰も危険性を認識せず、実際に事故が起きない」状態であれば責任を追及されることもないだろうしなあ。
「適切な制御」と一般化することができないのを揶揄しているのも(広義の意味での)「ロボット三原則」の主題だと思う。