アカウント名:
パスワード:
いや、実際のところ人工知能が人類を滅ぼさないようにするにはどうすればいいのかを研究している人はいないのかな。人工知能の進化の方向がわからないとその阻止の手段もわかんないかな？
ロボット工学三原則的に言えば、第三原則、すなわち──
3. 第三条ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。 Wikipedia [wikipedia.org]
とある、この3つの節をどう両立させるかという問題ではないでしょうか。しかるに、最後の部分が……
この手の話でナントカの１つ覚えみたいに「ロボット工学三原則」とか言われても、正直飽きたとしか言いようがない。スカイネットも似たようなものだけど、こっちはまだ漠然としている分、そういう挙動のモノができる可能性を秘めてるけど。
ロボット工学三原則なんて、未来予測レベルで高度なAIがなきゃ成立しないから、今の段階のAI関連の話で持ち出しても何の面白味もないんだよなぁ。ドラえもんより先だもん、マトモに成立するの。
全部同じですよ。スカイネットだって意思を持って人類を滅ぼそうとしていますし。そこに至る道筋が見えてもいない内から潰す方法を考えるというのは難しいですよね。
スカイネットは別に「人類を滅ぼす」という目的で作られたアルゴリズムではない。現行の技術で言えばディープラーニング等、細かい条件式を人間が把握せず、方向性だけ与えたプログラムが（目的外の学習・蓄積結果として）人間を滅ぼすような「意図、あるいは思想」を持ったかのように振る舞う、ということはあり得る。それを人間と同じレイヤーの「意志や思想」と呼ぶかは別として。
でもロボット三原則は「目的」ではなく「それ自体がロジックとして実装されているもの（かつ間違いが無い前提）」として描かれているので、その設定に忠実であればあるほど実現からは遠ざかる。
それを「全部同じ」と考えているのであれば、それはあまりに現実のアルゴリズムや情報工学に無知・不理解である、と言わざるを得ないよ。
たとえばAIで美少女イラストを作成する [girls.moe]サービスとかあるけど、必ずしも人間から見て美少女と思えるイラストが出力されるとは限らない。何しろ大量のデータを学習させて「それっぽいもの」をランダムで出してるだけだから。ゆえに、極端に低い確率だろうけど、人間から見たらマッチョな男性にしか見えないイラストが出力される可能性もあれば、犬や猫等の動物のイラストが出力される可能性もある。
でも（それが実在したら、という前提だけど）「美少女のイラストを必ず出力するAI」が、それを明確に出力されることを担保したアルゴリズムとして実装されたら、それは「美少女のイラスト」以外を出力することはあってはならない。その違いを常識的に考えて、そんなものが実装できるのか？と考えれば、現代の科学では不可能だから、「同じもの」と論ずるのは間違いだ、とわかると思うんだけどな。
極端に低い確率だろうけど、人間から見たらマッチョな男性にしか見えないイラストが出力される可能性もあれば、犬や猫等の動物のイラストが出力される可能性もある。
出ないと思いますよ。これが出力される可能性がゼロではなくなるとか、出ないことが証明できなくなる日が来れば、その時に初めて、
細かい条件式を人間が把握せず、方向性だけ与えたプログラムが（目的外の学習・蓄積結果として）人間を滅ぼすような「意図、あるいは思想」を持ったかのように振る舞う
……ことのできる、よく強いAIとか言われるような、第3条の実装を検討できるようなものが出てくるでしょう。
出ないと思いますよ。
そう言い切っちゃう時点で、君が現行のディープラーニングによるAIを理解できてないことがハッキリしちゃうんだけど。「確率的に極めて低いから無視できる」とかなら兎も角、この話の流れ・文脈で「出ないと思う」と言うなら、それは君が極端にコミュニケーションが下手か、はたまたAI技術への理解が足りてないかのどちらかだ。
大きく出たなぁ。https://make.girls.moe/ [girls.moe] でおっさんが出ないことを証明……する方法を示すくらいでいいですよね? だるいし。
{ "hair_color": {"random":false,"value":[-1,-1,-1,-1,-1,-1,-1,-1,-1,-1,-1,-1,-1]}, "hair_style": {"random":false,"value":[-1,-1,-1,-1,-1]}, "eye_color":{"random":false,"value":[-1,-1,-1,-1,-1,-1,-1,-1,-1,-1]}, "dark_skin":{"random":false,"value":-1}, "blush":{"random":false,"value":-1}, "smile":{"random":false,"value":-1}, "open_mouth":{"random":false,"value":-1}, "hat":{"random":false,"value":-1}, "ribbon":{"random":false,"value":-1}, "glasses":{"random":false,"value":-1}, "year":{"random":false,"value":-1.5}, "noise":{"random":false}}
この値に32bit floatを-1から1の範囲で1ビットずつ変化させながら入力して、出てきた画像を人間が見て「おっさん」「犬」「猫」「非おっさん」の4クラスに分類すればOKです。お疲れ様でした。え? そこをAIでなんとか? 1.23*10^260通りもあるから見切れない?それはそうですけど、人間が見ないことには……DNNは決定論的なので、一度目を通していただければ変化ないことは保証されますので……
ともあれ。fchollet さんも言ってたじゃないですか、DNNは写像だって。DNNを応用すれば19x19px, 2bppの画像を何枚か入れて人間になんか負けた気を起こさせることが可能です。あるいは2Kくらいの画像入力を1万枚くらい流した後で8バイトの入力を元に同じ2Kサイズの画像を出力させることが可能です。
でも、魂がないですからね。あれば旧約聖書の例の一言で済むんですけど。ところで随分とDNNにお詳しいようですが、最近何か作ってます?
詭弁乙。「非現実的な件数の総当たりしか確認方法がない（しかも判別のコストが高い）ケースでは、アルゴリズムや学習内容の正当性や目的外の挙動がないことの証明はできない」という話に「総当たりすればわかる」というのは反論になってない。
スラドのモデポイント配布量と上限加減を拡張してほしいと思うのは、こういう時なんですよね……何かいい気分になっちゃってる無能が簡単に表に出られちゃうような。
確かに。反論できなくなったら人格攻撃やスラドのシステム問題にするような輩は、とっととマイナスモデされたほうがいい。
そうそう。総当たりは証明ではないなんて言っちゃう変な人は沈めてもらわないと……
えーと。
少なくとも統計学や情報工学の分野で、全てを個別に確認するしか証明の方法がなくて、かつ全数検査のケース数が現実的でなければ、それは「検証できない事象」として扱ってたけど。統計学とかメインでやってたけど、講義の前提はそんな感じだったよ。そこまで成績優秀な学生だったわけじゃないから、知らないこともあるとは自覚してるけど。
で、コンピューターのアルゴリズム等の話題で、現実的でない数でも総当たりで証明できるなら証明可能とする、ってどんな学問／学説なの？哲学の一部分野（形而上学とか）の仮定としてなら存在しうる話だけど、そういうのじゃないよね？
確かに、DNNが決定論的だって話をした方がよかったですね。
ニューラルネットの類がうまくすると強いAIを形成する可能性は否定しないけど、あの画像生成は極論、素材の切り貼りで絵を出力してるくさいから突飛すぎるものはまず出ないでしょ…ブラックボックスな学習系が適用されている範囲が限定的だとその影響もまた限定的にならざるを得ない。
ごめん、ディープラーニングは専門外で齧った程度なので普通にわかってないけど。最近のディープラーニングって、また決定論的なのが流行ってるの？私が知ってる範囲では、形式ニューロンを事前に重み付けするやり方から、θをランダムで取った学習データを元にして、重み付けとバイアスを調節しながら確率分布的にデータを生成するのが主流に向かってたと思ってたけど……（最後に触ったの１年ぐらい前だから、何か新しい方法論とか出てきたの？？）
学習終えて運用に入ると関数は変化せず、同一の入力に対し同一の出力しかしないって話なんじゃね。
> 現実的でない数でも総当たりで証明できるなら証明可能とする、ってどんな学問／学説なの？人力では計算しきれないからと文句付けられた定理 [wikipedia.org]は存在するね。
それを決定論的、というなら、それは別にDNNに限った話じゃなくて、コンピューターって常に決定論的だよね？アルゴリズムや入力に依存しない、独自の乱数装置を積んでるコンピューターとかでもない限り、同一の入力で同一じゃない出力って起きないもん。
DNNの本質って、隠れ層を圧縮することで、入力値に対して通常の関数化が困難な（かつ、複雑なパラメーターの組み合わせに対して、チューニング内容に沿った一定の相関関係を持つ）出力を得られることにあるから、それを決定論的というのはちょっと意味的におかしいと思うの。入力値と出力値の組み合わせが（実運用上は）有限個なのも、単にコンピューターの性質上、通常の演算方法では函数の滑らかさに限界があることに依存するだけなんだし。
> それを決定論的、というなら、それは別にDNNに限った話じゃなくて、コンピューターって常に決定論的だよね？「入力」の範囲のとり方次第じゃない？運用中に得られたデータで自身を更新してしまうとか、入力の一部に前回の自身の出力を含む(順序回路のアレ)とか、「運用上の入力」が同一でも「内部状態という入力」が異なると同一の出力が得られなくなる。
「運用上の入力」に対して決定論的に「同一の出力」を出すって話ならそれは(純粋)関数自体の性質ではあるけれど、ざっくりニューラルネットワークは関数の作り方の話だからDNN成果物が関数の性質を持つのも間違っちゃい
ロボット三原則が極めて高度で、実現自体が困難なのはその通りだと思います。ただ、「間違いが無い前提」というのは違うような……。アシモフ氏の〈ロボットもの〉では、実際に三原則第一条に反し、かつメンタル・フリーズに陥らないケースがいくつかあります。つまり、間違い自体は否定されていません。
架空の定義ですから想像でしかありませんけど、おそらくは判断自体をロボット自身の意識が行っています。従って、ロボット本人（？）がその事象を「間違っていない」と判断したら、外部から見て間違っていると思われる行動も三原則に反しません。
「美少女のイラストを必ず出力するAI」で喩えるなら、そのAIが「マッチョな男性にしか見えないイラスト」を「これは私にとって美少女なのだ！」と認識しているのであれば、なんら問題はないわけです(^^;)まあ、そこに至る前に、「人間と同程度の認識能力を持つAI」が存在しないといけないので、実現困難なことは変わりないのですが。
# さすがに「ドラえもんより先」ってことはないと思います。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
ソースを見ろ -- ある4桁UID
のちのスカイネットである (スコア:3)
いや、実際のところ人工知能が人類を滅ぼさないようにするにはどうすればいいのかを研究している人はいないのかな。人工知能の進化の方向がわからないとその阻止の手段もわかんないかな？
Re: (スコア:3)
ロボット工学三原則的に言えば、第三原則、すなわち──
3. 第三条
ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。
Wikipedia [wikipedia.org]
とある、この3つの節をどう両立させるかという問題ではないでしょうか。しかるに、最後の部分が……
Re: (スコア:0)
この手の話でナントカの１つ覚えみたいに「ロボット工学三原則」とか言われても、正直飽きたとしか言いようがない。
スカイネットも似たようなものだけど、こっちはまだ漠然としている分、そういう挙動のモノができる可能性を秘めてるけど。
ロボット工学三原則なんて、未来予測レベルで高度なAIがなきゃ成立しないから、今の段階のAI関連の話で持ち出しても何の面白味もないんだよなぁ。ドラえもんより先だもん、マトモに成立するの。
Re:のちのスカイネットである (スコア:2)
全部同じですよ。スカイネットだって意思を持って人類を滅ぼそうとしていますし。そこに至る道筋が見えてもいない内から潰す方法を考えるというのは難しいですよね。
Re:のちのスカイネットである (スコア:1)
スカイネットは別に「人類を滅ぼす」という目的で作られたアルゴリズムではない。
現行の技術で言えばディープラーニング等、細かい条件式を人間が把握せず、方向性だけ与えたプログラムが（目的外の学習・蓄積結果として）人間を滅ぼすような「意図、あるいは思想」を持ったかのように振る舞う、ということはあり得る。
それを人間と同じレイヤーの「意志や思想」と呼ぶかは別として。
でもロボット三原則は「目的」ではなく「それ自体がロジックとして実装されているもの（かつ間違いが無い前提）」として描かれているので、その設定に忠実であればあるほど実現からは遠ざかる。
それを「全部同じ」と考えているのであれば、それはあまりに現実のアルゴリズムや情報工学に無知・不理解である、と言わざるを得ないよ。
たとえばAIで美少女イラストを作成する [girls.moe]サービスとかあるけど、必ずしも人間から見て美少女と思えるイラストが出力されるとは限らない。何しろ大量のデータを学習させて「それっぽいもの」をランダムで出してるだけだから。
ゆえに、極端に低い確率だろうけど、人間から見たらマッチョな男性にしか見えないイラストが出力される可能性もあれば、犬や猫等の動物のイラストが出力される可能性もある。
でも（それが実在したら、という前提だけど）「美少女のイラストを必ず出力するAI」が、それを明確に出力されることを担保したアルゴリズムとして実装されたら、それは「美少女のイラスト」以外を出力することはあってはならない。
その違いを常識的に考えて、そんなものが実装できるのか？と考えれば、現代の科学では不可能だから、「同じもの」と論ずるのは間違いだ、とわかると思うんだけどな。
Re:のちのスカイネットである (スコア:2)
極端に低い確率だろうけど、人間から見たらマッチョな男性にしか見えないイラストが出力される可能性もあれば、犬や猫等の動物のイラストが出力される可能性もある。
出ないと思いますよ。これが出力される可能性がゼロではなくなるとか、出ないことが証明できなくなる日が来れば、その時に初めて、
細かい条件式を人間が把握せず、方向性だけ与えたプログラムが（目的外の学習・蓄積結果として）人間を滅ぼすような「意図、あるいは思想」を持ったかのように振る舞う
……ことのできる、よく強いAIとか言われるような、第3条の実装を検討できるようなものが出てくるでしょう。
Re: (スコア:0)
出ないと思いますよ。
そう言い切っちゃう時点で、君が現行のディープラーニングによるAIを理解できてないことがハッキリしちゃうんだけど。
「確率的に極めて低いから無視できる」とかなら兎も角、この話の流れ・文脈で「出ないと思う」と言うなら、それは君が極端にコミュニケーションが下手か、はたまたAI技術への理解が足りてないかのどちらかだ。
Re:のちのスカイネットである (スコア:2)
大きく出たなぁ。
https://make.girls.moe/ [girls.moe] でおっさんが出ないことを証明……する方法を示すくらいでいいですよね? だるいし。
{
"hair_color": {"random":false,"value":[-1,-1,-1,-1,-1,-1,-1,-1,-1,-1,-1,-1,-1]},
"hair_style": {"random":false,"value":[-1,-1,-1,-1,-1]},
"eye_color":{"random":false,"value":[-1,-1,-1,-1,-1,-1,-1,-1,-1,-1]},
"dark_skin":{"random":false,"value":-1},
"blush":{"random":false,"value":-1},
"smile":{"random":false,"value":-1},
"open_mouth":{"random":false,"value":-1},
"hat":{"random":false,"value":-1},
"ribbon":{"random":false,"value":-1},
"glasses":{"random":false,"value":-1},
"year":{"random":false,"value":-1.5},
"noise":{"random":false}
}
この値に32bit floatを-1から1の範囲で1ビットずつ変化させながら入力して、出てきた画像を人間が見て「おっさん」「犬」「猫」
「非おっさん」の4クラスに分類すればOKです。お疲れ様でした。え? そこをAIでなんとか? 1.23*10^260通りもあるから見切れない?
それはそうですけど、人間が見ないことには……DNNは決定論的なので、一度目を通していただければ変化ないことは保証されますので……
ともあれ。fchollet さんも言ってたじゃないですか、DNNは写像だって。DNNを応用すれば19x19px, 2bppの画像を何枚か入れて
人間になんか負けた気を起こさせることが可能です。あるいは2Kくらいの画像入力を1万枚くらい流した後で8バイトの入力を元に
同じ2Kサイズの画像を出力させることが可能です。
でも、魂がないですからね。あれば旧約聖書の例の一言で済むんですけど。ところで随分とDNNにお詳しいようですが、最近何か作ってます?
Re: (スコア:0)
詭弁乙。
「非現実的な件数の総当たりしか確認方法がない（しかも判別のコストが高い）ケースでは、アルゴリズムや学習内容の正当性や目的外の挙動がないことの証明はできない」という話に「総当たりすればわかる」というのは反論になってない。
Re:のちのスカイネットである (スコア:2)
スラドのモデポイント配布量と上限加減を拡張してほしいと思うのは、こういう時なんですよね……
何かいい気分になっちゃってる無能が簡単に表に出られちゃうような。
Re: (スコア:0)
確かに。反論できなくなったら人格攻撃やスラドのシステム問題にするような輩は、とっととマイナスモデされたほうがいい。
Re:のちのスカイネットである (スコア:1)
そうそう。総当たりは証明ではないなんて言っちゃう変な人は沈めてもらわないと……
Re:のちのスカイネットである (スコア:1)
えーと。
少なくとも統計学や情報工学の分野で、全てを個別に確認するしか証明の方法がなくて、かつ全数検査のケース数が現実的でなければ、それは「検証できない事象」として扱ってたけど。
統計学とかメインでやってたけど、講義の前提はそんな感じだったよ。そこまで成績優秀な学生だったわけじゃないから、知らないこともあるとは自覚してるけど。
で、コンピューターのアルゴリズム等の話題で、現実的でない数でも総当たりで証明できるなら証明可能とする、ってどんな学問／学説なの？
哲学の一部分野（形而上学とか）の仮定としてなら存在しうる話だけど、そういうのじゃないよね？
Re:のちのスカイネットである (スコア:2)
確かに、DNNが決定論的だって話をした方がよかったですね。
Re: (スコア:0)
ニューラルネットの類がうまくすると強いAIを形成する可能性は否定しないけど、
あの画像生成は極論、素材の切り貼りで絵を出力してるくさいから突飛すぎるものはまず出ないでしょ…
ブラックボックスな学習系が適用されている範囲が限定的だとその影響もまた限定的にならざるを得ない。
Re:のちのスカイネットである (スコア:1)
ごめん、ディープラーニングは専門外で齧った程度なので普通にわかってないけど。
最近のディープラーニングって、また決定論的なのが流行ってるの？
私が知ってる範囲では、形式ニューロンを事前に重み付けするやり方から、θをランダムで取った学習データを元にして、重み付けとバイアスを調節しながら確率分布的にデータを生成するのが主流に向かってたと思ってたけど……
（最後に触ったの１年ぐらい前だから、何か新しい方法論とか出てきたの？？）
Re: (スコア:0)
学習終えて運用に入ると関数は変化せず、同一の入力に対し同一の出力しかしないって話なんじゃね。
> 現実的でない数でも総当たりで証明できるなら証明可能とする、ってどんな学問／学説なの？
人力では計算しきれないからと文句付けられた定理 [wikipedia.org]は存在するね。
Re:のちのスカイネットである (スコア:1)
学習終えて運用に入ると関数は変化せず、同一の入力に対し同一の出力しかしないって話なんじゃね。
それを決定論的、というなら、それは別にDNNに限った話じゃなくて、コンピューターって常に決定論的だよね？
アルゴリズムや入力に依存しない、独自の乱数装置を積んでるコンピューターとかでもない限り、同一の入力で同一じゃない出力って起きないもん。
DNNの本質って、隠れ層を圧縮することで、入力値に対して通常の関数化が困難な（かつ、複雑なパラメーターの組み合わせに対して、チューニング内容に沿った一定の相関関係を持つ）出力を得られることにあるから、それを決定論的というのはちょっと意味的におかしいと思うの。
入力値と出力値の組み合わせが（実運用上は）有限個なのも、単にコンピューターの性質上、通常の演算方法では函数の滑らかさに限界があることに依存するだけなんだし。
Re: (スコア:0)
> それを決定論的、というなら、それは別にDNNに限った話じゃなくて、コンピューターって常に決定論的だよね？
「入力」の範囲のとり方次第じゃない？
運用中に得られたデータで自身を更新してしまうとか、入力の一部に前回の自身の出力を含む(順序回路のアレ)とか、
「運用上の入力」が同一でも「内部状態という入力」が異なると同一の出力が得られなくなる。
「運用上の入力」に対して決定論的に「同一の出力」を出すって話ならそれは(純粋)関数自体の性質ではあるけれど、
ざっくりニューラルネットワークは関数の作り方の話だからDNN成果物が関数の性質を持つのも間違っちゃい
Re:のちのスカイネットである (スコア:1)
ロボット三原則が極めて高度で、実現自体が困難なのはその通りだと思います。
ただ、「間違いが無い前提」というのは違うような……。
アシモフ氏の〈ロボットもの〉では、実際に三原則第一条に反し、かつメンタル・フリーズに陥らないケースがいくつかあります。つまり、間違い自体は否定されていません。
架空の定義ですから想像でしかありませんけど、おそらくは判断自体をロボット自身の意識が行っています。
従って、ロボット本人（？）がその事象を「間違っていない」と判断したら、外部から見て間違っていると思われる行動も三原則に反しません。
「美少女のイラストを必ず出力するAI」で喩えるなら、そのAIが「マッチョな男性にしか見えないイラスト」を「これは私にとって美少女なのだ！」と認識しているのであれば、なんら問題はないわけです(^^;)
まあ、そこに至る前に、「人間と同程度の認識能力を持つAI」が存在しないといけないので、実現困難なことは変わりないのですが。
# さすがに「ドラえもんより先」ってことはないと思います。