アカウント名:
パスワード:
ただ能力が小さいだけなんだよね。
元記事みると、脳が20Wで、今回のプロジェクトでは10nW/neuronを目指すらしいから、20Wなら2x10E9個のニューロンができるってことですか？人間の脳は千数百億個のニューロンがあるそうなので、数KWの電力で数的には同じくらいまで、いきそうなのかな。
この話とは違うけど、 低消費電力の深層学習で新分野開拓、日本のLeapMindがシリーズAで3.4億円の資金調達 [techcrunch.com] というような方向性はすでにあるけど、脳に比べればまだまだ消費電力は大きい。
深層学習が莫大な計算機
電気で全部やるからとか？ニューロンの状態は膜電位の他にも、遺伝子の発現の状態(不揮発性メモリ)とか、興奮と不活性状態のスイッチをチャネルタンパクの機械的な仕組みで実現してるとか、状態の維持にかかるエネルギーが電子回路のそれより低いのではなかろうか
そうですね。消費エネルギーだけで考えると、電気的なもの以外のいろいろなもの使って、節約していそう。
ただ、問題はニューロンの遅さなんで、CPUやGPUに比べると圧倒的に遅い。多数の神経細胞で超並列処理しているのだろうけど、大量のデータを使ってまともに深層学習していては、何日かかっても終わらないかもしれない。仔馬は、母親を認識して、乳を飲み始めないといけない。それが産まれて一時間以内くらいにできるようになる。そのあと母親について移動しないといけない。じゃあ、どうしているのかな、という疑問です。
素人考えでは、母親の匂いを胎内にいるときから学習して、それを教師信号として使い、母親の姿を学習しているのかも。それでも、深層学習していて間に合うのか。
授乳に関しては人間の赤ちゃんでもできるくらいなので大したことないと思います。
人間と他の動物の脳は同じじゃないです。人間の脳は成長すると複雑な事ができる反面、成長する前は何もできない。他の動物では逆です。小さな蜘蛛の赤ちゃんは蜘蛛の糸を編んで捕捉する事ができます。小さい内から学習する事ができる反面、成長しても複雑な事ができない。
脳の大きさ（成長すると複雑な事ができる能力）昆虫鳥類人間 となっていて生まれてから直ぐに学習できる能力はその逆と言う事です。だから他の動物も深層学習していると思わないほうがいいと思います。
動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。線虫などでは、神経ネットワークがすべて遺伝で決まっています。
学習もできる脳をコードする仕組みはゲノムに偶然生じた変異が淘汰・蓄積されていくことにより進化してきたわけですが、その結果の神経ネットワークが深層学習に相当するものかどうかは、確かに疑問ですね。
動物ばかりではなく人間の脳も、まだ未知のものも含めたいろいろなパラダイムの複合なのかもしれません。
人工知能も複合的なパラダイム(深層学習以外のニューラルネットワークあるいはそれ以外)を利用することにより、はるかに省エネルギー、高速に学習が可能なようなものができるかもしれません。
今回のものはアナログとデジタルの複合ととらえることも可能か。
線虫は学習する脳がありますか？
>>動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。
ファーブルと同じ本能論ですね。自分はそれは間違っていて下等生物（と言っても昆虫以上ですが）ほど学習速度が早いと思います。例えば、階層が４の脳を持った蜘蛛と階層が100の脳を持った人間の赤ちゃんを比較すると蜘蛛が４つのパターンを学習させるのに必要な移動階は合計16になりますが、移動階16だと人間の赤ちゃんでは1パターンも学習できない事になります。これが学習速度の差になります。
人間同士で比較しても同じ事になります。小学生までの女性と男性の成績を比較すると女性のほうが高くなりますが、時間が経つにつれて男性優勢になります。人間の男女間という僅かで現れる差でも学習速度に差が出てきますが、下等生物ではもっと学習速度は早くなります。だから人間よりも下等生物の方が学習速度が早いというのは人間には分かり難い現象だと思いますが、ジガバチが麻痺させる事もカッコウの託卵も学習した結果であり本能でなく環境遺伝です。
> ジガバチが麻痺させる事もカッコウの託卵も学習した結果であり本能でなく環境遺伝です。えーーそれ論文か何かあるわけ?
線虫にも脳のようなものはあり学習もあるそうです。鮮やかに輝く、線虫の「脳」 [wired.jp]ドーパミンが線虫の匂い学習に必要であることを発見 ―抗精神病薬研究への応用も期待― [jst.go.jp]
>下等生物（と言っても昆虫以上ですが）ほど学習速度が早いと思います。というお考え、興味深いと思います。ただ、遺伝なしに学習だけだと、適応的な行動は獲得できないでしょう。
そういえば前に見たことあるね。確かに生物の記憶というのはたんぱく質？で記録されていてそれが遺伝して適応行動として表れているのかもしれませんね。そうなると学習させた生物の遺伝子と学習する前の遺伝子が変わるという話になりそう。
他人の論文は見たことないのですけど、自分は書いていないです。
「環境遺伝」って具体的にどういう意味なのでしょうか。もし、「そういう行動をするものが生き残ってきた」というなら、それを本能と呼んでいるのでは？
なんか気になるので、この線虫に記憶の遺伝が起こっていないか調べてもらえないですかね？自分は研究できる立場にないのでｗ
呼吸するなどは本能ですが、蜘蛛が巣を作るのは環境遺伝です。酩酊状態の蜘蛛は蜘蛛の巣を作る事ができなくなるからです。もし本能であるなら蜘蛛の巣を作る事ができるはずです。
「そういう行動をするものが生き残ってきた」というのが問題なのではなく「そういう行動が遺伝する」のはなぜかというのが問題なのです。親がやった行動を子供の段階から理解して自分が親になったら同じ事をしているだけで、下等生物の学習速度が早いからできます。ジガバチが卵を産み付ける場所、針を刺して神経を切るのも幼虫の段階で理解して、カッコウも他のヒナとの違い、親鳥との大きさの違いからヒナが託卵を理解しているのです。
人間でも酩酊が進めば呼吸困難になりますが、、、
>「そういう行動が遺伝する」のはなぜかというのが問題なのです。
自分はこういう事も含めて従来「本能」と呼ばれてきたのではないかと思うわけです。
>ジガバチが卵を産み付ける場所、針を刺して神経を切るのも幼虫の段階で理解して、>カッコウも他のヒナとの違い、親鳥との大きさの違いからヒナが託卵を理解しているのです。
これって本当に学習の結果なんですか？何らかの遺伝なのでは？
酩酊状態の蜘蛛は蜘蛛の巣を作る事ができなくなるからです。もし本能であるなら蜘蛛の巣を作る事ができるはずです。
どんな環境条件でも正しく行動できるように、遺伝情報にプログラムされているわけではありません。遺伝情報の発現過程で、環境が整っていなければ、異常なことが起きてもしかたありません。
親がやった行動を子供の段階から理解して自分が親になったら同じ事をしているだけで、下等生物の学習速度が早いからできます。
ツバメが子育てしているのをみると、親が集める虫の種類を決めるのは、自分が子供だったとき、その親の世話を記憶していて、それにより虫の種類を決定しているのではないのか、と思うときがあります。もしかすると、それはある程度ありうるかもしれません。
昆虫では幼虫が何を食べるのかは遺伝的に決定されていることがほとんどです。カイコは桑の葉しか食べませんが、突然変異でりんごも食べるようになった品種もあります。
DNAの塩基配列が環境・経験の結果を反映して変化したりしないので、親の学習の結果が子に遺伝するようになる、という仕組みは現在見つかっていません。塩基配列の変化を伴わないエピジェネティクスが関わる場合には、ありうるかもしれません。DNAのメチレーションとか、small RNAとか、ですが、そのような分子機構が行動の遺伝子に作用して、行動を一部修正することはありうるかもしれませんが、行動全体をプログラムするための情報を、直接親から子に伝えることは難しいでしょう。
ということなのですが、学習が進化に影響する、つまり、長期的には学習したことが遺伝として残るように見える、という理論があります。「ボールドウィン効果」というものです。研究テーマの紹介 進化と学習の相互作用，Baldwin効果 [nagoya-u.ac.jp]
ただ私には、この理論がどのくらい実証されているのかは、わかりません。
ジガバチが卵を産み付ける場所、針を刺して神経を切るのも幼虫の段階で理解して、カッコウも他のヒナとの違い、親鳥との大きさの違いからヒナが託卵を理解しているのです。
ハチもカッコウも子は親がいない状態で育つので、親の行動や親の認識を、遺伝に全くよらず学習だけで行うのはかなり困難だと思われます。
かなりオフトピぎみになってしまいました。
人工知能ならば生物とは違って好きなようにデザインできるわけで、学習の結果をまるごと遺伝させたり、交配したり、変異と淘汰により進化させたりすることも可能かもしれません
「人工知能は人間を超えるか (角川ＥＰＵＢ選書)」の「知能の社会的意義」の節で、松尾 豊先生は、ディープラーニングを選択と淘汰による進化的な方法で実現する研究を行っている、と述べています。
いま気づいたのですが、親コメントのボールドウィン効果のリンクに出て来るHintonは、深層学習で有名なHintonと同一人物のようです。ちょっと驚きました。
>ジガバチが卵を産み付ける場所、針を刺して神経を切るのも幼虫の段階で理解して、
獲物を捕まえ麻痺させてから卵を産み付けるわけで、幼虫どころかまだ生まれていません。どうやって理解するのでしょうか。
>カッコウも他のヒナとの違い、親鳥との大きさの違いからヒナが託卵を理解しているのです。
カッコウの雛は親鳥を目にする事はないので、大きさなんかわからないと思います。それに、親鳥は、托卵相手の巣から１つ卵を捨てて托卵しますし、孵った雛は他の卵を巣から捨てます。どうやって理解・学習するのでしょうか。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
長期的な見通しやビジョンはあえて持たないようにしてる -- Linus Torvalds
省電力は (スコア:0)
ただ能力が小さいだけなんだよね。
Re: (スコア:2)
元記事みると、脳が20Wで、今回のプロジェクトでは10nW/neuronを目指すらしいから、
20Wなら2x10E9個のニューロンができるってことですか？
人間の脳は千数百億個のニューロンがあるそうなので、
数KWの電力で数的には同じくらいまで、いきそうなのかな。
この話とは違うけど、
低消費電力の深層学習で新分野開拓、日本のLeapMindがシリーズAで3.4億円の資金調達 [techcrunch.com]
というような方向性はすでにあるけど、脳に比べればまだまだ消費電力は大きい。
深層学習が莫大な計算機
Re: (スコア:0)
電気で全部やるからとか？
ニューロンの状態は膜電位の他にも、遺伝子の発現の状態(不揮発性メモリ)とか、
興奮と不活性状態のスイッチをチャネルタンパクの機械的な仕組みで実現してるとか、
状態の維持にかかるエネルギーが電子回路のそれより低いのではなかろうか
Re: (スコア:1)
そうですね。消費エネルギーだけで考えると、電気的なもの以外のいろいろなもの使って、節約していそう。
ただ、問題はニューロンの遅さなんで、CPUやGPUに比べると圧倒的に遅い。多数の神経細胞で超並列処理しているのだろうけど、大量のデータを使ってまともに深層学習していては、何日かかっても終わらないかもしれない。
仔馬は、母親を認識して、乳を飲み始めないといけない。それが産まれて一時間以内くらいにできるようになる。そのあと母親について移動しないといけない。じゃあ、どうしているのかな、という疑問です。
素人考えでは、母親の匂いを胎内にいるときから学習して、それを教師信号として使い、母親の姿を学習しているのかも。それでも、深層学習していて間に合うのか。
Re: (スコア:0)
授乳に関しては人間の赤ちゃんでもできるくらいなので大したことないと思います。
人間と他の動物の脳は同じじゃないです。
人間の脳は成長すると複雑な事ができる反面、成長する前は何もできない。
他の動物では逆です。
小さな蜘蛛の赤ちゃんは蜘蛛の糸を編んで捕捉する事ができます。
小さい内から学習する事ができる反面、成長しても複雑な事ができない。
脳の大きさ（成長すると複雑な事ができる能力）
昆虫鳥類人間 となっていて
生まれてから直ぐに学習できる能力はその逆と言う事です。
だから他の動物も深層学習していると思わないほうがいいと思います。
Re: (スコア:1)
動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。
線虫などでは、神経ネットワークがすべて遺伝で決まっています。
学習もできる脳をコードする仕組みはゲノムに偶然生じた変異が淘汰・蓄積されていくことにより進化してきたわけですが、その結果の神経ネットワークが深層学習に相当するものかどうかは、確かに疑問ですね。
動物ばかりではなく人間の脳も、まだ未知のものも含めたいろいろなパラダイムの複合なのかもしれません。
人工知能も複合的なパラダイム(深層学習以外のニューラルネットワークあるいはそれ以外)を利用することにより、はるかに省エネルギー、高速に学習が可能なようなものができるかもしれません。
今回のものはアナログとデジタルの複合ととらえることも可能か。
Re:省電力は (スコア:0)
線虫は学習する脳がありますか？
>>動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。
ファーブルと同じ本能論ですね。
自分はそれは間違っていて下等生物（と言っても昆虫以上ですが）ほど学習速度が早いと思います。
例えば、階層が４の脳を持った蜘蛛と階層が100の脳を持った人間の赤ちゃんを比較すると
蜘蛛が４つのパターンを学習させるのに必要な移動階は合計16になりますが、移動階16だと人間の赤ちゃんでは1パターンも学習できない事になります。
これが学習速度の差になります。
人間同士で比較しても同じ事になります。
小学生までの女性と男性の成績を比較すると女性のほうが高くなりますが、時間が経つにつれて男性優勢になります。
人間の男女間という僅かで現れる差でも学習速度に差が出てきますが、下等生物ではもっと学習速度は早くなります。
だから人間よりも下等生物の方が学習速度が早いというのは人間には分かり難い現象だと思いますが、
ジガバチが麻痺させる事もカッコウの託卵も学習した結果であり本能でなく環境遺伝です。
Re: (スコア:0)
> ジガバチが麻痺させる事もカッコウの託卵も学習した結果であり本能でなく環境遺伝です。
えーーそれ論文か何かあるわけ?
Re:省電力は (スコア:1)
線虫にも脳のようなものはあり学習もあるそうです。
鮮やかに輝く、線虫の「脳」 [wired.jp]
ドーパミンが線虫の匂い学習に必要であることを発見 ―抗精神病薬研究への応用も期待― [jst.go.jp]
>下等生物（と言っても昆虫以上ですが）ほど学習速度が早いと思います。
というお考え、興味深いと思います。
ただ、遺伝なしに学習だけだと、適応的な行動は獲得できないでしょう。
Re: (スコア:0)
そういえば前に見たことあるね。
確かに生物の記憶というのはたんぱく質？で記録されていて
それが遺伝して適応行動として表れているのかもしれませんね。
そうなると学習させた生物の遺伝子と学習する前の遺伝子が変わるという話になりそう。
Re: (スコア:0)
他人の論文は見たことないのですけど、自分は書いていないです。
Re: (スコア:0)
「環境遺伝」って具体的にどういう意味なのでしょうか。
もし、「そういう行動をするものが生き残ってきた」というなら、それを本能と呼んでいるのでは？
Re: (スコア:0)
なんか気になるので、この線虫に記憶の遺伝が起こっていないか調べてもらえないですかね？
自分は研究できる立場にないのでｗ
環境遺伝 (スコア:0)
呼吸するなどは本能ですが、蜘蛛が巣を作るのは環境遺伝です。
酩酊状態の蜘蛛は蜘蛛の巣を作る事ができなくなるからです。
もし本能であるなら蜘蛛の巣を作る事ができるはずです。
「そういう行動をするものが生き残ってきた」というのが問題なのではなく
「そういう行動が遺伝する」のはなぜかというのが問題なのです。
親がやった行動を子供の段階から理解して自分が親になったら同じ事をしているだけで、
下等生物の学習速度が早いからできます。
ジガバチが卵を産み付ける場所、針を刺して神経を切るのも幼虫の段階で理解して、
カッコウも他のヒナとの違い、親鳥との大きさの違いからヒナが託卵を理解しているのです。
Re: (スコア:0)
人間でも酩酊が進めば呼吸困難になりますが、、、
>「そういう行動が遺伝する」のはなぜかというのが問題なのです。
自分はこういう事も含めて従来「本能」と呼ばれてきたのではないかと思うわけです。
>ジガバチが卵を産み付ける場所、針を刺して神経を切るのも幼虫の段階で理解して、
>カッコウも他のヒナとの違い、親鳥との大きさの違いからヒナが託卵を理解しているのです。
これって本当に学習の結果なんですか？
何らかの遺伝なのでは？
Re:環境遺伝 (スコア:1)
酩酊状態の蜘蛛は蜘蛛の巣を作る事ができなくなるからです。
もし本能であるなら蜘蛛の巣を作る事ができるはずです。
どんな環境条件でも正しく行動できるように、遺伝情報にプログラムされているわけではありません。遺伝情報の発現過程で、環境が整っていなければ、異常なことが起きてもしかたありません。
親がやった行動を子供の段階から理解して自分が親になったら同じ事をしているだけで、
下等生物の学習速度が早いからできます。
ツバメが子育てしているのをみると、親が集める虫の種類を決めるのは、自分が子供だったとき、その親の世話を記憶していて、それにより虫の種類を決定しているのではないのか、と思うときがあります。もしかすると、それはある程度ありうるかもしれません。
昆虫では幼虫が何を食べるのかは遺伝的に決定されていることがほとんどです。カイコは桑の葉しか食べませんが、突然変異でりんごも食べるようになった品種もあります。
DNAの塩基配列が環境・経験の結果を反映して変化したりしないので、親の学習の結果が子に遺伝するようになる、という仕組みは現在見つかっていません。塩基配列の変化を伴わないエピジェネティクスが関わる場合には、ありうるかもしれません。DNAのメチレーションとか、small RNAとか、ですが、そのような分子機構が行動の遺伝子に作用して、行動を一部修正することはありうるかもしれませんが、行動全体をプログラムするための情報を、直接親から子に伝えることは難しいでしょう。
ということなのですが、学習が進化に影響する、つまり、長期的には学習したことが遺伝として残るように見える、という理論があります。「ボールドウィン効果」というものです。研究テーマの紹介 進化と学習の相互作用，Baldwin効果 [nagoya-u.ac.jp]
ただ私には、この理論がどのくらい実証されているのかは、わかりません。
ジガバチが卵を産み付ける場所、針を刺して神経を切るのも幼虫の段階で理解して、
カッコウも他のヒナとの違い、親鳥との大きさの違いからヒナが託卵を理解しているのです。
ハチもカッコウも子は親がいない状態で育つので、親の行動や親の認識を、遺伝に全くよらず学習だけで行うのはかなり困難だと思われます。
Re:環境遺伝 (スコア:1)
かなりオフトピぎみになってしまいました。
人工知能ならば生物とは違って好きなようにデザインできるわけで、学習の結果をまるごと遺伝させたり、交配したり、変異と淘汰により進化させたりすることも可能かもしれません
「人工知能は人間を超えるか (角川ＥＰＵＢ選書)」の「知能の社会的意義」の節で、松尾 豊先生は、ディープラーニングを選択と淘汰による進化的な方法で実現する研究を行っている、と述べています。
Re:環境遺伝 (スコア:1)
いま気づいたのですが、親コメントのボールドウィン効果のリンクに出て来るHintonは、深層学習で有名なHintonと同一人物のようです。ちょっと驚きました。
Re: (スコア:0)
>ジガバチが卵を産み付ける場所、針を刺して神経を切るのも幼虫の段階で理解して、
獲物を捕まえ麻痺させてから卵を産み付けるわけで、幼虫どころかまだ生まれていません。
どうやって理解するのでしょうか。
>カッコウも他のヒナとの違い、親鳥との大きさの違いからヒナが託卵を理解しているのです。
カッコウの雛は親鳥を目にする事はないので、大きさなんかわからないと思います。
それに、親鳥は、托卵相手の巣から１つ卵を捨てて托卵しますし、
孵った雛は他の卵を巣から捨てます。
どうやって理解・学習するのでしょうか。