アカウント名:
パスワード:
ただ能力が小さいだけなんだよね。
元記事みると、脳が20Wで、今回のプロジェクトでは10nW/neuronを目指すらしいから、20Wなら2x10E9個のニューロンができるってことですか？人間の脳は千数百億個のニューロンがあるそうなので、数KWの電力で数的には同じくらいまで、いきそうなのかな。
この話とは違うけど、 低消費電力の深層学習で新分野開拓、日本のLeapMindがシリーズAで3.4億円の資金調達 [techcrunch.com] というような方向性はすでにあるけど、脳に比べればまだまだ消費電力は大きい。
深層学習が莫大な計算機
電気で全部やるからとか？ニューロンの状態は膜電位の他にも、遺伝子の発現の状態(不揮発性メモリ)とか、興奮と不活性状態のスイッチをチャネルタンパクの機械的な仕組みで実現してるとか、状態の維持にかかるエネルギーが電子回路のそれより低いのではなかろうか
そうですね。消費エネルギーだけで考えると、電気的なもの以外のいろいろなもの使って、節約していそう。
ただ、問題はニューロンの遅さなんで、CPUやGPUに比べると圧倒的に遅い。多数の神経細胞で超並列処理しているのだろうけど、大量のデータを使ってまともに深層学習していては、何日かかっても終わらないかもしれない。仔馬は、母親を認識して、乳を飲み始めないといけない。それが産まれて一時間以内くらいにできるようになる。そのあと母親について移動しないといけない。じゃあ、どうしているのかな、という疑問です。
素人考えでは、母親の匂いを胎内にいるときから学習して、それを教師信号として使い、母親の姿を学習しているのかも。それでも、深層学習していて間に合うのか。
授乳に関しては人間の赤ちゃんでもできるくらいなので大したことないと思います。
人間と他の動物の脳は同じじゃないです。人間の脳は成長すると複雑な事ができる反面、成長する前は何もできない。他の動物では逆です。小さな蜘蛛の赤ちゃんは蜘蛛の糸を編んで捕捉する事ができます。小さい内から学習する事ができる反面、成長しても複雑な事ができない。
脳の大きさ（成長すると複雑な事ができる能力）昆虫鳥類人間 となっていて生まれてから直ぐに学習できる能力はその逆と言う事です。だから他の動物も深層学習していると思わないほうがいいと思います。
動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。線虫などでは、神経ネットワークがすべて遺伝で決まっています。
学習もできる脳をコードする仕組みはゲノムに偶然生じた変異が淘汰・蓄積されていくことにより進化してきたわけですが、その結果の神経ネットワークが深層学習に相当するものかどうかは、確かに疑問ですね。
動物ばかりではなく人間の脳も、まだ未知のものも含めたいろいろなパラダイムの複合なのかもしれません。
人工知能も複合的なパラダイム(深層学習以外のニューラルネットワークあるいはそれ以外)を利用することにより、はるかに省エネルギー、高速に学習が可能なようなものができるかもしれません。
今回のものはアナログとデジタルの複合ととらえることも可能か。
線虫は学習する脳がありますか？
>>動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。
ファーブルと同じ本能論ですね。自分はそれは間違っていて下等生物（と言っても昆虫以上ですが）ほど学習速度が早いと思います。例えば、階層が４の脳を持った蜘蛛と階層が100の脳を持った人間の赤ちゃんを比較すると蜘蛛が４つのパターンを学習させるのに必要な移動階は合計16になりますが、移動階16だと人間の赤ちゃんでは1パターンも学習できない事になります。これが学習速度の差になります。
「環境遺伝」って具体的にどういう意味なのでしょうか。もし、「そういう行動をするものが生き残ってきた」というなら、それを本能と呼んでいるのでは？
呼吸するなどは本能ですが、蜘蛛が巣を作るのは環境遺伝です。酩酊状態の蜘蛛は蜘蛛の巣を作る事ができなくなるからです。もし本能であるなら蜘蛛の巣を作る事ができるはずです。
「そういう行動をするものが生き残ってきた」というのが問題なのではなく「そういう行動が遺伝する」のはなぜかというのが問題なのです。親がやった行動を子供の段階から理解して自分が親になったら同じ事をしているだけで、下等生物の学習速度が早いからできます。ジガバチが卵を産み付ける場所、針を刺して神経を切るのも幼虫の段階で理解して、カッコウも他のヒナとの違い、親鳥との大きさの違いからヒナが託卵を理解しているのです。
酩酊状態の蜘蛛は蜘蛛の巣を作る事ができなくなるからです。もし本能であるなら蜘蛛の巣を作る事ができるはずです。
どんな環境条件でも正しく行動できるように、遺伝情報にプログラムされているわけではありません。遺伝情報の発現過程で、環境が整っていなければ、異常なことが起きてもしかたありません。
親がやった行動を子供の段階から理解して自分が親になったら同じ事をしているだけで、下等生物の学習速度が早いからできます。
ツバメが子育てしているのをみると、親が集める虫の種類を決めるのは、自分が子供だったとき、その親の世話を記憶していて、それにより虫の種類を決定しているのではないのか、と思うときがあります。もしかすると、それはある程度ありうるかもしれません
かなりオフトピぎみになってしまいました。
人工知能ならば生物とは違って好きなようにデザインできるわけで、学習の結果をまるごと遺伝させたり、交配したり、変異と淘汰により進化させたりすることも可能かもしれません
「人工知能は人間を超えるか (角川ＥＰＵＢ選書)」の「知能の社会的意義」の節で、松尾 豊先生は、ディープラーニングを選択と淘汰による進化的な方法で実現する研究を行っている、と述べています。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
※ただしPHPを除く -- あるAdmin
省電力は (スコア:0)
ただ能力が小さいだけなんだよね。
Re: (スコア:2)
元記事みると、脳が20Wで、今回のプロジェクトでは10nW/neuronを目指すらしいから、
20Wなら2x10E9個のニューロンができるってことですか？
人間の脳は千数百億個のニューロンがあるそうなので、
数KWの電力で数的には同じくらいまで、いきそうなのかな。
この話とは違うけど、
低消費電力の深層学習で新分野開拓、日本のLeapMindがシリーズAで3.4億円の資金調達 [techcrunch.com]
というような方向性はすでにあるけど、脳に比べればまだまだ消費電力は大きい。
深層学習が莫大な計算機
Re: (スコア:0)
電気で全部やるからとか？
ニューロンの状態は膜電位の他にも、遺伝子の発現の状態(不揮発性メモリ)とか、
興奮と不活性状態のスイッチをチャネルタンパクの機械的な仕組みで実現してるとか、
状態の維持にかかるエネルギーが電子回路のそれより低いのではなかろうか
Re: (スコア:1)
そうですね。消費エネルギーだけで考えると、電気的なもの以外のいろいろなもの使って、節約していそう。
ただ、問題はニューロンの遅さなんで、CPUやGPUに比べると圧倒的に遅い。多数の神経細胞で超並列処理しているのだろうけど、大量のデータを使ってまともに深層学習していては、何日かかっても終わらないかもしれない。
仔馬は、母親を認識して、乳を飲み始めないといけない。それが産まれて一時間以内くらいにできるようになる。そのあと母親について移動しないといけない。じゃあ、どうしているのかな、という疑問です。
素人考えでは、母親の匂いを胎内にいるときから学習して、それを教師信号として使い、母親の姿を学習しているのかも。それでも、深層学習していて間に合うのか。
Re: (スコア:0)
授乳に関しては人間の赤ちゃんでもできるくらいなので大したことないと思います。
人間と他の動物の脳は同じじゃないです。
人間の脳は成長すると複雑な事ができる反面、成長する前は何もできない。
他の動物では逆です。
小さな蜘蛛の赤ちゃんは蜘蛛の糸を編んで捕捉する事ができます。
小さい内から学習する事ができる反面、成長しても複雑な事ができない。
脳の大きさ（成長すると複雑な事ができる能力）
昆虫鳥類人間 となっていて
生まれてから直ぐに学習できる能力はその逆と言う事です。
だから他の動物も深層学習していると思わないほうがいいと思います。
Re: (スコア:1)
動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。
線虫などでは、神経ネットワークがすべて遺伝で決まっています。
学習もできる脳をコードする仕組みはゲノムに偶然生じた変異が淘汰・蓄積されていくことにより進化してきたわけですが、その結果の神経ネットワークが深層学習に相当するものかどうかは、確かに疑問ですね。
動物ばかりではなく人間の脳も、まだ未知のものも含めたいろいろなパラダイムの複合なのかもしれません。
人工知能も複合的なパラダイム(深層学習以外のニューラルネットワークあるいはそれ以外)を利用することにより、はるかに省エネルギー、高速に学習が可能なようなものができるかもしれません。
今回のものはアナログとデジタルの複合ととらえることも可能か。
Re: (スコア:0)
線虫は学習する脳がありますか？
>>動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。
ファーブルと同じ本能論ですね。
自分はそれは間違っていて下等生物（と言っても昆虫以上ですが）ほど学習速度が早いと思います。
例えば、階層が４の脳を持った蜘蛛と階層が100の脳を持った人間の赤ちゃんを比較すると
蜘蛛が４つのパターンを学習させるのに必要な移動階は合計16になりますが、移動階16だと人間の赤ちゃんでは1パターンも学習できない事になります。
これが学習速度の差になります。
Re: (スコア:0)
「環境遺伝」って具体的にどういう意味なのでしょうか。
もし、「そういう行動をするものが生き残ってきた」というなら、それを本能と呼んでいるのでは？
環境遺伝 (スコア:0)
呼吸するなどは本能ですが、蜘蛛が巣を作るのは環境遺伝です。
酩酊状態の蜘蛛は蜘蛛の巣を作る事ができなくなるからです。
もし本能であるなら蜘蛛の巣を作る事ができるはずです。
「そういう行動をするものが生き残ってきた」というのが問題なのではなく
「そういう行動が遺伝する」のはなぜかというのが問題なのです。
親がやった行動を子供の段階から理解して自分が親になったら同じ事をしているだけで、
下等生物の学習速度が早いからできます。
ジガバチが卵を産み付ける場所、針を刺して神経を切るのも幼虫の段階で理解して、
カッコウも他のヒナとの違い、親鳥との大きさの違いからヒナが託卵を理解しているのです。
Re: (スコア:1)
酩酊状態の蜘蛛は蜘蛛の巣を作る事ができなくなるからです。
もし本能であるなら蜘蛛の巣を作る事ができるはずです。
どんな環境条件でも正しく行動できるように、遺伝情報にプログラムされているわけではありません。遺伝情報の発現過程で、環境が整っていなければ、異常なことが起きてもしかたありません。
親がやった行動を子供の段階から理解して自分が親になったら同じ事をしているだけで、
下等生物の学習速度が早いからできます。
ツバメが子育てしているのをみると、親が集める虫の種類を決めるのは、自分が子供だったとき、その親の世話を記憶していて、それにより虫の種類を決定しているのではないのか、と思うときがあります。もしかすると、それはある程度ありうるかもしれません
Re:環境遺伝 (スコア:1)
かなりオフトピぎみになってしまいました。
人工知能ならば生物とは違って好きなようにデザインできるわけで、学習の結果をまるごと遺伝させたり、交配したり、変異と淘汰により進化させたりすることも可能かもしれません
「人工知能は人間を超えるか (角川ＥＰＵＢ選書)」の「知能の社会的意義」の節で、松尾 豊先生は、ディープラーニングを選択と淘汰による進化的な方法で実現する研究を行っている、と述べています。