アカウント名:
パスワード:
ただ能力が小さいだけなんだよね。
元記事みると、脳が20Wで、今回のプロジェクトでは10nW/neuronを目指すらしいから、20Wなら2x10E9個のニューロンができるってことですか？人間の脳は千数百億個のニューロンがあるそうなので、数KWの電力で数的には同じくらいまで、いきそうなのかな。
この話とは違うけど、 低消費電力の深層学習で新分野開拓、日本のLeapMindがシリーズAで3.4億円の資金調達 [techcrunch.com] というような方向性はすでにあるけど、脳に比べればまだまだ消費電力は大きい。
深層学習が莫大な計算機
電気で全部やるからとか？ニューロンの状態は膜電位の他にも、遺伝子の発現の状態(不揮発性メモリ)とか、興奮と不活性状態のスイッチをチャネルタンパクの機械的な仕組みで実現してるとか、状態の維持にかかるエネルギーが電子回路のそれより低いのではなかろうか
そうですね。消費エネルギーだけで考えると、電気的なもの以外のいろいろなもの使って、節約していそう。
ただ、問題はニューロンの遅さなんで、CPUやGPUに比べると圧倒的に遅い。多数の神経細胞で超並列処理しているのだろうけど、大量のデータを使ってまともに深層学習していては、何日かかっても終わらないかもしれない。仔馬は、母親を認識して、乳を飲み始めないといけない。それが産まれて一時間以内くらいにできるようになる。そのあと母親について移動しないといけない。じゃあ、どうしているのかな、という疑問です。
素人考えでは、母親の匂いを胎内にいるときから学習して、それを教師信号として使い、母親の姿を学習しているのかも。それでも、深層学習していて間に合うのか。
授乳に関しては人間の赤ちゃんでもできるくらいなので大したことないと思います。
人間と他の動物の脳は同じじゃないです。人間の脳は成長すると複雑な事ができる反面、成長する前は何もできない。他の動物では逆です。小さな蜘蛛の赤ちゃんは蜘蛛の糸を編んで捕捉する事ができます。小さい内から学習する事ができる反面、成長しても複雑な事ができない。
脳の大きさ（成長すると複雑な事ができる能力）昆虫鳥類人間 となっていて生まれてから直ぐに学習できる能力はその逆と言う事です。だから他の動物も深層学習していると思わないほうがいいと思います。
動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。線虫などでは、神経ネットワークがすべて遺伝で決まっています。
学習もできる脳をコードする仕組みはゲノムに偶然生じた変異が淘汰・蓄積されていくことにより進化してきたわけですが、その結果の神経ネットワークが深層学習に相当するものかどうかは、確かに疑問ですね。
動物ばかりではなく人間の脳も、まだ未知のものも含めたいろいろなパラダイムの複合なのかもしれません。
人工知能も複合的なパラダイム(深層学習以外のニューラルネットワークあるいはそれ以外)を利用することにより、はるかに省エネルギー、高速に学習が可能なようなものができるかもしれません。
今回のものはアナログとデジタルの複合ととらえることも可能か。
線虫は学習する脳がありますか？
>>動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。
ファーブルと同じ本能論ですね。自分はそれは間違っていて下等生物（と言っても昆虫以上ですが）ほど学習速度が早いと思います。例えば、階層が４の脳を持った蜘蛛と階層が100の脳を持った人間の赤ちゃんを比較すると蜘蛛が４つのパターンを学習させるのに必要な移動階は合計16になりますが、移動階16だと人間の赤ちゃんでは1パターンも学習できない事になります。これが学習速度の差になります。
> ジガバチが麻痺させる事もカッコウの託卵も学習した結果であり本能でなく環境遺伝です。えーーそれ論文か何かあるわけ?
他人の論文は見たことないのですけど、自分は書いていないです。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
ソースを見ろ -- ある4桁UID
省電力は (スコア:0)
ただ能力が小さいだけなんだよね。
Re: (スコア:2)
元記事みると、脳が20Wで、今回のプロジェクトでは10nW/neuronを目指すらしいから、
20Wなら2x10E9個のニューロンができるってことですか？
人間の脳は千数百億個のニューロンがあるそうなので、
数KWの電力で数的には同じくらいまで、いきそうなのかな。
この話とは違うけど、
低消費電力の深層学習で新分野開拓、日本のLeapMindがシリーズAで3.4億円の資金調達 [techcrunch.com]
というような方向性はすでにあるけど、脳に比べればまだまだ消費電力は大きい。
深層学習が莫大な計算機
Re: (スコア:0)
電気で全部やるからとか？
ニューロンの状態は膜電位の他にも、遺伝子の発現の状態(不揮発性メモリ)とか、
興奮と不活性状態のスイッチをチャネルタンパクの機械的な仕組みで実現してるとか、
状態の維持にかかるエネルギーが電子回路のそれより低いのではなかろうか
Re: (スコア:1)
そうですね。消費エネルギーだけで考えると、電気的なもの以外のいろいろなもの使って、節約していそう。
ただ、問題はニューロンの遅さなんで、CPUやGPUに比べると圧倒的に遅い。多数の神経細胞で超並列処理しているのだろうけど、大量のデータを使ってまともに深層学習していては、何日かかっても終わらないかもしれない。
仔馬は、母親を認識して、乳を飲み始めないといけない。それが産まれて一時間以内くらいにできるようになる。そのあと母親について移動しないといけない。じゃあ、どうしているのかな、という疑問です。
素人考えでは、母親の匂いを胎内にいるときから学習して、それを教師信号として使い、母親の姿を学習しているのかも。それでも、深層学習していて間に合うのか。
Re: (スコア:0)
授乳に関しては人間の赤ちゃんでもできるくらいなので大したことないと思います。
人間と他の動物の脳は同じじゃないです。
人間の脳は成長すると複雑な事ができる反面、成長する前は何もできない。
他の動物では逆です。
小さな蜘蛛の赤ちゃんは蜘蛛の糸を編んで捕捉する事ができます。
小さい内から学習する事ができる反面、成長しても複雑な事ができない。
脳の大きさ（成長すると複雑な事ができる能力）
昆虫鳥類人間 となっていて
生まれてから直ぐに学習できる能力はその逆と言う事です。
だから他の動物も深層学習していると思わないほうがいいと思います。
Re: (スコア:1)
動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。
線虫などでは、神経ネットワークがすべて遺伝で決まっています。
学習もできる脳をコードする仕組みはゲノムに偶然生じた変異が淘汰・蓄積されていくことにより進化してきたわけですが、その結果の神経ネットワークが深層学習に相当するものかどうかは、確かに疑問ですね。
動物ばかりではなく人間の脳も、まだ未知のものも含めたいろいろなパラダイムの複合なのかもしれません。
人工知能も複合的なパラダイム(深層学習以外のニューラルネットワークあるいはそれ以外)を利用することにより、はるかに省エネルギー、高速に学習が可能なようなものができるかもしれません。
今回のものはアナログとデジタルの複合ととらえることも可能か。
Re: (スコア:0)
線虫は学習する脳がありますか？
>>動物とくに下等な動物の脳はかなり遺伝的にコードされているかもしれません。
ファーブルと同じ本能論ですね。
自分はそれは間違っていて下等生物（と言っても昆虫以上ですが）ほど学習速度が早いと思います。
例えば、階層が４の脳を持った蜘蛛と階層が100の脳を持った人間の赤ちゃんを比較すると
蜘蛛が４つのパターンを学習させるのに必要な移動階は合計16になりますが、移動階16だと人間の赤ちゃんでは1パターンも学習できない事になります。
これが学習速度の差になります。
Re: (スコア:0)
> ジガバチが麻痺させる事もカッコウの託卵も学習した結果であり本能でなく環境遺伝です。
えーーそれ論文か何かあるわけ?
Re:省電力は (スコア:0)
他人の論文は見たことないのですけど、自分は書いていないです。