「学習」というと、人工頭脳的だけれども、単に「パラメータ決定」と言えばつまらなくなります。ニューラルネットと言っても
f(x) = a x + b の線形フィッティングの親玉に過ぎないわけで、
要は誤差
E = sum_i|f(xi) - yi|^2 をパラメータ(上の線形フィッテイングなら(a,b), ニューラルネットなら重み)に関して最小化するだけですから。
誤差逆伝播は、勾配法による E 最小化のアルゴリズム(ゆうてしまえば最も安直なアルゴリズム)が、あたかも出力誤差が神経繊維を遡っているかのように解釈できたために、すわ!これこそが頭脳思考学習の本質的プロセスか!?っという興奮の元で作られた名前なんだろうな(予想)と。
動径基底関数 (スコア:2, 興味深い)
googleってみたけどよく分からんので識者の方おしえてください。
http://www.murata.elec.waseda.ac.jp/~mura/Lecture/learn/intrep/node7.html
f(x) = Integral T(a,b) φ(a,x) da db
積分をΣにしてみると、これって三層パーセプトロンじゃん、てのはなるほどです。
-- wanna be the biggest dreamer
Re:動径基底関数 (スコア:4, 参考になる)
フーリエ解析が、任意の関数f(x)を三角関数の線形和で表すように、
動径基底関数ネットワークでは、任意の関数f(x)を(ガウス関数などの)動径基底関数の線形和で表します。
一方でいわゆる3層パーセプトロンは、任意の関数f(x)を(arctanやシグモイド関数などの)やわらかめステップ関数の和で表す、と。
それだけの違いなので、学習アルゴリズムは3層パーセプトロンと同様に二乗誤差最小化の最適化問題として、勾配法やらなんやらで導くことができます。
動径基底関数のパラ
Re:動径基底関数 (スコア:1)
>フーリエ解析が、任意の関数f(x)を三角関数の線形和で表すように、
>動径基底関数ネットワークでは、任意の関数f(x)を(ガウス関数などの)動径基底関数の線形和で表します。
>一方でいわゆる3層パーセプトロンは、任意の関数f(x)を(arctanやシグモイド関数などの)やわらかめステップ関数の和で表す、と。
>
>それだけの違いなので、学習アルゴリズムは3層パーセプトロンと同様に二乗誤差最小化の最適化問題として、勾配法やらなんやらで導くことができます。
数学ちょっとしかやってないんで『参考になる+1』ます(モデ権今無いのでコメントで)
ここでは、ある2値を取るステップ関数とすべての点で微分可能なシグモイド関数を
おおきな括りでステップ関数と見做しているんですね。
分からんのでgoogleっていくつか読んだ記事をつなげてみると、
「甘利(俊一?)の確率的降下法をすべての層で行うのが
バックプロパゲーション(誤差逆伝搬/播)という学習のしくみである」というふうに読める記事も見つかって、
ますます分からなくなってます(笑
どうやら結構以前からある考えみたいですね。
Re:動径基底関数 (スコア:2, 参考になる)
いえーい。ごちそうさま。
「学習」というと、人工頭脳的だけれども、単に「パラメータ決定」と言えばつまらなくなります。ニューラルネットと言っても
f(x) = a x + b の線形フィッティングの親玉に過ぎないわけで、
要は誤差 E = sum_i|f(xi) - yi|^2 をパラメータ(上の線形フィッテイングなら(a,b), ニューラルネットなら重み)に関して最小化するだけですから。
誤差逆伝播は、勾配法による E 最小化のアルゴリズム(ゆうてしまえば最も安直なアルゴリズム)が、あたかも出力誤差が神経繊維を遡っているかのように解釈できたために、すわ!これこそが頭脳思考学習の本質的プロセスか!?っという興奮の元で作られた名前なんだろうな(予想)と。
#小脳は誤差逆伝播チックな学習をしているらしいと
#いまでも言われてます。他では違うらしい。