パスワードを忘れた? アカウント作成
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

成長する推論チップ」記事へのコメント

  • ニューラルネットは10年前に本読みながらパーセプトロンのプログラム書いてみたきり。こんなのあるんですね。

    googleってみたけどよく分からんので識者の方おしえてください。
    http://www.murata.elec.waseda.ac.jp/~mura/Lecture/learn/intrep/node7.html

    f(x) = Integral T(a,b) φ(a,x) da db

    積分をΣにしてみると、これって三層パーセプトロンじゃん、てのはなるほどです。
    --
    -- wanna be the biggest dreamer
    • いちおう動径基底関数扱ったことがあるので、薀蓄たれ流させてもらいます。

      フーリエ解析が、任意の関数f(x)を三角関数の線形和で表すように、
      動径基底関数ネットワークでは、任意の関数f(x)を(ガウス関数などの)動径基底関数の線形和で表します。
      一方でいわゆる3層パーセプトロンは、任意の関数f(x)を(arctanやシグモイド関数などの)やわらかめステップ関数の和で表す、と。

      それだけの違いなので、学習アルゴリズムは3層パーセプトロンと同様に二乗誤差最小化の最適化問題として、勾配法やらなんやらで導くことができます。

      動径基底関数のパラ

      • >いちおう動径基底関数扱ったことがあるので、薀蓄たれ流させてもらいます。
        >フーリエ解析が、任意の関数f(x)を三角関数の線形和で表すように、
        >動径基底関数ネットワークでは、任意の関数f(x)を(ガウス関数などの)動径基底関数の線形和で表します。
        >一方でいわゆる3層パーセプトロンは、任意の関数f(x)を(arctanやシグモイド関数などの)やわらかめステップ関数の和で表す、と。
        >
        >それだけの違いなので、学習アルゴリズムは3層パーセプトロンと同様に二乗誤差最小化の最適化問題として、勾配法やらなんやらで導くことができます。

        数学ちょっとしかやっ
        • Re:動径基底関数 (スコア:2, 参考になる)

          by shigepong (8002) on 2002年08月09日 23時39分 (#143366) 日記
          >『参考になる+1』ます(モデ権今無いのでコメントで)
          いえーい。ごちそうさま。

          「学習」というと、人工頭脳的だけれども、単に「パラメータ決定」と言えばつまらなくなります。ニューラルネットと言っても
          f(x) = a x + b  の線形フィッティングの親玉に過ぎないわけで、
          要は誤差 E = sum_i|f(xi) - yi|^2 をパラメータ(上の線形フィッテイングなら(a,b), ニューラルネットなら重み)に関して最小化するだけですから。

          誤差逆伝播は、勾配法による E 最小化のアルゴリズム(ゆうてしまえば最も安直なアルゴリズム)が、あたかも出力誤差が神経繊維を遡っているかのように解釈できたために、すわ!これこそが頭脳思考学習の本質的プロセスか!?っという興奮の元で作られた名前なんだろうな(予想)と。

          #小脳は誤差逆伝播チックな学習をしているらしいと
          #いまでも言われてます。他では違うらしい。

          親コメント

日本発のオープンソースソフトウェアは42件 -- ある官僚

処理中...