パスワードを忘れた? アカウント作成
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

成長する推論チップ」記事へのコメント

  • ニューラルネットは10年前に本読みながらパーセプトロンのプログラム書いてみたきり。こんなのあるんですね。

    googleってみたけどよく分からんので識者の方おしえてください。
    http://www.murata.elec.waseda.ac.jp/~mura/Lecture/learn/intrep/node7.html

    f(x) = Integral T(a,b) φ(a,x) da db

    積分をΣにしてみると、これって三層パーセプトロンじゃん、てのはなるほどです。
    --
    -- wanna be the biggest dreamer
    • Re:動径基底関数 (スコア:4, 参考になる)

      by shigepong (8002) on 2002年08月09日 21時06分 (#143264) 日記
      いちおう動径基底関数扱ったことがあるので、薀蓄たれ流させてもらいます。

      フーリエ解析が、任意の関数f(x)を三角関数の線形和で表すように、
      動径基底関数ネットワークでは、任意の関数f(x)を(ガウス関数などの)動径基底関数の線形和で表します。
      一方でいわゆる3層パーセプトロンは、任意の関数f(x)を(arctanやシグモイド関数などの)やわらかめステップ関数の和で表す、と。

      それだけの違いなので、学習アルゴリズムは3層パーセプトロンと同様に二乗誤差最小化の最適化問題として、勾配法やらなんやらで導くことができます。

      動径基底関数のパラメータ(重みとか)は、入力空間で見てローカルにしか効かないという特徴があります。そのおかげで、一旦学習が終わったネットワークを再学習する時に、ローカルにだけ学習して、そのまわりの学習結果を壊してしまいにくい利点があります。

      ちなみにdai75さんの御紹介先は、 たぶん理論的解析準備用の定式化なので、アルゴリズム導出には 向かないかな、と。

      #しかし、「ニューラルネット」っぽさ、
      #すなわち「これが人工頭脳だぁ」ていう素敵(アレゲ?)な気分は
      #どこへ消えてしまったんだろう?
      #「自己組織化」なんつー言葉も久しく聞かなくなったしなぁ。

      親コメント
      • by dama4slash (785) on 2002年08月09日 23時08分 (#143339)
        >いちおう動径基底関数扱ったことがあるので、薀蓄たれ流させてもらいます。
        >フーリエ解析が、任意の関数f(x)を三角関数の線形和で表すように、
        >動径基底関数ネットワークでは、任意の関数f(x)を(ガウス関数などの)動径基底関数の線形和で表します。
        >一方でいわゆる3層パーセプトロンは、任意の関数f(x)を(arctanやシグモイド関数などの)やわらかめステップ関数の和で表す、と。
        >
        >それだけの違いなので、学習アルゴリズムは3層パーセプトロンと同様に二乗誤差最小化の最適化問題として、勾配法やらなんやらで導くことができます。

        数学ちょっとしかやってないんで『参考になる+1』ます(モデ権今無いのでコメントで)

        ここでは、ある2値を取るステップ関数とすべての点で微分可能なシグモイド関数を
        おおきな括りでステップ関数と見做しているんですね。

        分からんのでgoogleっていくつか読んだ記事をつなげてみると、
        「甘利(俊一?)の確率的降下法をすべての層で行うのが
        バックプロパゲーション(誤差逆伝搬/播)という学習のしくみである」というふうに読める記事も見つかって、
        ますます分からなくなってます(笑
        どうやら結構以前からある考えみたいですね。
        親コメント
        • Re:動径基底関数 (スコア:2, 参考になる)

          by shigepong (8002) on 2002年08月09日 23時39分 (#143366) 日記
          >『参考になる+1』ます(モデ権今無いのでコメントで)
          いえーい。ごちそうさま。

          「学習」というと、人工頭脳的だけれども、単に「パラメータ決定」と言えばつまらなくなります。ニューラルネットと言っても
          f(x) = a x + b  の線形フィッティングの親玉に過ぎないわけで、
          要は誤差 E = sum_i|f(xi) - yi|^2 をパラメータ(上の線形フィッテイングなら(a,b), ニューラルネットなら重み)に関して最小化するだけですから。

          誤差逆伝播は、勾配法による E 最小化のアルゴリズム(ゆうてしまえば最も安直なアルゴリズム)が、あたかも出力誤差が神経繊維を遡っているかのように解釈できたために、すわ!これこそが頭脳思考学習の本質的プロセスか!?っという興奮の元で作られた名前なんだろうな(予想)と。

          #小脳は誤差逆伝播チックな学習をしているらしいと
          #いまでも言われてます。他では違うらしい。

          親コメント
      • by Anonymous Coward
        今回の三菱重工のやつもRBFみたいですね。
      • by Anonymous Coward
        SVM が流行ったおかげか,最近は kernel methods とか kernel-based classifiers として一括してとりあげられることも多いです.ここら [kernel-machines.org]あたりを参考にするのも良いかと.

ナニゲにアレゲなのは、ナニゲなアレゲ -- アレゲ研究家

処理中...