パスワードを忘れた? アカウント作成
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

訃報: 「AIC」を編み出した赤池弘次氏 (元統計数理研究所長) が死去」記事へのコメント

  • by Anonymous Coward on 2009年08月08日 11時17分 (#1619619)
    SBICなど他の情報量規準と判断が異なった時、どちらを採用するべきかは結構慎重に検討しなければならないんだよなあ。丸っきり違う判断が出るときもあるので。それらのさきがけとしてAICがあったわけですね。
    • by Anonymous Coward on 2009年08月08日 13時53分 (#1619667)

      AICの考え方の「原理」というのはどのようなものなのでしょうか?
      モデルのモデル(メタモデル?)のようなものの分布とかいうようなものを考えるのでしょうか?

      親コメント
      • Re:AICを使ってて (スコア:2, 参考になる)

        by Anonymous Coward on 2009年08月08日 22時16分 (#1619747)
        大抵は線形回帰モデル、特に多変数自己回帰モデルに用いられます。モデルを推定して残差が出ますよね。残差があるということはデータに含まれる情報を全てモデルに含めることはできなかったということでもあります。推定項を増やせば残差は小さくなりますが冗長な項をモデルに含んでいるかもしれません。またモデルを巨大にするほど推定値が不安定になりがちで、現在手にあるデータに対しての説明力は大きくなっているかもしれないけれどモデルの意味は小さくなっているかもしれません。その残差最小化と推定項の少なさとの間の最適バランスを探るための量となるのがこれらの情報量規準です。

        AICなどの実際に用いられる式はWikipediaなどを見て欲しいのですが、残差が小さくなるほど情報量規準の値は小さくなる一方、推定項を増やすほど情報量規準の値は大きくなるように作られています。残差が小さい方が良いけれど推定項を増やすとそれに応じたペナルティを与えるかたちになっています。これを最小化するモデルを選択することで「データにモデルを選ばせる」ことができるということです。人間の恣意的な判断を排除できるのですね。

        # 余談ですが、AIC以降、情報量規準は多数考案されており、それぞれが違うモデルを支持することは多々あります。しかしそここそがむしろ分析者の腕とカンの見せ所です。結局はデータのみに語らしめることなどできないのですね。
        親コメント
        • by Anonymous Coward

          ありがとうございました。

          あらためて情報量規準について勉強してみようと思いました。

          >結局はデータのみに語らしめることなどできないのですね。

          最近のフレーミング [goo.ne.jp]というのを思い出しました。
          「プランクが量子力学を発見したとき、彼の利用した実験データはすべて既知のものだった。プランクはそういう事実から帰納によって理論を導いたのではなく、「事実に棲み込む」ことによってインサイトとして思いついたのである。」

          • by Anonymous Coward
            ああ、ノビーですか。
      • by the.ACount (31144) on 2009年08月11日 13時59分 (#1620841)

        余はAICの簡明なる説明図を考案したが、ここには描く場所がない。(フェルマーかよ)

        でもまあ、無理に図を説明すると、
        まず、n次元のデータ空間を考えて、それを3次元に描きます。
        Z軸がk次元のモデルで、XY平面が残りのn-k次元です。
        X軸上に真値を表す点を置き、原点が最良モデルです。
        誤差分布は分散1の正規分布として、n次元空間にデータ点を置くと
        真値とデータ点の平均距離はnの平方根です。
        モデル誤差(真値のX座標)とデータ誤差は直交してるとすると、データ点のX座標は真値と同じで
        Z座標はkの平方根、Y座標はn-kの平方根です。
        そして、データ点からZ軸(モデル)に垂線を降ろすと、そこが推定モデルで
        垂線の長さは残差平方和の平方根です。
        以上の図を描いて真値と推定モデルの距離を計算すると、あーら不思議
        AIC-n比例項の平方根となります。(これで描けるかな~?)

        --
        the.ACount
        親コメント

コンピュータは旧約聖書の神に似ている、規則は多く、慈悲は無い -- Joseph Campbell

処理中...