アカウント名:
パスワード:
AICの考え方の「原理」というのはどのようなものなのでしょうか？モデルのモデル(メタモデル？)のようなものの分布とかいうようなものを考えるのでしょうか？
ありがとうございました。
あらためて情報量規準について勉強してみようと思いました。
>結局はデータのみに語らしめることなどできないのですね。
最近のフレーミング [goo.ne.jp]というのを思い出しました。「プランクが量子力学を発見したとき、彼の利用した実験データはすべて既知のものだった。プランクはそういう事実から帰納によって理論を導いたのではなく、「事実に棲み込む」ことによってインサイトとして思いついたのである。」
余はAICの簡明なる説明図を考案したが、ここには描く場所がない。(フェルマーかよ)
でもまあ、無理に図を説明すると、まず、n次元のデータ空間を考えて、それを３次元に描きます。Z軸がｋ次元のモデルで、XY平面が残りのｎ－ｋ次元です。X軸上に真値を表す点を置き、原点が最良モデルです。誤差分布は分散１の正規分布として、n次元空間にデータ点を置くと真値とデータ点の平均距離はnの平方根です。モデル誤差(真値のX座標)とデータ誤差は直交してるとすると、データ点のX座標は真値と同じでZ座標はｋの平方根、Y座標はｎ－ｋの平方根です。そして、データ点からZ軸(モデル)に垂線を降ろすと、そこが推定モデルで垂線の長さは残差平方和の平方根です。以上の図を描いて真値と推定モデルの距離を計算すると、あーら不思議AIC－n比例項の平方根となります。(これで描けるかな～？)
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
にわかな奴ほど語りたがる -- あるハッカー
AICを使ってて (スコア:2, 興味深い)
Re:AICを使ってて (スコア:1, 興味深い)
AICの考え方の「原理」というのはどのようなものなのでしょうか？
モデルのモデル(メタモデル？)のようなものの分布とかいうようなものを考えるのでしょうか？
Re:AICを使ってて (スコア:2, 参考になる)
AICなどの実際に用いられる式はWikipediaなどを見て欲しいのですが、残差が小さくなるほど情報量規準の値は小さくなる一方、推定項を増やすほど情報量規準の値は大きくなるように作られています。残差が小さい方が良いけれど推定項を増やすとそれに応じたペナルティを与えるかたちになっています。これを最小化するモデルを選択することで「データにモデルを選ばせる」ことができるということです。人間の恣意的な判断を排除できるのですね。
# 余談ですが、AIC以降、情報量規準は多数考案されており、それぞれが違うモデルを支持することは多々あります。しかしそここそがむしろ分析者の腕とカンの見せ所です。結局はデータのみに語らしめることなどできないのですね。
Re: (スコア:0)
ありがとうございました。
あらためて情報量規準について勉強してみようと思いました。
>結局はデータのみに語らしめることなどできないのですね。
最近のフレーミング [goo.ne.jp]というのを思い出しました。
「プランクが量子力学を発見したとき、彼の利用した実験データはすべて既知のものだった。プランクはそういう事実から帰納によって理論を導いたのではなく、「事実に棲み込む」ことによってインサイトとして思いついたのである。」
Re: (スコア:0)
Re:AICを使ってて (スコア:1)
余はAICの簡明なる説明図を考案したが、ここには描く場所がない。(フェルマーかよ)
でもまあ、無理に図を説明すると、
まず、n次元のデータ空間を考えて、それを３次元に描きます。
Z軸がｋ次元のモデルで、XY平面が残りのｎ－ｋ次元です。
X軸上に真値を表す点を置き、原点が最良モデルです。
誤差分布は分散１の正規分布として、n次元空間にデータ点を置くと
真値とデータ点の平均距離はnの平方根です。
モデル誤差(真値のX座標)とデータ誤差は直交してるとすると、データ点のX座標は真値と同じで
Z座標はｋの平方根、Y座標はｎ－ｋの平方根です。
そして、データ点からZ軸(モデル)に垂線を降ろすと、そこが推定モデルで
垂線の長さは残差平方和の平方根です。
以上の図を描いて真値と推定モデルの距離を計算すると、あーら不思議
AIC－n比例項の平方根となります。(これで描けるかな～？)
the.ACount