j3259の日記： 機械学習/パターン識別 3

• 事前確率 P(x) とクラス条件付密度 p(x|ω_j)p(ω_j) さえあれば，最適な分類器を作れる。実際には問題の確率的構造について完全な知識を持っていることは稀であり，状況に関するあいまいな知識と訓練データが与えられるだけのことが多い。ここで，与えられたサンプルを用いて未知の確率と確率密度を推定して，推定値をもとに分類器を作るというアプローチが取れる。教師ありパターン識別問題では事前確率の推定に特に問題はないが，クラス条件付密度の推定はそう簡単にはいかない。
• 確率密度 p(x|ω_j)p(ω_j) が平均μ→_i，共分散数列 ∑_i の正規分布であると仮定すると，未知の関数の推定から未知のパラメターμ→_i，∑_iの推定という問題に単純化することができる。このような方法はパラメトリック(parametric)な方法であるといわれる。
• パラメトリックな方法の代表として最尤法（さいゆうほう）(maximum likelihood estimation; ML)とベイズ推定(Bayesian estimation)がある。