j3259の日記: 機械学習/パターン識別 2
日記 by
j3259
- λ(αi|ωj) = { 0 if i = j; 1 if i != j.
0-1損失関数(zero-one loss function)。決定された状態が真の状態の場合は 0,それ以外の場合は 1 を返す損失関数。この損失関数に関わる統計的リスク(期待損失)は平均誤差率と等価である。定義より条件付リスクは
R(αi|x→) = ∑(j=1,c){λ(αi|ωj)p(ωj|x→)}
= ∑(i!=j){P(ωj|x→)}
= 1 - P(ωi|x→)
リスクを最小化するには事後確率が最大のi を選ぶべきである。つまり,0-1損失の場合の誤差率を最小化するには「i != j である全ての j について P(ωi|x) > P(ωj|x) である状態 ωi を選択する」。 - gi(x→). 判別関数(discriminant function)。分類器は「i != j である全ての j について gi(x→) > gj(x→) である」場合,特徴ベクトル x→ をにクラスωi に割り当てる。
- ベイズ分類器も判別関数として表現することができる。リスクありの一般的な場合は gi(x→) = -R(αi|x→)。誤差率最小の場合は,gi(x→) = P(ωi|x→)。
- 判別関数は大小を比較するためにだけ用いられるため,正の定数を掛けたり,定数を足し引きしてもかまわない。一般には,判別関数は単調増加な関数 f(・)に入れても判別の結果に変わりはない。
gi(x→) = P(ωi|x→) = p(x→|ωj)P(ωj) / P(x→)
= p(x→|ωj)P(ωj)
= ln p(x→|ωj) + ln P(ωj)
と大幅に式を単純化していける。
- ベイズ分類器の構造は条件付確率密度(conditional density) p(x→|ωj) と事前確率 P(ωj) に依存するが,さまざまな密度関数の中でも多変量正規分布(multivariate normal),つまりガウス密度(Gaussian density)が注目されてきた。
- E[f(x)] = ∫f(x)p(x)dx. 密度p(x)におけるスカラー関数f(x)の期待値(expected value)。x が離散の場合は E[f(x)] = ∑(x∈D){f(x)P(x)}。
- p(x) = 1/sqrt(2πδ)*exp(-1/2 * ((x - μ)/δ))2). 連続単変量正規分布,ガウス密度。
μ := E[x] = ∫xp(x)dx.
δ2 := E[(x - μ)2] = ∫(x - μ)2p(x)dx.
簡易的に p(x) ~ N(μ,δ2) と表記する。 - p(x→) = 1/{(2π)d/2 * |∑|^1/2} * exp[-1/2(x→ - μ→)T∑-1(x→ - μ→)]. d次元の多変量正規密度。
μ→はd成分の平均ベクトル(mean vector),∑は共分散行列(covariance matrix),|∑|は∑の行列式,∑-1は∑の逆行列である。
簡易的に p(x→) ~ N(μ→,∑) と表記する。
μ→ := E[x→] = ∫x→p(x→)dx→.
∑ := E[(x→ - μ→)(x→ - μ→)T] = ∫(x→ - μ→)(x→ - μ→)Tp(x→)dx→.
参照
機械学習/パターン識別 2 More ログイン