パスワードを忘れた? アカウント作成
13580631 journal
日記

taggaの日記: 連続分布・分散有限でエントロピー最大が正規分布、雑なまとめ前編 1

日記 by tagga

;; 編集しようとして、隣の削除押した……。

ちゃんとやると道具だけで大変なので、適当。

エントロピーは H=-∫p(x) log p(x) dx. 面倒なので、積分区間の-∞から∞は省略。 情報っぽく対数の底を2にするのも面倒なので、e。 あと (x) も略。

pをp+Δpにちょっと変えて、ΔH を考える。 Δp が小さいので、Δp^2 のあとは無視する。 log (1+Δp/p)≈Δp/p なので、

ΔH = -∫(p+Δp)log(p+Δp) dx + ∫p log p dx = - ∫(p log(1+Δp/p) +Δp(log p + log(1+Δp/p)))dx ≈ - ∫dx (1+log p)Δp.

制約は、確率の和が1の M0=∫p dx = 1, 平均がμの M1=∫x p dx = μ, 分散がσ^2 の M2=∫(x-μ)^2 p dx = σ^2. 最後のを原点まわりに書き直して、M'2=∫x^2 p dx = σ^2+μ^2.

これの差分もほとんど0で、 ΔM0=∫dx Δp ≈ 0, ΔM1=∫dx x Δp ≈ 0, ΔM'2=∫dx x^2 Δp ≈ 0.

ということは、 1 + log p = λ01x+λ2x^2 とすると、ΔH≈0 にできる (これが Lagrange の未定乗数法)。

p = exp(λ0-1+λ1x+λ2x^2) で指数部分を平方完成して、 制約を満たすようにすると、

p = 1/(√(2π)σ) * exp{-(x-μ)^2/(2σ^2)}.

正規分布が出てきたけど、これはまだ候補なので、後編に続く。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
typodupeerror

「科学者は100%安全だと保証できないものは動かしてはならない」、科学者「えっ」、プログラマ「えっ」

読み込み中...