パスワードを忘れた? アカウント作成
13581333 journal
日記

taggaの日記: 連続分布・分散有限でエントロピー最大が正規分布、雑なまとめ後編

日記 by tagga

承前。 とりあえず最大の候補は出た。 変形の一部が思い付かなかったので、 式変形の元ネタ

まずは、正規分布のときのエントロピーを求めておく。

HN=-∫(1/√(2π)σ)*exp(-(x-μ)^2 / 2σ^2) log{(1/√(2π)σ)*exp(-(x-μ)^2 / 2σ^2)}dx
=log(√(2π)σ)∫(1/√(2π)σ) * exp(-(x-μ)^2 / 2σ^2)dx + 1/(2σ^2) ∫(x-μ)^2(1/√(2π)σ) * exp(-(x-μ)^2 / 2σ^2)dx
=log(√(2π)σ)+ 1/2.

差を計算する。

H - HN = -∫p log p dx - log(√(2π)σ)- 1/2
= -∫p log p dx - log(√(2π)σ)∫p dx - 1/(2σ^2)∫(x-μ)^2 p dx
= -∫p log p dx + ∫p log{1/√(2π)σ * exp(-(x-μ)^2 / 2σ^2)}dx
= ∫p log({1/√(2π)σ * exp(-(x-μ)^2 / 2σ^2)}/p) dx.

グラフの形から log x ≦ x - 1 なので、
H - HN ≦ ∫p ({1/√(2π)σ * exp(-(x-μ)^2 / 2σ^2)}/p - 1)dx
=∫{1/√(2π)σ * exp(-(x-μ)^2 / 2σ^2)}dx - ∫ p dx
= 1 - 1 = 0.

ということで、H ≦ HN で、等号成立は p = 1/√(2π)σ * exp(-(x-μ)^2 / 2σ^2) のとき。

メジャーな出し方で、まだ書いてないのは、 拡散方程式と中心極限定理かな。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
typodupeerror

アレゲは一日にしてならず -- アレゲ見習い

読み込み中...