taggaの日記： 気分がはれないので、雑な中心極限定理

中心極限定理で正規分布を出すには、 キュムラント母関数を使うのが簡単。 だけど、2種類あるキュムラント母関数を出すには、 特性関数か積率母関数を出す必要がある。 という具合で、先が長い。

ということで、特性関数。

密度関数を波の合成と思えば、
f(x)≈Σ[k=-∞, ∞] 1/(2π) * exp(-ix* 2πk/T) * φ(2πk/T) * 2π/T.

逆向きにφ(2πk/T) ≈ ∫(-T/2, T/2) exp(ix * 2πk/T) f(x) dx.

そこでフーリエ変換とその逆変換で、φ(t) = ∫(-∞, ∞) exp(itx) f(x) dx, f(x) = 1/(2π) * ∫(-∞, ∞) exp(-itx) φ(t) dt.

前者が特性関数だけど、それを期待値の式とみると、φ(t) = E[exp(itX)].

マクローリン展開をすると、 φ(t)=E[1]/0!*(it)^0 + E[X]/1!*(it)^1+E[X^2]/2!*(it)^2+...

何度も微分して t=0 を代入すると、 φ^(k)(0) = i^k E[X^k] と原点まわりのモーメントが出せる。

独立な確率変数の和については、 φ_X+Y(t)= E[exp(it(X+Y))] = E[exp(itX) * exp(itY)] = E[exp(itX)] * E[exp(itY)] = φ_X(t) * φ_Y(t).

特性関数の対数が(第2)キュムラント母関数で、H_X(t)=logφ_X(t) = log E[exp(itX)].

独立な確率変数の和については、 H_X+Y(t)=H_X(t)+H_Y(t) と和なのがうれしい。

マクローリン展開して、 H_X(t) = 〈X〉_c/1! * (it) + 〈X^2〉_c / 2! * (it)^2 + 〈X^3〉_c / 3! * (it)^3 + ....

〈X^k〉_c のところが k 次のキュムラント。 何度も微分して 0 を代入すると出てくる。 しかも、〈X〉_c=μ, 〈X^2〉_c=σ^2.

確率変数に定数を足したとき、 H_X+b(t) = log E[exp(it(X+b))] = H_X(t) + itb
となり、〈X+b〉_c=〈X〉_c+b, 〈(X+b)^k〉_c=〈X^k〉_c (k>1).

確率変数を定数倍したとき H_aX(t)=E[exp(itaX)] = H_X(at) なので、 〈(aX)^k〉_c=a^k〈X^k〉_c.

なお、正規分布のばあい、 logφ(t)=log(exp(iμt-(σ^2)/2*t^2)=iμt-(σ^2)/2*t^2.

ようやく到着。

X₁, ..., X_nが独立で同一分布、 それぞれ平均μ、分散σ^2のとき、
X=((X₁+...+X_n)/n - μ)/(σ/√n)の分布が、 n→∞で、 平均 0、分散 1 に近付く。

Xを簡単にすると X = 1/(σ√n){X₁+...+X_n}-μ√n/σ.

平均こと第1次のキュムラントを計算すると、 1/(σ√n) * (n * μ) - μ√n/σ = 0.

分散こと第2次のキュラントを計算すると、 1/(σ^2 n) * (n * σ^2) = 1.

3次より上のキュムラントは、1/(σ√n)^k * (n * 〈X^k〉_c)→0.

ということで、キュムラント母関数が正規分布のそれに近付くので、 特性関数も正規分布のに近付き、 密度関数も近付く。

独立だったら、平均や分散が違っていても、 モーメントが高次でも定義できてれば、同じ感じ。