ド・モアブル=ラプラスの極限定理
B(k; n, p) \approx \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{(k - np)^2}{2npq} \right\}
二項分布 B(n, p) が n \to \infty で正規分布に近づく定理
1733年にド・モアブルが発見
当時はまだ正規分布という言葉はなかった
ガウスが生まれるのが1777年である
ド・モアブルすごい
後に一般化されて中心極限定理が生まれる
この二項分布の極限が正規分布になる流れをしっかり把握しておきたい
二項分布 B(n, p) に従う確率変数 X \sim B(n, p) について
P(X=k) = \frac{n!}{k!(n-k!)} p^k (1-p)^{n-k}
簡便のため q = 1 - p とする:
P(X=k) = \frac{n!}{k!(n-k!)} p^k q^{n-k}
これがnが大きいとき以下の近似が成り立つことを示したい
P(X=k) \approx \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{(k - np)^2}{2npq} \right\}
nが大きくなるのにkが固定では面倒なので k = np + x\sqrt{npq} と置く。
つまり x = \frac{k - np}{\sqrt {npq}}
\frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{(k - np)^2}{2npq} \right\}
= \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{(x\sqrt{npq})^2}{2npq} \right\}
= \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{x^2 npq}{2npq} \right\}
= \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ -\frac{x^2}{2} \right\}
スターリングの公式を使う
スターリングの公式とは階乗を累乗で近似するもの
n! \approx n^n e^{-n} \sqrt{2\pi n}
ここで見慣れた 2 \pi が出て来る！
ここから証明
P(X=k) = \frac{n!}{k!(n-k!)} p^k q^{n-k}
スターリングの公式を使って階乗をなくす
\approx \frac{n^n e^{-n} \sqrt{2\pi n} }{ k^k e^{-k} \sqrt{2\pi k} \cdot (n-k)^{n-k} e^{-(n-k)} \sqrt{2\pi (n-k)} } p^k q^{n-k}
整理して
= \frac{e^{-n} \sqrt{2\pi n} }{ e^{-k} \sqrt{2\pi k} \cdot e^{-(n-k)} \sqrt{2\pi (n-k)}} \frac{n^n}{k^k \cdot (n-k)^{n-k}} p^k q^{n-k}
前半部について
この式の前半部
\frac{e^{-n} \sqrt{2\pi n} }{ e^{-k} \sqrt{2\pi k} \cdot e^{-(n-k)} \sqrt{2\pi (n-k)}}
が
\frac{1}{\sqrt{2\pi n p q}}
になることを示す。
\frac{e^{-n} \sqrt{2\pi n} }{ e^{-k} \sqrt{2\pi k} \cdot e^{-(n-k)} \sqrt{2\pi (n-k)}}
= \frac{\sqrt{2\pi n} }{ \sqrt{2\pi k} \cdot \sqrt{2\pi (n-k)}}
= \frac{\sqrt{n} }{ \sqrt{2\pi k (n-k)}}
= \frac{1}{ \sqrt{2\pi n \frac{k}{n} \frac{n-k}{n} }}
ここでnが大きいとき k/n \approx p なので
\approx \frac{1}{ \sqrt{2\pi n p q }}
これで得たい式の前半部が出た
別解
再掲
P(X=k) \approx \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{(k - np)^2}{2npq} \right\}
後半部について
式の後半部
\frac{n^n}{k^k \cdot (n-k)^{n-k}} p^k q^{n-k}
が
\exp\left\{ - \frac{(k - np)^2}{2npq} \right\} = \exp\left\{ -\frac{x^2}{2} \right\}
になることを示す。
まずexpの形にしてみる
\frac{n^n}{k^k \cdot (n-k)^{n-k}} p^k q^{n-k}
= \frac{n^k \cdot n^{n-k}}{k^k \cdot (n-k)^{n-k}} p^k q^{n-k}
= \left( \frac{np}{k} \right) ^ k \cdot \left( \frac{nq}{n - k} \right) ^ {n - k}
= \exp\left\{ \log\left\{ \left( \frac{np}{k} \right) ^ k \cdot \left( \frac{nq}{n - k} \right) ^ {n - k} \right\} \right\}
= \exp\left\{ \log\left\{ \left( \frac{np}{k} \right) ^ k \right\} + \log\left\{ \left( \frac{nq}{n - k} \right) ^ {n - k} \right\} \right\}
ここでk = np + x\sqrt{npq}なので
\frac{k}{np} = \frac{np + x\sqrt{npq}}{np} = 1 + x \frac{q}{\sqrt{np}}
\frac{n - k}{nq} = \frac{n - np - x\sqrt{npq}}{nq} = \frac{n(1 - p) - x\sqrt{npq}}{nq} = \frac{nq - x\sqrt{npq}}{nq} = 1 - x \frac{p}{\sqrt{nq}}
代入すると
\exp\left\{ \log\left\{ \left( \frac{np}{k} \right) ^ k \right\} + \log\left\{ \left( \frac{nq}{n - k} \right) ^ {n - k} \right\} \right\}
= \exp\left\{ -k \log\left( \frac{k}{np} \right) + (k - n) \log\left( \frac{n - k}{nq} \right) \right\}
= \exp\left\{ -k \log\left( 1 + x \frac{\sqrt q}{\sqrt{np}} \right) + (k - n) \log \left( 1 - x \frac{\sqrt p}{\sqrt{nq}} \right) \right\}
logをテイラー展開によって2次までで近似すると
\log(1+x) \approx x - {1 \over 2} x^2
\log(1-x) \approx -x - {1 \over 2} x^2
これを使って
\exp\left\{ -k \log\left( 1 + x \frac{\sqrt q}{\sqrt{np}} \right) + (k - n) \log \left( 1 - x \frac{\sqrt p}{\sqrt{nq}} \right) \right\}
\approx \exp\left\{ -k \left( x \frac{\sqrt q}{\sqrt{np}} - \frac{x^2q}{2np} \right) + (k - n) \left( -x \frac{\sqrt p}{\sqrt{nq}} - \frac{x^2 p}{nq} \right) \right\}
kを消す
k = np + x\sqrt{npq}
k - n = np + x\sqrt{npq} - n = n(p - 1) + x\sqrt{npq} = -nq + x\sqrt{npq}
上記の各項を展開するが、この時xの3次の項は無視する
-(np + x\sqrt{npq}) \left( x \frac{\sqrt q}{\sqrt{np}} - \frac{x^2q}{2np} \right) \approx -\left( x \sqrt{ npq} + x^2q - \frac{x^2q}{2}\right)
(-nq + x\sqrt{npq}) \left( -x \frac{\sqrt p}{\sqrt{nq}} - \frac{x^2p}{2nq} \right) \approx \left( x \sqrt{ npq} - x^2p + \frac{x^2q}{2}\right)
この2つを足すので
-\left( x \sqrt{ npq} + x^2q - \frac{x^2q}{2}\right) + \left( x \sqrt{ npq} - x^2p + \frac{x^2q}{2}\right)
= - \frac{x^2q}{2} - \frac{x^2q}{2}
= - \frac{x^2}{2}
よって2次の近似で下記が成り立つことが示された
\frac{n^n}{k^k \cdot (n-k)^{n-k}} p^k q^{n-k} \approx \exp\left\{ -\frac{x^2}{2} \right\} = \exp\left\{ - \frac{(k - np)^2}{2npq} \right\}
別解(途中で心折れた)
ここから分岐 \frac{\sqrt{n} }{ \sqrt{2\pi k (n-k)}}
kを消す k = np + x\sqrt{npq}, k - n = np + x\sqrt{npq} - n = n(p - 1) + x\sqrt{npq} = -nq + x\sqrt{npq}
\frac{\sqrt{n} }{ \sqrt{2\pi k (n-k)}} = \frac{\sqrt{n} }{ \sqrt{2\pi (np + x\sqrt{npq})(nq - x\sqrt{npq})}}
= \frac{\sqrt n}{\sqrt{2\pi n^2 (p + n\sqrt{pq}/\sqrt n )(q - x\sqrt{pq}/\sqrt n ) }}
= \frac{1}{\sqrt{2\pi n (p + n\sqrt{pq}/\sqrt n )(q - x\sqrt{pq}/\sqrt n ) }}
= \frac{1}{\sqrt{2\pi n p (1 + n\sqrt{q}/\sqrt{np} ) q (1 - x\sqrt{p}/\sqrt{nq} ) }}
= \frac{1}{\sqrt{2\pi n p q (1 + x\sqrt{q}/\sqrt{np} ) (1 - x\sqrt{p}/\sqrt{nq} ) }}
この式をAと置く。Aの対数をとる
\log A = -\frac{1}{2} \left\{ \log(2\pi npq) + \log(1 + B) + \log(1 - C)\right\}
記述の楽さのためにこう定義したB = x\sqrt{q}/\sqrt{np}, C = x\sqrt{p}/\sqrt{nq}
\log(1 + B) + \log(1 - C) = B / (1 + \theta B) - C / (1 - \theta' C)
この値の絶対値の取りうる範囲について考える
なお xは最小で -np / \sqrt{npq}であり、その時B = -1, C = -p/q
なお xは最大で nq / \sqrt{npq}であり、その時B = q/p, C = 1
絶対値がnが増えると0に収束することを示すことで\log A = -\frac{1}{2} \log(2\pi npq)を言いたいがまだ出来てない
ref
Related Pages
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]