NISHIO Hirokazu[Translate]
分母に2を足し、分子に1を足す
コインの表裏(確率pで表が出る独立な試行)の分布は「ベルヌーイ分布」と呼ぶ。
ベルヌーイ分布の共役事前分布(ベイズ更新に都合の良い事前分布、きょうやく〜)はベータ分布である。
観測を行った後の確率分布を事後分布という。
ベイズ的には、事前分布と観測事実から、ベイズ則を使って計算することで導くことができる。
事後分布の最頻値推定値に選ぶ推定方法をMAP推定(最大事後確率推定)と呼ぶ。
分布が得られた時の点推定量として最頻値を選ばなきゃいけない理由はないので、平均値で推定することもできる
平均値(期待値)は
ベータ分布はα=β=1の時に一様分布になる。
事前分布がベータ分布B(α, β)の時、
表を1回観測した後の事後分布はB(α+1, β)になる
裏を1回観測した後の事後分布はB(α, β+1)になる
なので、最初に無情報事前分布として一様分布を仮定し、その後表をA回、裏をB回観測した後の、表が出る確率pは
最頻値 A/(A+B) となる
平均 (A+1)/(A+B+2)
つまり、MAP推定値標本平均になる
この場合、例えばコインを1回だけ投げて1回だけ表を観測した時に「このコインは確率1で表になる!」と推定する
こういう結論の出しかたはイマイチである(過学習)
というわけでもっと穏当な結果を出す事後分布の平均を使う
平均だと「このコインは確率2/3で表になる」と推定する
標本数が増えると同じ値に収束する
こういう理由で、ベルヌーイ分布のpの推定をする際に「分母に2、分子に1を足す」という推定方法が使われる
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]