二値変数

二値確率変数$x\in\{0,1\}$が1つの場合を考える（コイン投げの結果）．コインが歪んでいて，表と裏の出る確率が同じとは限らないとする．$x=1$となる確率はパラメータ$\mu$を用いて$$p(x=1|\mu)=\mu$$とする．ただし，$0\leq\mu\leq1$であり，これより，$p(x=0|\mu)=1-\mu$となる．したがって，$x$上の確率分布は以下のベルヌーイ分布(Bernoulli distribution)となる．

• ベルヌーイ分布 $${\rm Bern}(x|\mu)=\mu^x(1-\mu)^{1-x}$$
• ベルヌーイ分布は正規化されている$$\begin{split}\int_{-\infty}^\infty{\rm Bern}(x|\mu){\rm d}x&=\sum_{x\in\{0,1\}}p(x|\mu)\\&=p(x=0|\mu)+p(x=1|\mu)\\&=(1-\mu)+\mu\\&=1\end{split}$$
• ベルヌーイ分布の平均 $$\begin{split}\mathbb{E}[x]&=\sum_{x\in\{0,1\}}p(x|\mu)x\\&=p(x=0|\mu)\cdot0+p(x=1|\mu)\cdot1\\&=\mu\end{split}$$
• ベルヌーイ分布の分散$$\begin{split}{\rm var}[x]&=\mathbb{E}[(x-\mu)^2]\\&=p(x=0|\mu)(0-\mu)^2+p(x=1|\mu)(1-\mu)^2\\&=(1-\mu)\mu^2+\mu(1-\mu)^2\\&=\mu(1-\mu)\end{split}$$
• ベルヌーイ分布に従う二値確率変数$x$のエントロピー$$\begin{split}H[x]&=-\sum_xp(x)\log_2p(x)\\&=-\sum_{x\in\{0,1\}}p(x|\mu)\log_2p(x|\mu)\\&=-p(x=0|\mu)\log_2p(x=0|\mu)-p(x=1|\mu)\log_2p(x=1|\mu)\\&=(1-\mu)\log_2(1-\mu)-\mu\log_2\mu\end{split}$$