時間平均とエルゴード性

確率過程の各集合平均がそれぞれの時間平均と等しいと置けるとき，その確率過程はエルゴード的であるといわれる．大雑把にいうと，定常的な確率過程は，その平均と自己相関関数に関してエルゴード性をもつ．

ガウス分布とレイリー分布

レイリー分布を二次元ガウス分布から導出する．確率変数$x, y$（$x$と$y$は互いにIID）において，平均$0$, 分散$\sigma^2$の正規分布を考える．$$\begin{split}p(x)&=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{x^2}{\sigma^2}\right\}\\p(y)&=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{y^2}{\sigma^2}\right\}\end{split}$$
$x, y$は互いにIIDであるため，$p(x), p(y)$の同時確率密度関数はそれぞれの確率密度関数の積で表すことができる．$$\begin{split}p(x, y)&=p(x)p(y)\\&=\frac{1}{2\pi\sigma^2}\exp\left\{-\frac{x^2+y^2}{2\sigma^2}\right\}\end{split}$$
次に極座標系への変数変換を考える．$x=r\cos\theta, y=r\sin\theta$とするとヤコビアン$|J|$は$r$となる．よって，$$\begin{split}p(r, \theta)&=|J|p(x,y)\\&=\frac{r}{2\pi\sigma^2}\exp\left\{-\frac{r^2}{2\sigma^2}\right\}\end{split}$$

レイリー分布は，この同時確率密度関数における振幅$r$の周辺分布である．つまり上式を$\theta$で積分したものがレイリー分布となる．$$\begin{split}p(r)&=\frac{r}{\sigma^2}\exp\left\{-\frac{r^2}{2\sigma^2}\right\}\end{split}$$

二値変数

二値確率変数$x\in\{0,1\}$が1つの場合を考える（コイン投げの結果）．コインが歪んでいて，表と裏の出る確率が同じとは限らないとする．$x=1$となる確率はパラメータ$\mu$を用いて$$p(x=1|\mu)=\mu$$とする．ただし，$0\leq\mu\leq1$であり，これより，$p(x=0|\mu)=1-\mu$となる．したがって，$x$上の確率分布は以下のベルヌーイ分布(Bernoulli distribution)となる．

• ベルヌーイ分布 $${\rm Bern}(x|\mu)=\mu^x(1-\mu)^{1-x}$$
• ベルヌーイ分布は正規化されている$$\begin{split}\int_{-\infty}^\infty{\rm Bern}(x|\mu){\rm d}x&=\sum_{x\in\{0,1\}}p(x|\mu)\\&=p(x=0|\mu)+p(x=1|\mu)\\&=(1-\mu)+\mu\\&=1\end{split}$$
• ベルヌーイ分布の平均 $$\begin{split}\mathbb{E}[x]&=\sum_{x\in\{0,1\}}p(x|\mu)x\\&=p(x=0|\mu)\cdot0+p(x=1|\mu)\cdot1\\&=\mu\end{split}$$
• ベルヌーイ分布の分散$$\begin{split}{\rm var}[x]&=\mathbb{E}[(x-\mu)^2]\\&=p(x=0|\mu)(0-\mu)^2+p(x=1|\mu)(1-\mu)^2\\&=(1-\mu)\mu^2+\mu(1-\mu)^2\\&=\mu(1-\mu)\end{split}$$
• ベルヌーイ分布に従う二値確率変数$x$のエントロピー$$\begin{split}H[x]&=-\sum_xp(x)\log_2p(x)\\&=-\sum_{x\in\{0,1\}}p(x|\mu)\log_2p(x|\mu)\\&=-p(x=0|\mu)\log_2p(x=0|\mu)-p(x=1|\mu)\log_2p(x=1|\mu)\\&=(1-\mu)\log_2(1-\mu)-\mu\log_2\mu\end{split}$$