情報量とエントロピ

情報量とは，$x$の値を得た際の「驚きの度合い」である．いつでも起きそうな事象が起きても得る情報は少なく，逆に，起きそうもない事象が起きたとしたら得る情報は多い．

まずは，情報量の概念について述べる．ジョーカ2枚を含めた54枚のトランプから一枚引く例を考える．

• 「このカードはハート」という情報量は小さい
• 「このカードはジョーカー」という情報量は大きい

このように，確率が小さければ小さいほど情報量は大きくなる．つまり，情報量を測る尺度は確率分布$p(x)$に依存しており，確率分布$p(x)$の単調な関数$h(x)$で，情報量を表すようなもの考える．$h(\cdot)$を定義するにあたり，以下を満たすようなものが望ましい．

• 2つの事象$x, y$が無関係なら，両方を観測したときの情報が，それぞれ別々に観測した時の情報の和になる．すなわち，$h(x, y) = h(x) + h(y)$を満たす．
• 2つの無関係な事象は統計的に独立であるため，$p(x, y)=p(x)p(y)$を満たす．

これら2つの関係を満たす$h(x)$は$p(x)$の対数であるため，情報量は以下のように定義される．$$h(x) = \log_2\frac{1}{p(x)} = -\log_2p(x)$$

なお，上式の対数の底は何を選んでも，情報量が低数倍されるだけで本質的な差はないが，底としては2を選ぶことが多く，そのときの$h(x)$の単位は「ビット」である．

次に，エントロピーについて述べる．エントロピーとは情報量の平均値であり，以下のように定義される．$$H[x]=-\sum_xp(x)\log_2p(x)$$