ギブスの不等式

3行要約

1. 二つの確率分布の間の交差エントロピーが、元のエントロピー以上になることを示す式。
2. 情報理論において、情報の符号化効率や損失を評価する基礎となる。
3. 熱力学におけるエントロピー増大の法則とも密接に関連している。