來源：互聯網
吉布斯不等式是由約西亞·吉布斯在19世紀提出的重要不等式。在信息論和概率論中，它是法諾不等式和訊號源編碼定理證明的基礎。吉布斯不等式表明，對于任意兩個概率分布P和Q，若它們的概率值均在(0,1]區間內且總和為1，則它們的滿足特定的不等式關系。
詳解
吉布斯不等式說明：若概率分布P和Q滿足條件，且，則有：
，
等號成立當且僅當。這個不等式也可以用來衡量兩個概率分布之間的差異，即相對熵或KL散度。
證明
吉布斯不等式等價于：
，
其中表示P和Q之間的相對熵。證明最右的項小于或等于0的方法有幾種，其中一種是利用對數函數的性質：已知，等號成立當且僅當。因此，我們有：
。
。
引理
吉布斯不等式的一個重要應用是在熵的最大化問題中。對于n個變數的概率分布P，其熵的最大值是：
。
這表明，在所有可能的概率分布中，均勻分布的熵是最大的。
參考資料 >