必威电竞|足球世界杯竞猜平台

最大后驗概率
來源:互聯網

在貝葉斯統計學中,“最大后驗概率估計”是后驗概率分布的眾數。利用最大后驗概率估計可以獲得對實驗數據中無法直接觀察到的量的點估計。它與最大似然估計中的經典方法有密切關系,但是它使用了一個增廣的優化目標,進一步考慮了被估計量的先驗概率分布。所以最大后驗概率估計可以看作是規則化(regularization)的最大似然估計。

定義

假設我們需要根據觀察數據 估計沒有觀察到的總體參數,讓 作為 的采樣分布,這樣 就是總體參數為 時 的概率。函數

即為似然函數,其估計

就是 的最大似然估計

假設存在一個先驗分布,這就允許我們將作為托馬斯·貝葉斯統計(en:Bayesian 統計學)中的隨機變量,這樣的后驗分布就是:

其中是的domain,這是貝葉斯定理的直接應用。

最大后驗估計方法于是估計為這個隨機變量的后驗分布的眾數:

后驗分布的分母與無關,所以在優化過程中不起作用。注意當前驗是常數函數時最大后驗估計與最大似然估計重合。

方法

最大后驗估計可以用以下幾種方法計算:

通過期望最大化算法的修改實現,這種方法不需要后驗密度的導數

1.

解析方法,當后驗分布的模能夠用解析解方式表示的時候用這種方法。當使用共軛先驗的時候就是這種情況。

2.

通過如共扼積分法或者牛頓法這樣的數值優化方法進行,這通常需要一階或者導數,導數需要通過解析或者數值方法得到。

3.

通過期望最大化算法的修改實現,這種方法不需要后驗密度的導數。

盡管最大后驗估計與 Bayesian 統計共享前驗分布的使用,通常并不認為它是一種 Bayesian 方法,這是因為最大后驗估計是點估計,然而 Bayesian 方法的特點是使用這些分布來總結數據、得到推論。Bayesian 方法試圖算出后驗均值或者中值以及posterior interval,而不是后驗模。尤其是當后驗分布沒有一個簡單的解析形式的時候更是這樣:在這種情況下,后驗分布可以使用Markov chain Monte Carlo技術來模擬,但是找到它的模的優化是很困難或者是不可能的。

計算

MAP估計可以通過以下幾種方式計算:

1、分析地,當后分布的模式可以以封閉形式給出時。當使用共軛前體時就是這種情況。

2、通過數值優化,如共軛梯度法或牛頓法。這通常需要一階或二階導數,必須通過分析或數值方法進行評估。

3、通過修改期望最大化算法。這不需要后密度的導數

4、通過使用模擬退火的蒙特卡羅方法。

評價

雖然MAP估計只需要溫和的條件就是貝葉斯估計的一個極限情況(在0-1損失函數下),但它一般不能很好地代表貝葉斯方法。這是因為MAP估計是點估計,而托馬斯·貝葉斯方法的特征在于使用分布來總結數據和繪制推論:因此,貝葉斯方法傾向于報告后驗均值或中值,以及可信區間。這是因為這些估計量分別在平方誤差和線性誤差損失下是最優的 - 這更能代表典型的損失函數 - 并且因為后驗分布可能沒有簡單的分析形式:在這種情況下,可以模擬分布 使用馬爾可夫鏈蒙特卡羅技術,而優化以找到其模式可能是困難的或不可能的。

在許多類型的模型中,例如混合模型,后部可以是多模態的。在這種情況下,通常的建議是應該選擇最高模式:這并不總是可行的(全局優化是一個難題),在某些情況下甚至不可能(例如在出現可識別性問題時)。此外,最高模式可能是大多數后驗的不典型。

最后,與ML估計器不同,MAP估計在重新參數化下不是不變的。從一個參數化切換到另一個參數化涉及引入影響最大值位置的雅可比行列式

作為上述托馬斯·貝葉斯估計量(均值和中位數估計量)與使用MAP估計值之間差異的一個例子,考慮需要將輸入x分類為正或負的情況(例如,貸款有風險或安全) 。假設關于正確的分類方法,和只有三種可能的假設,后驗分別為0.4,0.3和0.3。假設給定一個新實例,x,將其分類為正數,而另外兩個將其分類為負數。使用對正確分類器h1的MAP估計,x被分類為正,而貝葉斯估計器將對所有假設求平均并將x分類為負。

參考資料 >

生活家百科家居網