Orion's Blog

摘要： 離散隨機變量的二項分布和多項式分布，以及連續隨機變量的高斯分布，這些都是參數分布（parmetric distribution）的具體例子。之所以被稱為參數分布，是因為少量可調節的參數控制了整個概率分布。在頻率派的觀點中，我們通過最優化某些準則（例如似然函數）來確定參數的具體值。而在貝葉斯派的觀點中，給定觀測數據，我們引入參數的先驗分布，然后使用貝葉斯定理來計算對應后驗概率分布。我們會看到，對于貝葉斯參數估計而言，共軛先驗（conjugate prior）有著很重要的作用。它使得后驗概率分布的函數形式與先驗概率相同，因此使得貝葉斯分析得到了極大的簡化。例如，二項分布的參數的共軛分布為Beta分布，多項式分布的參數的共軛分布為狄利克雷分布（Dirichlet distribution），而高斯分布的均值的共軛先驗是另一個高斯分布。所有這些分布都是指數族（exponential family）分布的特例。在本篇博客中我們將會介紹二項分布與多項式分布的共軛先驗，高斯分布的共軛先驗留在下一篇博客中進行介紹。 閱讀全文