tspeaking

一、結合實際應用

之前講到，當不知道原因的概率的時候，可以選取一種相對靈活的概率分布表示先驗概率的分布。

而選取哪種分布往往取決于實際應用或問題是什么。

在繼續介紹該如何選取分布類型之前，我們先以一個簡單的例子描述一下我們需要解決的問題：

假設有兩枚硬幣C1和C2，C1硬幣拋出正面的概率是0.6，C2硬幣拋出正面的概率是0.3。現在，我們做一個實驗：

每次取兩枚硬幣中的一枚，拋出這枚硬幣，連拋10次，記錄正面和反面出現的次數。此為1次試驗。我們做5次。實驗結果如下：

先不管所用硬幣是哪枚，單單就試驗結果而言，試驗結果是服從二項分布的，即每一次拋硬幣的結果非正即反。

然而，實際的情況是，試驗中所用硬幣對試驗結果是有影響的，因為兩枚硬幣拋出正面的概率是不一樣的。因此，試驗結果可以看作是先選取硬幣，再拋選到的硬幣。也就是說，選硬幣是原因，試驗結果是這個原因所導致的結果。

現在，我們要根據這5次試驗結果推斷每次試驗用的是哪枚硬幣。

現在的情況是，我們不知道選到哪枚硬幣的概率是多少，即選取硬幣的概率未知。

為了推斷每次試驗用的是哪枚硬幣，我們需要根據試驗結果倒推，尋找能讓這5次試驗結果——這一組合出現概率最大的那個選硬幣的概率。如此，我們就有充分的信心相信，要使這5次試驗結果的組合的出現概率最大，每次試驗之前應該選哪枚硬幣。

既然是倒推，就需要設定一個初始的選硬幣的概率（先驗概率），然后再根據倒推的結果（后驗概率）調整選硬幣的概率，這個過程可表示為：

設選到硬幣的事件為θ，每次試驗硬幣朝上的次數為X。

先假定選硬幣的概率（如選到C1的概率為0.7，即p(θ=C1) = 0.7）

　　→ 計算在已經選到硬幣的基礎上，在一次試驗中出現X = 5的概率p(X=5|θ=C1)，此即為似然函數的值

　　　　→ 根據公式：后驗概率 = 似然函數 × 先驗概率，計算在X = 5的情況下，選到的硬幣是C1的概率，

　　　　    表示為p(θ=C1|X=5)，即后驗概率

　　　　　　→ 根據這個后驗概率調整（或替代）之前的先驗概率

事實上，在很多情況下，通過上述步驟得到的后驗概率并不是最理想的結果，也就是說，如果用這個后驗概率作為先驗概率，再一次通過上述步驟計算出第二個后驗概率，如果通過某些度量，發現第二個后驗概率比第一個后驗概率更好，則應該用第二個后驗概率調整（或替代）第一個后驗概率。這個過程一直要持續到新得到的后驗概率不再變化（即收斂）。

那么，問題就來了：憑什么后驗概率可以調整（或替代）先驗概率？事實上，只要后驗概率的范圍仍然在(0, 1)之間，它就可以作為新的先驗概率繼續參與新的后驗概率的計算。

不過，要注意的是，先驗概率和后驗概率不一定都在同一個（即分布的參數都相同）分布上。更多的情況是，后驗概率在不同的分布上。理想的情況是，先驗概率和后驗概率有同樣形式的分布，只是參數不同（即形狀不同）。

很激動的是，就有這么一個分布，定義了(0, 1)之間的連續分布，有兩個參數控制分布的形狀，它就是Beta分布。

Beta分布根據其參數α和β的不同，有各種各樣的形狀（如下圖所示），但符合該分布的變量取值總是在(0, 1)之間。

（概率密度函數）

（累積函數）

二、從一維到多維

上面說到的Beta分布定義的是1個事件的先驗概率的分布，比如拋硬幣正面向上的事件概率。

在實際應用中，我們有時候會不清楚多個事件中各個事件的概率，比如擲一枚不均勻6面骰子，分別出現數字1-6的概率。這時候，因為實驗結果服從多項分布，就不能用Beta分布了，而需要改用定義多個均位于(0, 1)區間變量的概率分布。

數學上已經證明，可用狄利克雷分布(Dirichlet Distribution)——Beta分布在多維上的擴展來表示多個未知概率事件的概率分布。