我們在上一篇博客中介紹了合情推理中所要滿足的合情條件。在這一篇博客中我們將看到，上述條件皆不是空穴來風，而且不多不少剛剛好。一旦我們導出了滿足上述合情條件的合情推理定量規則，我們就會發現，我們實際上就得到了概率的原始定義（乘法規則 + 加法規則 + 無差別原則）。其中，條件(Ⅰ)(Ⅱ)(Ⅲa)是機器人大腦的“結構性”條件，決定了推理機器人大腦的內部運作規則（這里的“大腦”可以指電路 / 神經網絡 / ...），導出概率的乘法規則（product rule）：p(AB | C) = p(A | C)p(B | AC)=p(B | C)p(A | BC)和加法規則（sum rule）：p(A | B) + p(非A | B) = 1（p(x)是任意連續單調遞增函數，值域為0 <= p(x) <= 1）而條件(Ⅲb)(Ⅲc)是“接口”條件，進一步建立了推理機器人與客觀世界的聯系。其中，(Ⅲc)導出概率的無差別原則（principle of indifference）：p(A_i | B) = 1 / n, 1 <= i <= n。

托福這勞什子終于畫上了句號，上個月完全有20天的時間屬于是白白浪費掉了(＃￣～￣＃)，接下來我會繼續更新概率論沉思錄專欄并把之前的拖更補上（還得兼顧學日語，給自己加油！）。

導言

概率論只不過是把常識用數學公式表達了出來。

——拉普拉斯（Laplace, 1819）

我們在上一篇博客《概率論沉思錄：合情推理》中介紹了合情推理^[1][2]中所要滿足的合情條件，即：

其中，第\((Ⅲ)\)點的一致性條件又具體包含下列三個含義：

上述條件都是定性的。在這一篇博客中我們將看到，上述條件皆不是空穴來風，而且不多不少剛剛好。一旦我們導出了滿足上述合情條件的合情推理定量規則，我們就會發現，我們實際上就得到了概率的原始定義（乘法規則 + 加法規則 + 無差別原則）。

其中，條件\((Ⅰ)(Ⅱ)(Ⅲ\text{a})\)是機器人大腦的“結構性”條件，決定了推理機器人大腦的內部運作規則（這里的“大腦”可以指電路 / 神經網絡 / ...），導出概率的乘法規則（product rule）

和加法規則（sum rule）

（\(p(x)\)是任意連續單調遞增函數，值域為\(0\leqslant p(x) \leqslant 1\)）

而條件\((Ⅲ\text{b})(Ⅲ\text{c})\)是“接口”條件，進一步建立了推理機器人與客觀世界的聯系。其中，\((Ⅲ\text{c})\)導出概率的無差別原則（principle of indifference）

（\(\{A_1, \cdots, A_n\}\)為互斥且窮盡的命題集合，即背景信息\(B\)決定了其中一個且僅一個必須為真）

接下來我們來看概率的乘法規則、加法規則和無差別原則究竟是怎樣由合情條件導出的。

1 乘法規則

我們首先尋找將邏輯積\(AB\)的合情性和\(A\)、\(B\)的合情性相關聯的規則，也即找到\(AB\mid C\)的表達式。我們將機器人判定\(AB\)為真的過程分解為對\(A\)和\(B\)進行分步決策的過程，也即：

1. 判定\(B\)為真；

   \(B\mid C\)

2. 接受\(B\)為真，判定\(A\)真。

   \(A\mid BC\)

（先判定\(A\)為真的情況同理。我們將對應于每個步驟的合情性添加在了末尾）

我們用自然語言來解釋一下。要想使命題\(AB\)為真，命題\(B\)必為真（根據邏輯積的定義），因此我們需要合情性\(B\mid C\)。接著，我們需要進一步判定\(A\)為真，此時我們需要合情性\(A\mid BC\)而非\(A\mid C\)。這是因為，如果機器人知道\(B\)為假，則無論\(A\)的合情性如何（即\(A\mid \bar{B}C\)），\(AB\)都肯定為假。而一旦機器人知道\(A\mid BC\)，它就不再需要知道\(A\mid C\)了（這不會增加什么關于\(AB\)的新信息）。

此外，機器人并不需要知道\(A\mid B\)和\(B\mid A\)。因為在不知道信息\(C\)的情況下，\(A\)或\(B\)可能具有的合情性與機器人知道\(C\)為真時的判斷無關。例如，如果機器人已經知道地球是圓的，那么在對今天的宇宙學問題做判斷時，就不需要考慮如果不知道地球是圓的，它可能具有的觀點（即考慮額外的可能性）。

（當然，由于邏輯積是可交換的，即\(AB=BA\)，所以我們可在上述語句中交換\(A\)和\(B\)，就得到了\(BA\mid C\)（\(=AB\mid C\)）。機器人可以以任意一種方式獲得相同的\(AB\mid C\)的值，即一致性條件\((Ⅲ\text{a})\)：非路徑依賴性）。

更進一步，我們有以下命題：

命題1 \(AB\mid C\)是\(B \mid C\)和\(A \mid BC\)的某個函數，即：

（同樣也應為\(A\mid C\)和\(B\mid AC\)的某個函數）

如果對上述推理有疑問的話，不妨考慮下其它的替代方案，比如\(AB\mid C=F[(B \mid C), (A\mid C)]\)。但這種形式不能滿足定性合情條件\((Ⅱ)\)：類直覺條件，也即違反人類常識。因為給定\(C\)，\(A\)可能很合情，\(B\)也可能很合情，但\(AB\)有可能很不合情。比如一個人左眼是藍色的很合情，右眼是棕色的也很合情，但既有藍色左眼又有棕色右眼就很不合情了。

注 關于這一點，已經被概率論/因果推斷“劇透”過的同學應該就知道，左眼是藍色與右眼是棕色這兩個命題在因果上確實是獨立的，但是在概率上仍然是不獨立的。這是因為它們都有控制眼睛顏色的遺傳基因來做為共變因（所謂混淆因子，confounder），以構成“\(A\)真則\(B\)假”的邏輯相關性（而非物理因果性）。

接下來我們來看看為滿足我們的合情條件，結合函數\(F(x, y)\)需要具有怎樣的性質（下面不妨設\(x=(B\mid C)\), \(y=(A\mid BC)\)）。

我們先來考慮定性需求中的 \((Ⅱ)\)：類直覺條件。給定先驗信息的變化\(C\rightarrow C^{\prime}\)，使\(B\)變得更合情，但\(A\)不變：

常識要求\(AB\)只能變得更合情，而不能相反：

等號當且僅當\(A\mid BC\)對應于不可能時成立。這要求\(F(x, y)\)是關于\(x\)的單調遞增函數且當且僅當\(y\)不可能時函數關于\(x\)偏導數為0。同理，\(F(x, y)\)還需要是關于\(y\)的單調遞增函數且當且僅當\(x\)不可能時函數關于\(y\)偏導數為0。此外，函數\(F(x, y)\)還必須是連續的，否則\((1)\)式右側的一個合情性值的小幅增大也可能導致\(AB\mid C\)的大幅增大。

綜上所述，我們有以下命題：

命題2 \(F(x, y)\)必須是\(x\)和\(y\)的連續單調遞增函數。如果假設它是可微的（雖然不必要，但可簡化我們的推導），我們有

其中第一個式子等號當且僅當\(y\)表示不可能時成立。第二個式子等號當且僅當\(x\)表示不可能時成立（我們這里用\(F_i\)表示關于\(F\)的第\(i\)個參數的微分）。

接下來，我們施加“結構一致性”合情條件\((Ⅲ\text{a})\)：非路徑依賴性。比如，對于合情性\(ABC\mid D\)，因為由布爾代數的結合性有\(ABC=(AB)C=A(BC)\)，我們需要滿足不管根據何種順序計算合情性，都會得到相同的結果。比如，一種可能的順序是先認為\(BC\)是一個命題，然后重復兩次應用式子\((1)\)：

另外一種可能的順序是把\(AB\)當成一個命題：

這兩個順序所導出的合情性結果必須相等。此時，我們有下列命題：

命題3 機器人進行一致性推理的必要條件是，函數必須滿足方程

阿貝爾最早在書中使用了這個方程，奧采爾將其稱之為“結合方程”（The Associativity Equation）。

根據上述函數方程，最終我們可以證明下列結論（證明詳情參見原書，書中假定了\(F\)的可微性）：

結論1 如果要滿足函數方程\((3)\)，那么我們要尋找的關系就必須采取如下函數形式：

我們將其稱之為乘法規則(product rule)。這里\(w(x)\)為滿足形式

的連續單調正值函數（到目前為止，它可以遞增且可以遞減，且取值任意），其中積分沒有下限，\(H(x)\)為任意函數。

式\((4)\)是要達成一致性合情條件\((Ⅲ\text{a})\)：非路徑依賴性而必須要滿足的必要條件。用數學歸納法也可證明，式\((4)\)對任意數量的命題也都適用（如\(ABCDEFG\mid H\)）。

事實上，除了連續單調遞減之外，合情條件\((Ⅱ)\)：類直覺條件對函數\(w(x)\)施加了額外的條件。例如在式\((4)\)的第一種形式中，我們現在假設當給定\(C\)時\(A\)是確定的，那么在由\(C\)的知識產生的“邏輯環境”中，命題\(AB=B\)（\(AB\)為真當且僅當\(B\)為真）根據我們在上一章中討論的最原始的公理，相同真值的命題必定有相同的合情程度，即

除此之外，我們根據常識還需要有

因為給定\(C\)時\(A\)已經確定了（即\(C\)蘊含\(A\)），那么當給出任意與\(C\)不矛盾的其它信息\(B\)時，\(A\)仍然是確定的。

注 已經被概率論“劇透”過的同學應該就知道，給定\(C\)時\(A\)是確定的\(\Rightarrow\)給定\(C\)時，\(A\)和\(B\)條件獨立。

綜上所述，式\((4)\)變為

無論\(B\)對機器人多么合情或不合情，它都必須成立。所以我們有以下命題：

命題4 函數\(w(x)\)還必須要具有如下性質：

反過來，假設當給定\(C\)時\(A\)是不可能的（即\(C\)蘊含\(\overline{A}\)），此時式\((4)\)變為

無論\(B\)具有怎樣的合情性，這個等式都必須成立。只有兩個可能的\(w(A\mid C)\)值滿足這個條件：\(0\)或\(+\infin\)（\(-\infin\)被排除了，否則根據連續性，\(w(B\mid C)\)必須能夠取負值，這與上式矛盾）。因此，我們有以下命題：

命題5 函數\(w(x)\)滿足：

綜上所述，\(w(x)\)除了必須滿足是連續單調正值函數外，根據合情條件\((Ⅱ)\)：類直覺條件，它還需要滿足下列要求：如果是增函數，則范圍是從\(0\)（不可能）到\(1\)（確定）；如果是減函數，它的范圍必須是從\(+\infin\)（不可能）到\(1\)（確定）（到目前為止，我們的條件還沒說明它如何在這些范圍內變化）。

這兩種可能的表示方式在內容上沒什么不同。給定符合上述標準并用\(+\infin\)表示不可能的任意單減函數\(w_1(x)\)，我們同樣可以定義同樣符合上述標準并用\(0\)表示不可能的單增函數\(w_2(x)\equiv 1/ w_1(x)\)。因此，不失一般性，我們現在選擇第一種形式。于是，我們有下列命題：

命題6 \(w(x)\)為滿足下列要求的函數：

不過到目前為止，除了上述條件之外，\(w(x)\)還是具有任意性。

2 加法規則

接下來我們來進一步對\(w(x)\)加以限制。由于我們現在考慮的命題屬于亞里士多德邏輯類型，他們必須是非真即假的，其邏輯積\(A\overline{A}\)總是假的（無矛盾律），邏輯和\(A+\overline{A}\)總是真的（排中律）。這也就是說，\(A\)為假的合情性必須在某種程度上取決于它為真的合情性。如果我們定義\(u\equiv w(A\mid B)\)和\(v\equiv w(\overline{A}\mid B)\)，則這意味著必定存在某種函數關系

顯然，如果我們要滿足合情條件\((Ⅱ)\)：類直覺條件，則必有下列命題：

命題7 \(S(u)\)是\(0\leqslant u \leqslant 1\)的連續單調遞減函數，并且有極值

但是進一步我們會發現，它不能是具有這些屬性的任意函數，因為它還必須與\(AB\)和\(A\overline{B}\)的乘法規則一致：

將\(v=S(u)\)的關系代入上式得

我們再次應用交換性：\(w(AB\mid C)\)關于\(A\)和\(B\)對稱，因此一致性\((Ⅲ\text{a})\)：非路徑依賴性要求

這對于所有命題\(A, B, C\)都成立。特別地，給定任意新命題\(D\)，當\(\overline{B}=AD\)時上式當然也成立。此時，我們在上一篇博客《概率論沉思錄：合情推理》中推導過下列結論：

這樣，我們可以做如下代換：

令\(x\equiv w(A\mid C), y=w(B \mid C)\)，則有\(w(A\overline{B}\mid C)=S(y)\), \(w(B\overline{A}\mid C)=S(x)\)。代入式\((6)\)得到下列命題：

命題8

（關于這里的定義域，是因為\(S(y)=w(\overline{B}\mid C)=w(AD\mid C)=w(A\mid C) w(D\mid AC)\)，而\(w(A\mid C)=x\)，且對任意命題\(D\)有\(0\leqslant w(D\mid AC)\leqslant 1\)，故\(0\leqslant S(y) \leqslant x\)。注意，由于對稱性，同樣有\(0\leqslant S(x) \leqslant y,\space 0\leqslant y \leqslant 1\)）

這表明，為繼續滿足乘法規則，\(S(x)\)必須具有縮放屬性。在\(y=1\)的特殊情況下，它變為

這表明\(S(x)\)是一個自反函數：\(S(x) = S^{-1}(x)\)（即反函數和原函數相同）。因此，有\(v=S(u)\)則必有\(u=S^{-1}(v)=S(v)\)。這體現了一個明顯的事實，也即\(A\)和\(\overline{A}\)之間的關系是自反的，至于字母和帶上橫線的字母哪個表示原命題，哪個表示命題的否定，都無關緊要。我們在上一篇博客定義命題的否定時就注意到了這一點（雖然當時可能還不明顯）。

事實上，我們有下列命題（詳細證明過程請參見原書）：

命題9 滿足上述條件的\(S\)（且滿足\(S(0)=1\)）的唯一解是

反過來，我們也可以驗證式\((11)\)是式\((10)\)的解。式\((11)\)是滿足函數方程\((10)\)和左邊界條件\(S(0)=1\)的最一般函數。然后，我們會發現它自動滿足右邊界條件\(S(1)=0\)。

由于對函數方程\((10)\)的推導使用了\(\overline{B}=AD\)的特殊選擇，我們到目前為止只表明了式\((11)\)是滿足一般的一致性要求式\((9)\)的必要條件。要檢查其是否充分，將式\((11)\)代入式\((9)\)，我們得到

該式可由乘法規則得到。因此，我們證明了式\((11)\)是\(S(x)\)在式\((9)\)意義下的一致性的充要條件。

到目前為止，我們的結果可總結如下：邏輯積的結合性要求合情性\(x = A\mid B\)的單調函數\(w(x)\)必須遵守乘法規則式\((4)\)。而我們的結果式\((11)\)指出，這個函數也必須遵守下列規則：

結論2 對于正數\(m\)，函數\(w(x)\)必須滿足：

（由\(x^m + (1 - x^m)^{\frac{1}{m} \cdot m}=1\)得到）

我們將其稱之為加法規則（sum rule）。

當然，乘法規則也可以寫成

我們發現\(m\)的值實際上無關緊要，因為無論\(m\)取什么值都可以定義一個新函數

而如果\(w(x)\)為\(0\)到\(1\)之間的連續單調遞增函數，那么\(w^m(x)\)必然也滿足該條件。這樣，我們的規則變為

1. 乘法規則

2. 加法規則

其中\(p(x)\)是任意連續單調遞增函數，且值域為\(0\leqslant p(x) \leqslant 1\)。

除了乘法規則和加法規則之外，是否需要更多的關系來得到一套完備的合情推理規則，以便確定任意邏輯函數\(f(A_1, \cdots, A_n)\)的合情性呢？在乘法規則和加法規則中，我們已經得到了合取\(AB\)和否定\(\overline{A}\)的合情性公式。而由于我們在上一篇博客《概率論沉思錄：合情推理》中已經提到，合取和否定是運算的完備集合，可以從中構造出所有邏輯函數。因此，通過反復應用乘法規則和加法規則，我們可以得到\(A_1, \cdots, A_n\)生成的布爾代數中任意命題的合情性。

為了證明這一點，我們首先尋求邏輯和\(A + B\)的公式。反復應用乘法規則和加法規則，我們可以得到

最后，我們有

我們將最后得到的這個式子稱為廣義加法規則（generalized sum rule）。顯然，原始加法規則\((14)\)是廣義加法規則\((15)\)在\(B=\overline{A}\)時的特例。

我們在上一篇博客中提到，除相互矛盾之外的任何邏輯函數都可以用析取范式（DNF）表示為基本合取式的邏輯和。現在，我們已知任何一個基本合取式\(\{Q_i, 1\leqslant i \leqslant 2^n\}\)（\(n\)為命題數）的合情性都可以通過重復應用乘法規則確定，因此重復應用\((15)\)將產生\(Q_i\)的任意邏輯和的合情性。

于是，每當背景信息足以確定基本合取式的合情性時，我們的規則就足以確定\({A_1, \cdots, A_n}\)生成的布爾代數中每個命題的合情性。因此，正如合取和否定是演繹邏輯的一組完備運算集，上述乘法和加法的規則也是合情推理的一組完備規則集。

3 無差別原則（初始化數值）

到目前為止，我們得到的乘法規則和加法規則描述了不同命題直接合情性之間的關系，也即描述了機器人“大腦”內部運作的基本規則。然而，我們并沒有說明合情性是怎么和我們的客觀世界產生聯系的，也即機器人是怎么根據背景信息對合情性進行初始化賦值的。為此，我們必須訴諸合情條件中尚未使用的“接口”條件\((Ⅲ\text{c})\)：全同性。

在廣義加法規則\(（15）\)的基礎之上，逐步添加更多命題\(A_3, A_4, A_5, \cdots\)等，用數學歸納法可以證明，如果我們有\(n\)兩兩互斥的命題\({A_1,\cdots, A_n}\)，那么上式可以推廣為：

接下來，我們假定命題\({A_1,\cdots, A_n}\)不僅是互斥的，而且是窮盡的（exhaustive），即背景信息決定了其中一個且僅一個必須為真，在這種情況下，我們有下列命題：

命題10 當\(m=n\)時，上述和式必須等于1：

到目前為止，我們還不能確定每個數值\(p(A_i\mid B)\)。我們可能憑借直覺，直接做出\(p (A_i\mid B) = \frac{1}{n}\)的論斷。然而在這里，我們需要壓制住所有直覺，從邏輯分析的角度去進行論證。

我們現考慮一個互斥且窮盡的命題集合：

我們把它看做是\(n\)個貼有標簽\(1, 2, \cdots, n\)的盒子。現在，我們把盒子的標簽進行任意的打亂，得到重新編號的盒子集合：

我們設現在第貼上標簽\(k\)的盒子\(A^{\prime}_k\)實際上對應的是原來的盒子\(A_i\)。由于本質上是同一個盒子（命題），那么從客觀角度而言，我們規定對于機器人必須有：

上述方程我們稱為變換方程（transformation equations），對于任何信息\(B\)都必須成立。

但是剛剛是從做為”上帝視角“的客觀角度而言，對于機器人而言它并不知道盒子的標簽是如何打亂的，也即它對于原始命題集合\(\{A_1, A_2, \cdots, A_n\}\)和打亂標簽后的命題集合\(\{A_1^{\prime}, A_2^{\prime}, \cdots, A_n^{\prime}\}\)的知識狀態是完全相同的。而我們的一致性合情條件\((Ⅲ\text{c})\)要求機器人在等同的知識狀態中就要賦予相同的合情性，也就是說還必須得有：

我們稱其為對稱方程（symmetry equations）。

注 如果你是物理壬的話對這個方程應該會很有直覺，可以把\(B\)理解為給定的哈密頓量，對命題\(A_k\)、\(A^{\prime}_k\)的概率賦值可以理解為找對應的平衡態/基態的問題。在無任何自發對稱性破缺的情況下（也就是滿足合情條件\((Ⅲ\text{c})\)：全同性），最后的平衡態也應該具有唯一性，于是自然就會得到我們這個結論。

聯立變換方程和對稱方程，我們有

這包括了\(n\)個等式，每個\(i\)都對應某個\(k\)。

不過，以上只是一種特定的打亂方式，我們要求對于任意的標簽打亂方式這些關系都必須要成立。一共有\(n!\)標簽打亂方式，因此有\(n!\)個等價的問題。而對于給定的\(i\)，上式中的\(k\)實際上將遍歷所有其它的所有\(n-1\)個下標。因此，想滿足上述的等式的話，唯一的可能性是所有的\(p(A_i\mid B)\)相等。再加上\(\{A_1^{\prime}, A_2^{\prime}, \cdots, A_n^{\prime}\}\)是窮盡的，式\((17)\)必須成立，從而我們得到下列結論：

結論3 對命題集合\(\{A_1, A_2, \cdots, A_n\}\)的合情性進行初始化賦值的唯一的可能是

我們終于得到了一組合情性的確定數值！我們將這個結果稱為無差別原則（principle of indifference）。

于是，我們的機器人在內部的存儲器電路中只需要存儲\(p_i\)的數值即可。接下來合情性\(x\equiv A\mid B\)這個概念就可以退場了，我們不需要再使用它。我們可以完全通過量\(p\)來實現我們的合情推理理論，我們將其稱為概率（probability）。

概率\(p\)定義了可以測量合情程度的一種特定尺度。雖然所有可能的單調函數在原則上都可以很好地服務于此目的，但我們選擇這個（滿足無差別原則的）特定的函數不是以為它更準確，而是因為它更方便。這種情況類似于熱力學中定標的情況。所有可能的經驗溫標\(t\)都是彼此的單調函數，我們之所以決定使用開爾文溫標\(T\)，不是因為它比其它溫標更準確，而是因為它更方便。熱力學定理在這個溫標下具有最簡單的形式，比如我們熟知的\(\mathrmw0obha2h00U = T\mathrmw0obha2h00S - P\mathrmw0obha2h00V, \mathrmw0obha2h00G = - S\mathrmw0obha2h00T + V\mathrmw0obha2h00P\)等等中的\(T\)都是開爾文溫標。

注 之前我們的加法規則：\(p(A\mid C) + p(\overline{A}\mid C) = 1\)和兩個邊界條件：\(p(A\mid C)=1\)（若\(A\)為真）、\(p(A\mid C)=0\)（若\(A\)為假）事實上已經完成了第一次定標，也即限制了\(p(A\mid C)\)和\(p(\overline{A}\mid C)\)的關系和各自的值域（即\([0, 1]\)的范圍內）。第一次定標可以理解為，使每個人的合情性打分在打分區間上是一樣的。但是，即使我們已經對\(p\)加以了限定，但\(p\)仍然是一個任意的函數（每個人都不同），因此我們還需要第二次定標，也就是我們這里的全同性規則：\(P(A_i\mid B) = \frac{1}{n}\)。第二次定標使每個人的合情性打分從數值上來說都符合相同的標準。這樣，我們就可以將每個人的主觀感覺轉換為統一的數值加以比較了。兩次定標的直觀理解可以參見下圖（圖中黑色和紅色的曲線可以視為兩個不同人的合情性打分/概率）：

還可以馬上從式\((17)\)中導出符合我們直覺的另一個規則。考慮概率論中的傳統”伯努利壇子“問題：壇子中的10個球具有相同的大小和重量，標號為\(\{1, 2, \cdots, 10\}\)，其中的3個（標號為\(4, 6, 7\)）為黑球，另外7個是白球。我們搖動壇子并隨機取一個球。式\((10)\)中的背景信息\(B\)由這兩句陳述組成。我們取出一個黑球的概率是多少？

定義命題：\(A_i \equiv 取出的是第i個球（1\leqslant i \leqslant 10）\)。由于這10種可能性都有相同的背景信息，所以式\((18)\)適用，機器人為這10種可能性分配相同的概率值

說“取出一個黑球”就是“取出的球標號為4、6或7”：

而這些都是互斥的命題（即它們表示互斥的事件），因此式\((16)\)適用：

而這正如直覺告訴我們的那樣。更一般地，如果有\(N\)個這樣的球，命題\(A\)被定義為在任意的\(M\)個球的子集上為真（\(0\leqslant M \leqslant N\)），在其補集上為假，我們有：

這正是詹姆斯·伯努利（James Bernoulli）給出的概率的原始數學定義，它在接下來的150年中被大多數作者所使用。例如，拉普拉斯的巨著《分析概率論》^[3]以這句話開頭：

4 和定性屬性的聯系

最后，讓我們看一下定量規則是如何與我們在上一篇博客《概率論沉思錄：合情推理》中提到的定性三段論相關聯的。首先，顯而易見的是，在\(p(A\mid B)\rightarrow 0\)或\(p(A\mid B)\rightarrow 1\)的極限情形下，加法規則\((14)\)描述了亞里士多德邏輯的原始假設：若\(A\)為真，則\(\overline{A}\)必定為假，等等。

事實上，所有這些邏輯都包括我們在上一篇博客中所提到的兩種強三段論以及從它們推演出的所有內容。這兩種強三段論即：

（現在使用蘊含標記\(\Rightarrow\)來表示大前提）

它們有無窮無盡的推論。這里的大前提就是我們之前一直所說的背景信息（常識），我們用字母\(C\)來表示，即

那么，這兩種三段論分別是要確定\(p(B\mid AC)\)和\(p(A\mid \overline{B}C)\)，根據乘法規則\((13)\)我們可以將它們表示為：

接著，根據式\((19)\)的大前提\(A\Rightarrow B\)，我們有邏輯方程\(AB=A\)與變量關系\(\overline{A} + B = 1, A\overline{B}=0\)（參見上一篇博客的結論）。于是我們有\(p(AB \mid C) = p(A\mid C)\)；\(p(A\overline{B})=0\)，于是

這正是三段論式\((19)\)所陳述的內容。因此，關系很簡單：亞里士多德演繹邏輯是我們的合情推理規則在機器人對其結論越來越確信時的極限形式。

除此之外，我們的規則也包含了演繹邏輯中沒有的內容：我們在上一篇博客中所提到的弱三段論的定量形式。比如，對于第一種弱三段論：

就可以寫作：

其中由于\(p(B\mid AC)=1\)，而\(p(B\mid C)\leqslant 1\)（概率的固有數值范圍），所以

而這正和弱三段論\((20)\)相吻合。

對于第2種三段論：

可以寫作：

由\(p(A \mid BC) \geqslant p(A\mid C)\)得，\(p(\overline{A}\mid BC) \leqslant p (\overline{A}\mid C)\)，那么

這也和弱三段論\((21)\)吻合。

最后，我們來看警察推理所使用的三段論（參見上一篇博客《概率論沉思錄：合情推理》）。也即命題\(A\)為「男子是壞人」，命題\(B\)為「男子做出上述行為」，\(C\)為背景信息「\(A\)真則\(B\)更合情」（按警察的經驗，好人幾乎不可能有此行為，而壞人有此行為則更合理），則弱三段論定義如下：

它可以寫作：

而跟背景信息\(C\)，我們有\(p(B\mid AC) > p(B\mid C)\)，于是

而這正如我們的弱三段論所述。

事實上，引入概率\(p\)之后我們得到的不止上述的定性描述，我們還可以定量地分析合情性具體變化了多少。我們在上一篇博客中的“思維計算機”一節曾提問“是什么決定了\(A\)的合情性是大幅增加到幾乎確定的程度，還只是提升了可以忽略不計的一點點并使得數據\(B\)幾乎無關緊要？”現在我們給出的答案是，因為\(p(B\mid AC)\leqslant 1\)，所以只有當\(p(B\mid C)\)非常小時，\(A\)的合情性才會大幅增加。也就是說，如果警察經常幾乎沒有看見路人這樣做過，那么當他看見男子的行為（\(B\)）時，就幾乎會肯定男子有罪（\(A\)）。此外，如果知道\(A\)為真只能使\(B\)的合情性有微不足道的增加，那么觀察到\(B\)反過來也只能使\(A\)的合情性有幾乎可以忽略不計的增加。

除了上述我們展示的幾個經典的弱三段論之外，還有許多弱三段論都可以通過上述的合情推理定量規則來表示（參見Polya的著作^[4]），感興趣的童鞋可以去進一步延伸閱讀。

5 評注

主觀與客觀

在我們發展的理論中，任何概率賦值都必然是“主觀的”，因為它只描述了一種知識狀態，而不是任何可以在物理實驗中測量的東西（這里的知識狀態是推理機器人的、或按照合情條件推理的其它人的）。與此同時，我們的接口條件\((Ⅲ\text{b})(Ⅲ\text{c})\)又使得這些概率賦值是完全“客觀的”，因為他們與不同用戶的個性無關。它們是根據問題給出的陳述來描述（或者說編碼）信息的一種手段，與你我對于所涉及命題可能擁有的個人感受（希望、恐懼、價值判斷等）無關。這種意義上的“客觀性”正是成為受人敬重的科學推斷理論所需要的。

維恩圖
有讀者可能會問：“我們為什么不用維恩圖來解釋廣義加法規則\(p(A + B \mid C) = p(A\mid C) + p(B\mid C) - p(AB\mid C)\)呢？這能它的含義更加清晰。”我們認為，維恩圖的使用是存在局限性的，因為它要求事件\(A\)和\(B\)所對應的區域面積是可加的，也就說它要求事件\(A\)、\(B\)可以被分解為一些互斥子命題的析取。我們想象將\(A\)、\(B\)一直細分為圖中的各個點，也即最終的“基本”命題\(\omega_i\)（當然，物理學家會拒絕稱它們為“原子”命題(#^.^#)）。

然而，我們推理的大多數命題，如\(A\)：「今天會下雨」、\(B\)：「屋頂會漏水」只是事實性的描述性語句，它們在具體的問題情景下不一定能分解成更多的基本命題。當然，你也可以引入一些無關緊要的東西來強制分解。例如，即使上面定義的\(B\)與企鵝無關，我們也可以將其分解為析取\(B = BC_1 + BC_2 + BC_3 + \cdots + BC_N\)，其中\(C_k\)表示「南極洲的企鵝數量是\(k\)」。通過使\(N\)足夠大，我們肯定能得到一個有效的布爾代數陳述，但這是無事找事，且無法幫助我們推斷屋頂是否會漏水的命題。

柯爾莫哥洛夫公理

1933年，柯爾莫哥洛夫提出了一種用集合論和測度論的語言表達概率論的方法，對我們前面提到的維恩圖所暗示的內容進行了形式化和公理化。事實上，在柯爾莫哥洛夫系統中最初似乎是由他隨意提出的（柯爾莫哥洛夫也因此遭到批評）的概率測度的四個公理，都可以作為滿足我們一致性條件的結論被推導出來。因此，我們將發現我們在許多技術問題上支持柯爾莫哥洛夫，反對他的批評者。

然而，我們的概率系統在概念上與柯爾莫哥洛夫的系統不同，因為我們不用集合來解釋命題，而是將概率分布解釋為不完全信息的載體。這導致的部分結果就是，我們的系統擁有柯爾莫哥洛夫系統中根本沒有的分析資源，這使我們能夠闡述和解決更多問題（在后面的章節中將進行討論）。

頻率派和貝葉斯派

這一小節是我自己加的，意在將貝葉斯學派（本書的視角）和頻率學派做個對比，方便之后的學習：

	頻率學派	貝葉斯學派
歷史沿革	初期思想可追溯到19實際，而在20世紀初得到了系統的發展。這一時期的代表人物包括羅納德·A·費希爾（Ronald A. Fisher） 和耶爾齊·尼曼（Jerzy Neyman）。他們推崇基于重復試驗來獲取參數的固定值，并基于此進行統計推斷。	起源可追溯到18世紀的托馬斯·貝葉斯（Thomas Bayes） 和 皮埃爾·西蒙·拉普拉斯（Pierre Simon Laplace）。他們通過結合先驗知識和觀測數據 來 更新 對未知參數的信念。
數學根基	柯爾莫哥洛夫（Kolmogorov）公理化體系	5條合情條件 依賴布爾代數
嘗試描述/建模的內容	樣本空間中的事件本身	作為擴展的邏輯，人類對事件的認知/知識/信念。
世界觀簡述	上帝視角：事件本身是隨機的/世界帶有某種隨機性 所謂概率是事件本身的性質 隨著獨立重復實驗的進行，人們對事件概率值的估計會越來越準確，但是概率值本身是不變的。	觀察者視角：人類對世界的認知是不完備的 所謂概率描述了人類對事件的感覺/認知/知識/信念，即觀察者對事件的知識狀態 隨著人獲取更多信息，概率值會不斷更新和改變 *（對于）萬事萬物（的認知）皆分布
概率的定義	統計定義： 獨立重復試驗中發生的頻率趨于極限\(p\)；古典概率： 實驗中有\(N\)個等可能結果，事件\(E\)包含了其中\(M\)個結果，則概率\(P(E)=M/N\)	一個實數，代表人類對事件的感覺/認知/知識/信念，經過了定標和歸一化，不同人之間可以相互比較。
對參數估計過程的描述	參數存在一個固定的真值，數據是隨機和變動的 使用點估計值（一個數值）+置信區間（confidence interval） 來描述參數估計的結果。形式為 \(估計值^{+上限差}_{-下限差}\) 95%置信區間：多次重復試驗，進行點估計并計算置信區間，其中的95%會包含（套住）真值（真值不變區間變）	數據是固定的，而待估計的參數是未知和變動的 使用后驗分布（一個函數） 來描述參數估計的結果。但是也可以使用可信區間（credible interval） 來簡化輸出，例如：\(概率密度最大值/均值/中值^{+上限差}_{-下限差}\)。 95%可信區間：參數落在此區間的概率為95%（區間不變真值變）
處理問題的額外工具	需要各種特定工具（ad-hoc devices）	只需要討論概率，不需要其它工具

參考

• [1] Jaynes E T. Probability theory: The logic of science[M]. Cambridge university press, 2003.
• [2] 杰恩斯. 廖海仁譯. 概率論沉思錄[M]. 人民郵電出版社, 2024.
• [3] Laplace P S. Théorie analytique des probabilités[M]. Courcier, 1820.
• [4] Polya G. Mathematics and Plausible Reasoning: Patterns of plausible inference[M]. Princeton University Press, 1990.