我們先考察無放回抽樣（sampling without replacement） 實驗，也即從有N個球的壇子里無放回地抽n個球，我們會發(fā)現(xiàn)實驗結(jié)果服從超幾何分布/廣義超幾何分布。接著，我們會討論前向推斷和后向推斷兩類問題。然后，我們會研究無放回抽樣的極限形式，這將導(dǎo)出二項分布/多項分布。關(guān)于多項分布，我們還會進一步討論統(tǒng)計力學(xué)中的麥克斯韋-玻爾茲曼統(tǒng)計。最后，我們會考察更復(fù)雜的有放回抽樣（sampling with replacement） 實驗，也即從有N個球的壇子里無放回地抽n個球。注意，與許多人認為的相反，我們認為無放回抽樣更復(fù)雜，因為我們需要考慮大量的額外背景信息并進行分析。之所其二項分布的數(shù)學(xué)形式更簡單，是由于我們做出了隨機化的額外假設(shè)導(dǎo)致的，我們所得到的只是個近似的結(jié)果。最后，我們會對有放回抽樣的近似結(jié)果做進一步的相關(guān)性校正，這將得到一個馬爾可夫鏈模型。

導(dǎo)言

我們在上一篇博客《概率論沉思錄：定量規(guī)則》中介紹了合情推理^[1][2]的定量規(guī)則，即：

• 乘法規(guī)則：\(p(AB\mid C) = p(A\mid C)p(B\mid AC)=p(B\mid C)p(A\mid BC)\)；
• 加法規(guī)則：\(p(A\mid B) + p(\bar{A}\mid B) = 1\)；
• 無差別原則：\(p(A_i\mid B) = \frac{1}{N}, \quad 1 \leqslant i \leqslant N\)
  （其中\(\{A_1, \cdots, A_N\}\)互斥完備，且背景信息\(B\)不傾向于其中任何一個）。

根據(jù)乘法規(guī)則和加法規(guī)則，可以導(dǎo)出廣義加法規(guī)則：\(p(A + B \mid C) = p(A\mid C) + p(B\mid C) - p(AB\mid C)\)；
根據(jù)加法規(guī)則和無差別原則，我們又得到了伯努利壇子規(guī)則：如果有\(N\)個除標號外各方面都相同的球，命題\(A\)被定義為在任意的\(M\)個球的子集上為真（\(0\leqslant M \leqslant N\)），在其補集上為假，我們有：

事實上，只需要以上規(guī)則就可以導(dǎo)出概率論中的許多結(jié)論。接下來我們來看看我們的推理機器人是如何依據(jù)這些規(guī)則完成推理，并得到許多經(jīng)典的結(jié)論的。

首先，我們做一個術(shù)語約定，我們稱從壇子里抽一次球為一次試驗（trial），\(n\)次試驗構(gòu)成一次實驗（experiment）。我們接下來會先考察無放回抽樣（sampling without replacement） 實驗，也即從有\(N\)個球的壇子里無放回地抽\(n\)個球，我們會發(fā)現(xiàn)實驗結(jié)果服從超幾何分布/廣義超幾何分布。接著，我們會討論前向推斷和后向推斷兩類問題。然后，我們會研究無放回抽樣的極限形式，這將導(dǎo)出二項分布/多項分布。關(guān)于多項分布，我們還會進一步討論統(tǒng)計力學(xué)中的麥克斯韋-玻爾茲曼統(tǒng)計。

最后，我們會考察更復(fù)雜的有放回抽樣（sampling with replacement） 實驗，也即從有\(N\)個球的壇子里無放回地抽\(n\)個球。注意，與許多人認為的相反，我們認為無放回抽樣更復(fù)雜，因為我們需要考慮大量的額外背景信息并進行分析。之所其二項分布的數(shù)學(xué)形式更簡單，是由于我們做出了隨機化的額外假設(shè)導(dǎo)致的，我們所得到的只是個近似的結(jié)果。最后，我們會對有放回抽樣的近似結(jié)果做進一步的相關(guān)性校正，這將得到一個馬爾可夫鏈模型。

本文的思維導(dǎo)圖如下所示：

1 無放回抽樣

1.1 超幾何分布與廣義超幾何分布

首先，我們通過以下命題的定義來進一步明確無放回抽樣實驗的定義：

• \(B\)：一個壇子里有\(N\)個球，這些球除了帶有不同的標號（\(1, 2, \cdots, N\)）和分為兩種顏色以外，其它各個方面都相同，其中\(M\)個為紅色，剩余\(N-M\)個為白色，\(0\leqslant M \leqslant N\)。我們從壇子中隨機抽取一個球，觀察并記錄它的顏色，將它放在一邊，然后重復(fù)這個過程，直到取出\(n\)個球，\(0\leqslant n \leqslant N\)。
• \(R_k\)：第\(k\)次取出的是紅球。
• \(W_k\)：第\(k\)次取出的是白球。

對于第\(k\)次（\(1 \leqslant k \leqslant N\)）抽取而言，根據(jù)背景信息\(B\)，取出紅球和取出白球是互斥的，故有\(\overline{R_k}=W_k\)（\(\overline{W_k}=R_k\)），且根據(jù)加法規(guī)則滿足\(p(R_k\mid B) + P(W_k\mid B) = 1\)。

特別地，對于第1次抽取而言，可以直接結(jié)合伯努利壇子規(guī)則得：

讓我們重申一次：上述兩個概率賦值不是對壇子與其容納物的任何物理屬性的斷言，而是在抽取前對機器人知識狀態(tài)的描述（初始時的知識狀態(tài)即背景信息\(B\)）。試想，如果機器人初始的知識狀態(tài)與\(B\)不同，例如它知道壇子中紅球和白球的實際位置，或者它不知道\(N\)與\(M\)的實際值，那么它對\(R_1\)和\(W_1\)的概率賦值將會不同，但是壇子本身的物理屬性是一樣的。

而當我們詢問第二次抽取相關(guān)的概率時，機器人的知識狀態(tài)就會出現(xiàn)變化。例如，問前兩次取出的都是紅球的概率\(P(R_1R_2\mid B)\)是多少？我們使用乘法規(guī)則將其拆解為分步判定：

注 事實上，這里我們默認了按照時間順序，也即先\(1\)后\(2\)，這就是所謂的前向推斷；但是在邏輯上（而非物理因果上）我們也可以定義先\(2\)后\(1\)，這叫后向推斷。具體區(qū)別我們后面會進行詳述。就是要注意我們一直說的是“分步判定”而非“分步?jīng)Q策”，就是因為我們只考慮邏輯上的先后而不考慮時間上的先后（邏輯上的先后可能和時間符合，也可能不符合）。

注意在判定最后一項時，機器人需要再次應(yīng)用伯努利壇子規(guī)則，不過必須考慮到在第一次抽取中已經(jīng)取走了一個紅球，所以：

這樣繼續(xù)進行下去，重復(fù)應(yīng)用伯努利壇子規(guī)則，則前\(r\)次取出的都是紅球的概率\(P(R_1R_2\cdots R_r\mid B)\)可以表示為：

這里\((M)_r=M(M-1)\cdots (M-r+1)\)，\((N)_r=N(N-1)\cdots (N-r+1)\)（\(r\leqslant M\)）（該記號來自William Feller的書^[3]，我覺得不錯故用之）。對于白球而言只需要把\(M\)換成\(N-M\)，然后把\(r\)換成\(w\)即可，即\(P(W_1W_2\cdots W_w\mid B) = \frac{(N-M)_w}{(N)_w}\)。

現(xiàn)在，我們要問：如果我已知前\(r\)次取到的都是紅球，那么后\(r+1, r+2, \cdots, r+w\)次取到的都是白球的概率是多少？此時，機器人已經(jīng)知道了\(r\)個紅球已拿出，也即總共還剩下\(N-r\)個球了（當然，白球數(shù)量還是\(N-M\)），那么：

利用乘法規(guī)則，可得在\(r+w\)次抽取中，先抽中\(r\)個紅球，再抽中\(w\)個白球的概率為：

事實上，即使紅球和白球的取出以其它順序進行交錯，所得結(jié)果也是這個。也就是說，上式給出了以任意指定順序\(S_l\)（比如指定\(RRRW\cdots\), \(RWRW\cdots\)等序列其中一種）取出\(r\)個紅球與\(w\)個白球的概率\(P(S_l\mid B)\)。因為不管以怎樣的順序交錯地取出紅球和白球，分母都是從\(N\)跑到\(N-r-w+1\)，而分子中紅球數(shù)總得從\(M\)扣到\(M-r+1\)，白球數(shù)也總得從\(N-M\)扣到\(N-M-w+1\)（不論其以什么順序來扣）。

接下來，我們要問：以任意順序取出\(r\)個紅球與\(w\)個白球的概率是多少？任何一個紅球和白球出現(xiàn)的指定序列\(S_l\)都是互斥的事件，因此我們根據(jù)加法規(guī)則來求和（注意和的每一項\(P(S_l\mid B)\)都是相同的）：

式子中的組合數(shù)\(\binom{r+w}{r}\)為在\(r+w\)次抽取中取出\(r\)個紅球的可能序列的數(shù)量，我們稱其為事件「在\(r+w\)次抽取中取出\(r\)個紅球」的重數(shù)（multiplicity）。事件的重數(shù)可能具有多種形式，這里的形式為二項式系數(shù)（binomial coefficient），我們后面還會看到更多類型的重數(shù)。

注 這里有讀者可能會細究，既然我們的球是有標號的，那么所有的可能序列數(shù)為啥不是\((r+w)!\)呢？請注意，盡管球有標號，但我們的機器人在每輪抽球即計算\(P(R_1\mid B), P(R_2\mid R_1B), \cdots\)時并沒有指定抽哪個紅球或白球（也即每輪計算的概率本身就包含了各種標號的概率，如\(P(R_1\mid B)=P(A_4 + A_6 + A_7 \mid B)\)，這里\(4, 6, 7\)為所有紅球的標號），乃至最后計算\(P(S_l\mid B)\)時也并沒有指定要取出哪些紅球和白球，故這里不是\((r+w)!\)。

利用事實\((M)_r=\frac{M!}{(M-r)!}\)，\((N)_r=\frac{N!}{(N-r)!}\)，\(\binom{r+w}{r}=\frac{(r+w)!}{r!w!}\)來進行化簡，我們就得到了超幾何分布（hypergeometric distribution） 的定義：

注意，概率只在\(r\leqslant n\)且\(r\leqslant M\)時有定義。雖然如此，當\(b>a\)時\(\binom{a}{b}=0\)，因此當\(r > n\)或\(r > M\)時，上式會給出\(0\)。因此，只要規(guī)定\(r > 0\)且把\(h=0\)的事件解釋為不可能事件就行了。

進一步推廣，假設(shè)壇子里面有\(c\)種不同顏色的球，顏色\(c\)的球有\(N_c\)個，則在\(n=\sum_{i=1}^c r_i\)次抽取中取出“\(r_1\)個顏色1的球，\(r_2\)個顏色2的球，...，\(r_c\)個顏色\(c\)的球”的概率是廣義超幾何分布：

一般地，對于概率分布\(p(x_1, \cdots, x_n\mid B)\)，其中\(x_k\)表示第\(k\)次的試驗結(jié)果，并且可以取不止兩個值（紅色和白色），比如，\(x_k=1, 2, \cdots, c\)標記\(c\)種不同的顏色。如果該概率在\(x_k\)的任何排列下都是不變的，則它僅取決于表示“結(jié)果\(x_k=1\)出現(xiàn)了多少次，\(x_k=2\)出現(xiàn)了多少次等等”的樣本數(shù)\((n_1,\cdots, n_c)\)。這種分布稱為可交換的（exchangeable）。我們這里的超幾何分布/廣義超幾何分布就是可交換的。

超幾何分布具有以下兩種較為顯著的對稱性（symmetry）：

對稱性1：關(guān)于\(M\)和\(n\)的對稱性

超幾何分布在交換\(M\)和\(n\)時值不變：

這也就意味著當總球數(shù)為100時，無論我們是從包含50個紅球的壇子里抽取10個球，還是從包含10個紅球的壇子里抽取50個球，再取出的樣本里找到\(r\)個紅球的概率是相同的。

對稱性2：關(guān)于峰值的對稱性

如果我們交換\(M\)和\(N-M\)，并同時交換\(r\)和\(n-r\)，那么實際上是交換了“紅色”和“白色”的定義，所以分布不變，即

除了以上兩種對稱性之外，超幾何分布還有兩種在直觀上并不顯而易見的對稱性，其中一種為關(guān)于\(k\)的對稱性。

隱藏對稱性1：關(guān)于\(k\)的對稱性

現(xiàn)在我們想問機器人第2次取出紅球的概率\(P(R_2\mid B)\)是多少？此時我們是否還能夠像計算\(P(R_2\mid R_1B)\)那樣利用伯努利壇子規(guī)則呢？我們雖然已知第二次抽時只剩下\(N-1\)個球，但是紅球數(shù)\(M\)是不確定的（或為\(M\)或為\(M-1\)）。因此，伯努利壇子規(guī)則的前提就不存在，看起來問題是不確定的。

然而，問題其實是確定的。以下是我們在概率計算中使用實用技術(shù)的第一個例子，它將一個命題分解為更簡單的子命題（當然，這里的子命題選擇必須恰當，不然就會和上一篇博客提到的南極企鵝個數(shù)一樣無用）。機器人知道\(R_1\)或\(W_1\)是真的，因此使用布爾代數(shù)可以得到

那么我們應(yīng)用加法規(guī)則和乘法規(guī)則就可以得到

由于\(P(R_1\mid B)=\frac{M}{N}, P(R_2\mid R_1B)=\frac{M-1}{N-1}\)，且\(P(W_1\mid B)=\frac{N-M}{N}, P(R_2\mid W_1B)=\frac{M}{N-1}\)，所以

復(fù)雜性消失了！第二次抽出紅球的概率居然和第一次相同！事實上，我們繼續(xù)驗證，可以得到\(R_3, R_4, \cdots\)都為\(M/N\)。事實上，如果不知道任何其它次抽取的結(jié)果，機器人在任何一次抽取中抽中紅球的概率總與伯努利壇子規(guī)則相同，也即：

這是第一個并不顯而易見的對稱性。后面我們會看到，這是一個更一般結(jié)果的特例（證明我們往后放，參見3.2節(jié) 相關(guān)性校正：馬爾可夫鏈）。

1.2 前向推斷

我們前面提到超幾何分布上可交換的，也即滿足概率分布\(p(x_1, \cdots, x_n\mid B)\)在\(x_k\)的任何排列下都是不變的。那么要保證這種可交換性，必然要求每次抽取對其它次抽取施加相同的影響，無論其時間順序或在序列中的位置如何。這并不限于超幾何分布，對于任何可交換分布都是正確的。

讓我們定量地計算這一影響。假設(shè)\(j<k\)，則命題\(R_jR_k\)（在第\(j\)次和第\(k\)次均取出紅球）在布爾代數(shù)中與以下命題等價：

上式實際上為\(2^{j-1}\times 2^{k-j-1}=2^{k-2}\)個合取命題的邏輯和（也即我們提到過的析取范式，DNF），其中每一個合取命題代表諸如\(W_1R_1W_3\cdots R_j \cdots R_k\)的完整序列。

上式看起來比較難以處理，因為\(R_j\)、\(R_k\)之間還相隔了許多次抽取。但是，我們已經(jīng)知道，在給定\(B\)的情況下，任何一個序列的概率都與其紅球和白球的出現(xiàn)順序無關(guān)。因此，我們可以變換序列，將\(R_j\)移動到第1個位置，將\(R_k\)移動到第2個位置。此時：

此時，最后一個等式成立的理由是已知在第1次和第2次之后“摸到紅球或白球”并沒有為我們提供背景信息\(B\)之外的更多信息。

這樣，我們就有

根據(jù)乘法規(guī)則，對所有\(j < k\)，有

這種已知第\(j\)次的抽取結(jié)果，對第\(k\)次（\(k > j\)）抽取結(jié)果的概率所進行的推斷，我們稱之為前向推斷（forward inference）。我們驚奇地發(fā)現(xiàn)，\(P(R_k\mid R_jB)=(M-1)/(N-1)\)意味著對于前向推斷而言，我們的伯努利壇子規(guī)則仍然適用，只不過初始條件變化了而已（已知從罐子里面取出了一個紅球）。最后，問題規(guī)約為從有\(N-1\)個球的壇子（其中有\(M-1\)個是紅球）里抽球。

1.3 后向推斷

從上一節(jié)我們可以看出，當機器人在計算第\(k\)次抽取紅球的概率時，顯然與之前抽取的結(jié)果信息是相關(guān)的（例如，\(P(R_k\mid B) \neq P(R_k\mid R_jB)\)），這是因為更早的抽取結(jié)果會在物理上影響第\(k\)次抽取時壇子中的紅球數(shù)量\(M_k\)。這種前向推斷的結(jié)果是符合我們物理直覺的。

那么第\(k\)次推斷的結(jié)果是否與后面某次抽取的結(jié)果相關(guān)呢？咋一看不太可能，因為之后抽取的結(jié)果在物理上不會影響\(M_k\)的值。比如，彭羅斯（Penrose）在著名統(tǒng)計力學(xué)文獻《Foundations of Statistical Mechanics》就將“當前事件的概率只能取決于前面發(fā)生的事件，而不取決于后面發(fā)生的事件”做為基本公理。作者認為這是“因果律”（Causality）的必要物理條件。

但是正如我們已經(jīng)聲明的，我們只關(guān)心邏輯關(guān)系，而邏輯關(guān)系可能與物理因果作用相關(guān)，可能無關(guān)。有一個極端的例子可以說明為什么后面發(fā)生的事件的信息與前面發(fā)生的事件有關(guān)。假設(shè)壇子里面只有一紅一白兩個球，如果機器人知道第2次抽取時抽中紅球，那么它會直接將第一次抽中紅球的概率判為0：\(P(R_1\mid R_2B)=0\)，而不再是\(1/2\)。

隱藏對稱性2：\(k\rightarrow j\)與\(j\rightarrow k\)的對稱性

接下來讓我們來推導(dǎo)更一般的結(jié)論。根據(jù)乘法規(guī)則，我們有

我們在1.1節(jié)中已經(jīng)知道，對于所有的\(j\)和\(k\)都有\(P(R_j\mid B) = P(R_k\mid B)=M/N\)，那么必要就有

這說明后面的抽取結(jié)果與前面的抽取結(jié)果具有完全相同的作用。這是因為，盡管第\(k\)次抽取后的抽取不會物理地影響壇子中的紅球數(shù)量\(M_k\)，但后面抽取結(jié)果的信息與前面抽取結(jié)果的信息對第\(k\)次抽取的知識狀態(tài)具有相同的影響。這是第二個并不顯而易見的對稱性。

注 這一結(jié)果可能會讓某些對“概率意義”持有思想的流派不安。盡管人們普遍認同邏輯蘊含關(guān)系與因果關(guān)系不同，但是很傾向于將概率\(P(A\mid B)\)解釋為\(B\)對\(A\)的某種部分因果作用。這不僅在前面提到的彭羅斯的著作中很明顯，在哲學(xué)家卡爾·波普爾（Karl Popper）對概率做出的傾向性（propensity） 解釋中也很明顯。波普爾將概率看做是一集可重復(fù)的條件所固有的客觀傾向。他認為在量子理論中人們在客觀的純統(tǒng)計解釋和基于不完全知識的解釋之間搖擺，而他的傾向性解釋可以避免使用不完全知識的解釋。我們認為他完全錯了，不完全的知識是科學(xué)家擁有的唯一工作材料。

但是，這并不意味著我們禁止引入“傾向”或“物理因果”的概念，這里的關(guān)鍵是無論是否存在傾向，邏輯推斷都是適用且有用的。事實上，在所有科學(xué)中，邏輯推斷都具有更普遍的適用性，因為物理作用只能沿時間前向傳播，但是邏輯推斷在前后兩個方向上都可以傳播。考古學(xué)家發(fā)現(xiàn)的一件人造物能改變他對幾千年前的事件的認識，夏洛克·福爾摩斯的推理旨在根據(jù)現(xiàn)有的證據(jù)推斷過去發(fā)生的事件。其中的關(guān)鍵在于，我們對任何現(xiàn)象做出的最佳科學(xué)推斷，都必須參考我們擁有的所有相關(guān)信息，無論這些信息是在現(xiàn)象發(fā)生之前還是之后的。

接下來讓我們定量地計算這一影響。我們之前在計算前向推斷時，已經(jīng)得到\(P(R_jR_k\mid B) = \frac{M(M - 1)}{N (N - 1)}\)。請注意，乘法規(guī)則對后向推斷也同樣適用，于是對所有\(j < k\)，有

我們驚奇地發(fā)現(xiàn)，\(P(R_j\mid R_kB)=P(R_k\mid R_jB)=(M-1)/(N-1)\)。說明已知之前抽了個紅球和已知之后抽了個紅球有同樣的作用。這是因為，如果機器人知道后面會取出紅球，那么實際上必須將壇子中的紅球之一“擱置”起來，以使這成為可能。于是，本可以在前面取出的紅球數(shù)就少了一個。

然而，這里的直觀理解當問題更復(fù)雜時可能會帶來一定的誤導(dǎo)。比如，我們假設(shè)機器人在后面的抽取中至少會取出一個紅球，但不知道是哪一（幾）次。也就是說，新信息可以用布爾代數(shù)的命題形式表示為\(R_{\text{later}}\equiv R_{k+1} + R_{k+2} + \cdots R_n\)。我們可能會憑借自己直覺認為\(P(R_k\mid R_{\text{later}}B) < P(R_k\mid B)\)，然而事實卻出人意料，應(yīng)該是：\(P(R_k\mid R_{\text{later}}B) > P(R_k\mid B)\)。

這是為什么呢？因為在之前的\(P(R_j\mid R_kB)=\frac{M-1}{N-1}\)的情況里，信息\(R_k\)可讓第\(j\)次可抽的紅球數(shù)減1，也可以讓第\(k\)次可抽的總球數(shù)減1。但是，在\(P(R_k\mid R_{\text{later}}B)=\frac{M-(1 + p_\delta)}{N-\Delta}\)（其中\(\Delta, \delta > 1\)，\(p_{\delta}\)為\([0, 1]\)之間的小數(shù)，表示后面抽中\(\delta\)個紅球的概率）的情況里，第\(k\)次可抽的紅球數(shù)雖然也是減掉大約1，但是第\(k\)次可抽的總球數(shù)卻需要減去\(\Delta > 1\)（因為它向機器人說明以后還要進行\(\Delta\)次抽取，還要減去\(\Delta\)個球）。

2 極限形式

2.1 二項分布

盡管數(shù)學(xué)形式上有些復(fù)雜，但超幾何分布是一個概念上非常清晰、簡單的問題引起的。為了引入一個數(shù)學(xué)上更簡單但概念上更困難的問題，我們先來研究超幾何分布的一種極限形式。

超幾何分布之所以復(fù)雜，是因為它考慮了壇子內(nèi)容的不斷變化，知道任何一次抽取的結(jié)果都會改變其它次抽中紅球的概率。但是，如果壇子中的球數(shù)\(N\)比取出的球數(shù)\(n\)大得多（\(N\gg n\)），那么該概率的變化很小。在極限\(N\rightarrow + \infty\)時，我們會得到一個更簡單的結(jié)果，直接沒有這種依賴性。為了驗證這一點，我們將超幾何分布分子分母同乘\(N^n\)并配湊為：

第一個因子是

取極限\(N\rightarrow + \infty, M\rightarrow +\infty, M/N\rightarrow f\)，我們有

類似地，我們有

將這些極限乘起來（原則上我們應(yīng)該采用乘積的極限而非極限的乘積，但這些因子各自都有極限，故可以這樣搞），就得到了超幾何分布的極限——二項分布（binomial distribution）：

和超幾何分布相比，事件「在\(n\)次抽取中取出\(r\)個紅球」的重數(shù)仍然是\(\binom{n}{r}\)，只不過生成每一個指定序列的概率取了極限，變?yōu)榱?span id="w0obha2h00" class="math inline">\(f^r (1 - f)^{n - r}\)。

2.2 多項分布

對廣義超幾何分布執(zhí)行類似的極限過程，可以證明：如果所有\(N_i\rightarrow +\infty\)，且滿足\(N_i / \sum_{j=1}^c N_j\rightarrow f_i\)，那么廣義超幾何分布就會變成多項分布（multinomial distribution）：

其中\(n\equiv \sum_{i=1}^c r_i\)。此時，事件「在\(n\)次抽取中取出\(r_1\)個顏色1球, \(r_2\)個顏色2的球，...，\(r_c\)個顏色\(c\)的球」的重數(shù)為\(n! / (r_1!\cdots r_c!)\)。這種形式的重數(shù)叫做多項式系數(shù)（binomial coefficient）。

除了抽球之外，我們還可以采用另外一種方式來理解多項式系數(shù)。例如，考慮將3個可區(qū)分的球放進3個可區(qū)分的箱子中的實驗，其全部的\(3^3 = 27\)種可能結(jié)果如下圖所示：

考慮事件「在第1個箱子中有2個球, 在第2個箱子中有1個球，在第3個箱子中有0個球」，它包含了4、5、6這三個實驗結(jié)果，也就意味著該事件的重數(shù)是3，而這可以由多項式系數(shù)公式\(\frac{3!}{2!1!0!}\)計算得到。更一般地，考慮將\(n\)個可區(qū)分的球放進\(c\)個可區(qū)分的箱子中的實驗，事件「在第1個箱子中有\(r_1\)個球, 在第2個箱子中有\(r_2\)個球，...，在第\(c\)個箱子中有\(r_c\)個球」的重數(shù)可以表示為多項式系數(shù)\(n! / (r_1!\cdots r_c!)\)。

多項式系數(shù)的應(yīng)用非常廣泛。比如在統(tǒng)計力學(xué)中，我們常常需要計算把\(n\)個不可區(qū)分的粒子（球）劃分到\(c\)個相空間的小區(qū)域（箱子）中，在第1個小區(qū)域中有\(r_1\)個球, 在第2個小區(qū)域中有\(r_2\)個球，...，在第\(c\)個小區(qū)域中有\(r_c\)個粒子（其中\(n\equiv \sum_{i=1}^c r_i\)）的概率。這種概率分布有兩種計算方法，其中一種是麥克斯韋-玻爾茲曼統(tǒng)計（這里所用的“統(tǒng)計”一詞是物理中的術(shù)語），其計算方法為：

這里\(f= 1 / c\)。這里的思想和我們之前抽球很相似，\(f^n\)可視為先按照球可區(qū)分（帶標號）的情況所計算的任意指定劃分方式的概率，乘上重數(shù)\(n! / (r_1!r_2!\cdots r_c!)\)得到同箱子內(nèi)的球不可區(qū)分（同一個箱子內(nèi)的球可任意排列）的概率。不過，這個統(tǒng)計法則只在經(jīng)典力學(xué)背景下適用。我自己的直觀理解方式是，雖然我們假設(shè)球不可區(qū)分，但這些球依然具有標號，所以我們才能先按照可區(qū)分的情況計算概率然后再乘以重數(shù)。但是在量子力學(xué)的基本假設(shè)下，許多粒子（如電子、質(zhì)子、中子等）常常是完全不可區(qū)分的，我們稱為全同粒子（identical particles），假定所有球帶有標號就不再適用了。

注 還有一種適用于量子力學(xué)背景下的計算方法稱為玻色-愛因斯坦統(tǒng)計，只考慮那些可區(qū)分的劃分方式，且每一個可區(qū)分的劃分方式都賦以相等的概率。根據(jù)組合數(shù)學(xué)知識我們知道，\(n\)個不可區(qū)分的球劃分到\(c\)個可區(qū)分的箱子的劃分方式共有\(\binom{n + c - 1}{n}\)種，于是每一種劃分方式的概率為：

\[\binom{n + c - 1}{n}^{-1} \]

例如，考慮將3個不可區(qū)分的球劃分到3個可區(qū)分的箱子中的實驗，其全部的\(\binom{3 + 3 - 1}{3} = 10\)種可能結(jié)果如下圖所示：

于是每一種可能結(jié)果的概率為\(\frac{1}{10}\)。

這個假設(shè)對于所有的玻色子（如光子、原子和原子核等）都是正確的。玻色子可以是基本粒子（如光子），也可以是復(fù)合粒子（如原子、原子核）。由偶數(shù)個費米子組成的復(fù)合粒子都是玻色子。玻色子的自旋為整數(shù)。

以上兩種分布的分歧在于究竟怎么給樣本空間賦概。麥克斯韋-玻爾茲曼分布可視為給（可區(qū)分劃分方式構(gòu)成的）樣本空間中的\(\binom{n + c - 1}{n}\)個樣本點按照多項式系數(shù)的重數(shù)來賦概（比如在上面的那個例子中，對樣本點\(\{**\space\mid\space*\space\mid\space-\space\}\)按照重數(shù)\(\frac{3!}{2!1!0!}\)賦概后的概率為\(\frac{3!}{2!1!0!}\left(\frac{1}{3}\right)^3 = \frac{1}{9}\)），用扔硬幣來類比就是扔兩次硬幣的樣本空間{2正, 1正1反, 2反}中的樣本點分別賦概\(1/4, 1/2, 1/4\)（不過注意我們這里的為“量子硬幣”，也就是兩個硬幣具有全同性，正反和反正不可區(qū)分）。而玻色-愛因斯坦分布對每一個樣本點賦概\(1/3\)。玻色最開始做出這個發(fā)現(xiàn)時其實就源于把扔兩次“量子硬幣”進行了（按照我們常識來看）“錯誤的”賦概，賦成了\(1/3\)，然后居然發(fā)現(xiàn)和黑體輻射相吻合！但是他投稿的時候論文被拒了。最后他給愛因斯坦寫信，愛因斯坦馬上意識到這個問題不簡單，開始進行研究，最后提出了一種現(xiàn)在被稱為玻色-愛因斯坦統(tǒng)計的新的統(tǒng)計方式。這其實也證明了一個觀念，那就是不可能在毫無知識狀態(tài)的情況下對樣本空間賦概，頻率派要求定義樣本空間的麻煩之處也在此，盡管頻率派常拿先驗來攻擊貝葉斯派，然而其樣本空間的賦概卻是用到了先驗知識的。

最后，還有一種適用于量子力學(xué)背景下的方式是假設(shè)2個或多個球在同一個箱子中是不可能的（這里假定\(n\leqslant c\)），且滿足該條件的所有可區(qū)分劃分方式具有相同的概率，每一種劃分方式都相當于\(c\)個箱子中某\(n\)個各含一個球，也就是說，每一種劃分方式相當于從\(c\)個箱子中選取\(n\)個，這種計算方式稱為費米-狄拉克統(tǒng)計：

\[\binom{c}{n}^{-1} \]

這個模型可以應(yīng)用在費米子（如電子、質(zhì)子和中子等）上。費米子可以是基本粒子（如電子），也可以是復(fù)合粒子（如質(zhì)子、中子）。任何由奇數(shù)個夸克或輕子組成的復(fù)合粒子都是費米子。費米子的自旋為半整數(shù)。

3 有放回抽樣

3.1 隨機化與近似：二項分布

到目前為止，我們僅考慮了無放回抽樣的情形。而這對于許多實際情況是合適的，比如在質(zhì)量控制過程中我們“抽取一個球”可能是從一箱類似的產(chǎn)品（例如電燈泡）中抽取一個，并對其進行檢測。我們很難想象在實際情況中能再次“抽取同一個球”。

但是，如果我們假設(shè)檢測的破壞性較小，從壇子中抽取球并記錄球的“顏色”（即相關(guān)屬性）后，可以將其放回壇子中再抽下一個球。這種有放回抽樣的情況在概念上要復(fù)雜得多，但是我們可以通過做出一些假設(shè)使其在數(shù)學(xué)上比無放回抽樣更簡單。對于我們之前提到的連續(xù)抽取兩個紅球的概率，用\(B^{\prime}\)表示與以前相同的背景信息（除了有放回外），根據(jù)乘法規(guī)則我們?nèi)匀挥邢铝械仁剑?/p>

第一個因子仍然是\(M / N\)，但第二個因子呢？

回答這個問題其實很困難，因為需要進行大量的額外分析，且要求背景信息\(B^{\prime}\)需要包含足夠多的信息，比如：我們放回壇子的那個紅球會怎樣？如果我們將其放回的時候丟在其它球的上層，那么在下次抽取的時候它會比壇子中其它位置的球更有可能被取出。事實上，這動搖了我們計算的全部基礎(chǔ)：我們的伯努利壇子規(guī)則不再適用！因此，即使掌握了這些信息，整個問題可能根本就無法下手，所產(chǎn)生的計算代價也可能是巨大的。但是這個問題在原理上并非不能解決，只是過于復(fù)雜，這該怎么辦呢？

在概率論中，有一個非常巧妙的技巧可以解決過于困難的問題。無論問題多困難，我們都可以通過以下方式解決：

1. 使它更困難；
2. 通過重新定義“解決”，使得我們可以解決它；
3. 發(fā)明一個高深而且聽起來很技術(shù)化的詞語來描述這個流程，以達到隱藏工作本質(zhì)并起到令人肅然起敬的效果。

具體在有放回抽樣的情況下，我們采用以下策略：

1. 將球扔進去后，搖搖壇子。無論原來問題多么復(fù)雜，現(xiàn)在肯定又復(fù)雜了一個數(shù)量級，因為除了我們之前提到的所有因素之外，問題的答案還取決于我們搖動壇子的確切方式；
2. 我們現(xiàn)在斷言，搖動已經(jīng)使得這些細節(jié)無關(guān)緊要，因此又回到了適用于伯努利壇子規(guī)則的簡單問題；
3. 我們發(fā)明一個冠冕堂皇的詞語 “隨機化”（randomization） 來描述我們已經(jīng)做過的事。這顯然只是委婉的說法，其真正含義在于：當信息變得過于復(fù)雜以至于我們無法處理時，故意丟棄掉相關(guān)信息。

注 隨機化通常會產(chǎn)生對正確解的有用近似。因為搖動不會使結(jié)果變得“隨機”（random），因為該術(shù)語在做為現(xiàn)實世界的屬性時基本上沒有意義，它沒有適用于現(xiàn)實世界的明確定義。認為“隨機性”（randomness）是自然界中存在的某種真實性質(zhì)，是思維投射謬誤的一種形式，這相當于在說：“我不知道詳細的原因（認識論角度），所以大自然也不知道（本體論角度）”。事實上，搖動不會以任何方式影響大自然的運作，只能確保沒有人（human）能對結(jié)果施加主觀影響。因此，沒有人會因為隨后“固定的”結(jié)果被指控（比如美國某電視節(jié)目中出現(xiàn)的從魚缸里取數(shù)來確定服役順序）。

但是，我們必須要坦誠地承認自己做了什么：我們不是在解決實際問題，而是在做出現(xiàn)實的妥協(xié)，并對近似答案感到滿意。持柏拉圖主義的數(shù)學(xué)家可能認為現(xiàn)實世界是對抽象數(shù)學(xué)的近似，但我們的觀點恰恰相反：抽象數(shù)學(xué)才是對現(xiàn)實世界的近似。數(shù)學(xué)家們常常使用語言暗示他們是在證明真實世界的性質(zhì)，但我們認為：沒有任何數(shù)學(xué)模型可以捕獲現(xiàn)實世界中所有與之相關(guān)的情況。任何認為自己在證明現(xiàn)實世界性質(zhì)的人都是思維投射謬誤的受害者。

現(xiàn)在回過頭來看，我們對等式右側(cè)的第二個因子\(P(R_2\mid R_1 B^{\prime})\)可以給出怎樣的答案？按我們原本的觀念來看，在第二次抽取時紅球的概率\(P(R_2\mid R_1 B^{\prime})\)顯然不僅取決于\(N\)和\(M\)，還取決于已經(jīng)取出并放回紅球的事實。但是后者的依賴非常復(fù)雜，以至于在現(xiàn)實中無法考慮。因此，我們采取新的策略：搖動壇子進行“隨機化”，然后宣布\(R_2\)和\(R_1\)不相關(guān)：\(P(R_2\mid R_1 B^{\prime}) = P(R_2\mid B) = M / N\)。以此類推，每一次試驗中取出紅球的概率都為\(M/N\)。

這再次重復(fù)了我們之前提到的隱藏對稱性1：關(guān)于\(k\)的對稱性（甚至由于每次抽球后要進行隨機化處理，即使機器人知道其它試驗（抽取）情況的任何信息也成立）。這使我們知道，在\(n\)次試驗（抽取）中恰好取出\(r\)個紅球的概率與順序無關(guān)，該概率是

（注意，這里并沒有要求\(N\rightarrow + \infty\)）

這就是我們之前在2.1節(jié) 二項分布中提到的二項分布。在包含有限的\(N\)個球的壇子中進行有放回的隨機化抽樣，具有與無放回抽樣在取極限\(N\rightarrow +\infty\)時大致相同的效果。

對于較小的\(n\)來說，這個近似非常好。但是對于較大的\(n\)來說，這些小的誤差會累積（具體取決于我們怎么搖壇子等因素），最終導(dǎo)致上式具有誤導(dǎo)性。下一節(jié)我們關(guān)于這點來做出分析。

3.2 相關(guān)性校正：馬爾可夫鏈

現(xiàn)在我們假設(shè)抽取并放回一個紅球會略微使得下一次抽取紅球的概率增加\(\epsilon > 0\)。抽取并放回一個白球會略微使得下一次抽取白球的概率降低\(\delta > 0\)。這里的影響只具備“單步記憶”性，更早的抽取影響相比之下可忽略不計。在某種意義上，可以將此效應(yīng)稱為一種小的“傾向性”，它表達了一種在時間上向前作用的物理因果關(guān)系。那么，令\(C\)表示上述所有背景信息（包括相關(guān)性陳述），記\(p\equiv M / N\)，我們有

現(xiàn)在我們考慮上述的相關(guān)性如何影響我們在1.1節(jié)：前向推斷中得到的一些計算結(jié)果。給定初始狀態(tài)\(P(R_1\mid C) = M / N = p, P(W_1\mid C) = (N - M) / N = 1 - p\)，我們需要遞推的求出\(P(R_2\mid C), P(W_2\mid C), \cdots, P(R_k\mid C), P(W_k\mid C)\)。遞推的計算公式遵循乘法規(guī)則：

這定義了一個概率的馬爾可夫鏈（Markov chain）。我們將第\(k\)次試驗的概率寫成向量形式

那么上述迭代過程可以使用矩陣表示：

這樣，遞推過程的計算就可以立即執(zhí)行到我們需要的任意步：

因此，要獲得一般都解，我們只需要找到\(\boldsymbol{M}\)的特征值和特征向量即可。\(\boldsymbol{M}\)的特征多項式為

\(C(\lambda)= 0\)的根為特征值\(\lambda_1 = 1, \lambda_2 = \epsilon + \delta\)。

已知二級結(jié)論：對特征值為\(\lambda\)的任意\(2\times 2\)矩陣\(\boldsymbol{M} = \left(\begin{matrix} a & b \\ c & d \end{matrix}\right)\)，對應(yīng)的（未歸一化）特征向量為\(\boldsymbol{x}=\left(\begin{matrix} b\\ \lambda - a \end{matrix}\right)\)（關(guān)于這個結(jié)論大家可自行代入\(\boldsymbol{M}\boldsymbol{x}=\lambda \boldsymbol{x}\)驗證，就是需要注意最后需要用到特征多項式\(\lambda^2 - (a + d)\lambda + ad - bc = 0\)來代換掉\(ad-bc\)的值進行化簡）。

這樣，將\(\lambda_1, \lambda_2\)代入，就得到了我們的特征向量

因為\(\boldsymbol{M}\)不是對稱矩陣，所以上述特征向量不是正交的。不過，如果使用上述特征向量做為一組基底，我們?nèi)匀豢梢詫仃?span id="w0obha2h00" class="math inline">\(\boldsymbol{M}\)進行對角化。令

運用公式\(\boldsymbol{A}^{-1} = \frac{1}{\mathrm{det}(\boldsymbol{A})}\left(\begin{matrix} A_{22} & - A_{12}\\ -A_{21} & A_{11} \end{matrix}\right)\)（或者高斯消元法）求得其逆為\(\boldsymbol{S}^{-1}=\frac{1}{1-\epsilon - \delta}\left(\begin{matrix} 1 & 1 \\ q - \epsilon & -(p-\delta) \end{matrix}\right)\)，于是我們可以對矩陣\(\boldsymbol{M}\)進行對角化：

其中\(\boldsymbol{\Lambda}\)是對角矩陣。那么，對于任意\(r\)（無論是正數(shù)、負數(shù)甚至復(fù)數(shù)），有

由于對角矩陣\(\boldsymbol{\Lambda}^r = \left(\begin{matrix} \lambda_1^r & 0 \\ 0 & \lambda_2^r \end{matrix}\right)\)，于是

又因為\(\boldsymbol{v_1} = \left(\begin{matrix} p \\ q \end{matrix}\right)\)，代入\(\boldsymbol{v}_k = \boldsymbol{M}^{k-1}\boldsymbol{v}_1\)可得

特別地，當\(\epsilon = \delta = 0\)時，上式簡化為\(P(R_k\mid C)=p\)，這里就得到了我們在1.1節(jié)：前向推斷和3.1節(jié) 隨機化與近似：二項分布中都提到過的結(jié)論（盡管當時沒有證明）。此時矩陣\(\boldsymbol{M}=\left(\begin{matrix} p & p \\ 1 - p & 1 - p \end{matrix}\right)\)為奇異矩陣，回到了已經(jīng)討論過的二項分布的情況。

接下來我們來看對于加以相關(guān)性校正的馬爾可夫鏈如何進行前向推斷（即計算\(P(R_k\mid R_j B)\)）。在第\(j\)次試驗中出現(xiàn)紅球，那么\(\boldsymbol{v}_j = \left(\begin{matrix} 1\\ 0 \end{matrix}\right)\)。根據(jù)馬爾可夫鏈的遞推公式，我們有

由\(\boldsymbol{M}^{k-j} = \boldsymbol{S}\boldsymbol{\Lambda}^{k-j}\boldsymbol{S}^{-1}\)可得

我們發(fā)現(xiàn)當\(|\epsilon + \delta| < 1\)且\(k\rightarrow +\infty\)時，它和\(P(P_k\mid C)\)都會趨近于\((p - \delta) / (1 - \epsilon - \delta)\)。

那么我們在進行后向推斷時，是否還可以使用對稱性\(P(R_j\mid R_k C) = P(R_k\mid R_j C)\)呢？根據(jù)乘法規(guī)則，我們有

由于我們已經(jīng)知道\(P(R_k\mid C) \neq P(R_j\mid C)\)，所以

可見后向推斷雖然仍然是可能的，但無法再像前向推斷那樣具有相同的公式。

該示例是一個常見且重要的物理問題的最簡單版本：馬爾可夫近似中的不可逆過程（irreversible process）。另一個常見的技術(shù)術(shù)語是一階自回歸模型（autoregressive model of first order）。

4 評注

關(guān)于壇子模型的適用范圍

在大多數(shù)實驗中，我們并不從真正的“壇子”中抽取球。然而，“伯努利壇子”已被證明是一種有用的概念工具。但是某些人可能對“壇子”一詞感到不悅。因此，在許多文獻中人們會發(fā)現(xiàn)諸如“從總體中抽取”這樣的說法。

在諸如抽樣調(diào)查、工業(yè)質(zhì)量控制檢測等場景中，人們真的是從有限的真實總體中抽取結(jié)果的，壇子的類比其實非常合適，本章所提到的概率分布都適用。然而對于拋硬幣、測量溫度和風速、預(yù)測商品價格等場景，壇子的類比就很牽強了。然而在許多文獻中，人們?nèi)匀皇褂脡臃植紒肀硎緮?shù)據(jù)的概率，并試圖通過將實驗視為從某種“假設(shè)的無限總體”中抽取來證明這一選擇的合理性，而這完全是他們的臆造之物。因為在真實情況下，我們不能保證連續(xù)的抽取都是嚴格獨立的。壇子類型的概念化只能處理最原始的信息，而真正復(fù)雜的應(yīng)用要求我們發(fā)展出遠遠超出壇子模型的原理。總之，在接下來的應(yīng)用中，必須考慮實驗是否真的與從壇子中抽取球類似。

抽樣分布絕不是終點

本章中發(fā)現(xiàn)的概率分布稱為抽樣分布（sampling distributions），或稱直接概率（direct probability）。所謂直接概率，是指給定關(guān)于所觀察現(xiàn)象的假設(shè)\(H\)，數(shù)據(jù)\(D\)的概率分布\(p(D \mid H)\)，與逆概率（inverse probability） 即對應(yīng)假設(shè)的分布\(p(H \mid D)\)相對。在本文的伯努利壇子模型中，假設(shè)\(H\)即壇子的內(nèi)容\((M, N)\)，數(shù)據(jù)\(D\)即所生成的紅球和白球的序列。

抽樣分布為我們提供了可能觀測結(jié)果的預(yù)測（例如\(r\)的不同可能值及其對應(yīng)的概率）。抽樣分布的預(yù)測結(jié)果與實際觀察結(jié)果的差別大小，為我們接收或拒絕當前假設(shè)提供了合理的依據(jù)，并用于尋找新的假設(shè)，這是顯著性檢驗（significance tests） 的主題。

盡管抽樣理論在傳統(tǒng)概率論教學(xué)中占主導(dǎo)地位，但在現(xiàn)實世界中，此類問題幾乎可以忽略不計。在幾乎所有科學(xué)推斷的實際問題中，我們都處在相反的境地：數(shù)據(jù)\(D\)是已知的，但正確的假設(shè)是未知的。此時我們面臨的是逆問題（inverse problem）：如何求概率分布\(p(H\mid D)\)？因此，在接下來的章節(jié)中，我們的注意力將幾乎全部集中在解決這種逆問題的方法上。當然，計算抽樣分布仍然是我們工作的組成部分之一，但它絕不是終點。

參考

• [1] Jaynes E T. Probability theory: The logic of science[M]. Cambridge university press, 2003.
• [2] 杰恩斯. 廖海仁譯. 概率論沉思錄[M]. 人民郵電出版社, 2024.
• [3] Feller W. An introduction to probability theory and its applications, Volume 1[M]. John Wiley & Sons, 1991.
• [4] Penrose O. Foundations of statistical mechanics[J]. Reports on Progress in Physics, 1979, 42(12): 1937.