在統計學的世界里，參數估計一直是數據分析的核心任務之一。

極大似然估計（MLE）作為一種經典的參數估計方法，被廣泛應用于各種領域。

然而，極大似然估計并非只有一種實現方式，它在頻率學派和貝葉斯學派中有著不同的理論基礎和應用場景。

本文將探討這兩種學派的區別，并通過實際代碼示例展示它們在極大似然估計中的應用及各自的優勢。

1. 頻率學派

極大似然估計是頻率學派的核心方法之一。

它的基本思想是：選擇一個參數值，使得觀測數據出現的概率（即似然函數）最大。

數學上，我們通常通過最大化似然函數$ L(\theta|x) \(來估計參數\) \theta\ $。

似然函數表示在給定參數$ \theta \(的情況下，觀測數據\) x $出現的概率。

頻率學派的極大似然估計在以下場景中表現尤為出色：

• 數據量較大：當數據量足夠大時，極大似然估計能夠提供較為穩定的估計結果。這是因為大量數據能夠更好地反映總體的特性，從而減少估計的偏差。
• 不依賴先驗知識：頻率學派的方法完全基于數據本身，不需要任何先驗假設。這使得它在沒有先驗信息的情況下，能夠直接從數據中提取信息。

頻率學派的極大似然估計可以通過scikit-learn的GaussianNB（樸素貝葉斯分類器）來實現。

雖然GaussianNB是一個分類器，但它的核心思想基于頻率學派的極大似然估計。

下面，我們以經典的鳶尾花數據集（Iris）為例，假設我們的任務是估計花瓣長度的分布參數。

from sklearn.metrics import accuracy_score
from sklearn.datasets import load_iris
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_split

# 加載鳶尾花數據集
iris = load_iris()
X = iris.data
y = iris.target

# 劃分訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

# 使用 GaussianNB 進行訓練
gnb = GaussianNB()
gnb.fit(X_train, y_train)

# 輸出參數估計結果
y_pred = gnb.predict(X_test)
print(f"極大似然估計的準確率：{accuracy_score(y_test, y_pred):.2f}")

## 輸出結果：
# 極大似然估計的準確率：0.98

2. 貝葉斯學派

貝葉斯估計是貝葉斯學派的核心方法。

它通過結合先驗分布和似然函數，利用貝葉斯定理更新參數的后驗分布。

數學上，后驗分布$ p(\theta|x) $可以表示為：

$ p(\theta|x)\propto L(\theta|x)\times p(\theta) $

其中，$ L(\theta|x) \(是似然函數，\) p(\theta) $是參數的先驗分布。

貝葉斯估計在以下場景中具有獨特的優勢：

• 數據量較小：當數據量較小時，先驗知識可以提供額外的約束，幫助改善估計結果。通過引入先驗分布，貝葉斯估計能夠更好地利用有限的數據。
• 考慮不確定性：貝葉斯估計不僅提供參數的估計值，還提供參數的后驗分布，從而能夠更好地反映估計的不確定性。

貝葉斯學派的估計可以通過scikit-learn的BayesianRidge模型來實現。

BayesianRidge是一個貝葉斯線性回歸模型，它通過結合先驗分布和數據來估計參數。

from sklearn.linear_model import BayesianRidge
from sklearn.datasets import make_regression

# 生成小樣本數據
X, y = make_regression(n_samples=10, n_features=1, noise=0.1)

# 使用 BayesianRidge 進行訓練
bayes_ridge = BayesianRidge()
bayes_ridge.fit(X, y)

# 輸出參數估計結果
print("估計的系數：", bayes_ridge.coef_)
print("估計的截距：", bayes_ridge.intercept_)

## 輸出結果：
'''
估計的系數： [17.74985777]
估計的截距： -0.032768905709350094
'''

運行上述代碼后，我們得到了回歸系數和截距的估計值。

由于數據量較小，貝葉斯學派的估計通過引入先驗分布，能夠更好地利用有限的數據，從而提供更可靠的估計結果。

這體現了貝葉斯學派在小樣本數據中的優勢。

3. 兩者比較

頻率學派和貝葉斯學派作為統計學中兩大主要流派，在對待參數估計問題上有著截然不同的觀點。

頻率學派認為，參數是固定的，但未知的，數據是隨機的，通過對數據的觀察和分析，我們可以推斷出參數的值。

在這種觀點下，參數是一個確定的量，而數據的隨機性決定了我們對參數估計的不確定性。

而貝葉斯學派則認為，參數本身也是隨機的，它有一個先驗分布。通過結合先驗知識和觀測數據，我們可以通過貝葉斯定理更新參數的后驗分布。

在這種觀點下，參數的不確定性不僅來源于數據的隨機性，還來源于我們對參數的先驗假設。

這兩種觀點的差異，導致了它們在極大似然估計中的不同實現方式和應用場景。

頻率學派的優勢在于：

• 無需先驗知識：頻率學派的方法完全基于數據本身，不需要任何先驗假設。這使得它在沒有先驗信息的情況下，能夠直接從數據中提取信息。
• 結果穩定：在數據量較大時，頻率學派的極大似然估計能夠提供較為穩定和準確的估計結果。這是因為大量數據能夠更好地反映總體的特性，從而減少估計的偏差。

貝葉斯學派的優勢在于：

• 考慮先驗信息：貝葉斯學派通過引入先驗分布，能夠更好地利用先驗知識。在數據量較小時，先驗知識可以提供額外的約束，幫助改善估計結果。
• 提供不確定性估計：貝葉斯估計不僅提供參數的估計值，還提供參數的后驗分布，從而能夠更好地反映估計的不確定性。

4. 總結

本文通過對比頻率學派和貝葉斯學派的理論基礎和實際應用，展示了它們在極大似然估計中的不同特點和優勢。

頻率學派的方法在大數據量下表現出色，能夠提供穩定和準確的估計結果；

而貝葉斯學派的方法則在小樣本數據中更具優勢，通過引入先驗知識，能夠更好地利用有限的數據。

在實際應用中，選擇哪種方法取決于具體問題的背景和數據的特點。

如果數據量較大且沒有先驗信息，頻率學派的方法可能是更好的選擇；

如果數據量較小且有可靠的先驗知識，貝葉斯學派的方法則可能更適合。