5.2 參數的最大似然估計與矩估計

估計其實就是猜數。

最大似然估計

基本思想

• 概率大的事件比概率小的事件更易發生。
• 將使事件\(A\)發生的概率最大的參數\(\theta\)作為估計值。

案例

總體：100個球（黑球或白球）

需要估計的參數：黑球的個數\(\theta=99\)或\(1\)

抽樣：摸球并放回

結論：

如果經常摸出黑球，則估計\(\theta=99\)

如果經常摸出白球，則估計\(\theta=1\)

做題模板

1. 寫出總體的概率函數/密度函數。（分別對應離散型/連續型）

2. 寫出似然函數\(L(\theta)\).

   似然函數表示取得樣本的概率，所以是概率函數值相乘的格式，求導很復雜，所以要使用自然對數將乘除轉化為加減。

3. 兩邊取\(\ln\).

4. 兩邊對參數\(\theta\)求(偏)導，令(偏)導數=0，使得似然函數取最大值的參數\(\theta\)就是估計值。

例題

泊松分布例題

例1：總體\(X\sim P(\lambda)\)，樣本\((X_1,\cdots,X_n)\)，求\(\lambda\)的極大似然估計。

解：

總體的概率函數為：

則\(\lambda\)的似然函數為：

似然函數的因變量只有\(\lambda\).

這里的\(x_i\)都是具體的樣本觀測值，也就是常數，因此下面求導的時候可以直接去掉。

兩邊取\(\ln\)：

兩邊對\(\lambda\)求導，并令導數為0：

因此\(\hat\lambda = \frac{x_1+\cdots+x_n}{n}=\overline{X}\)

指數分布例題

例2：總體\(X\sim e(\lambda)\)，樣本\((X_1,\cdots,X_n)\)，求\(\lambda\)的極大似然估計。

總體的密度函數為：

則\(\lambda\)的似然函數為：

這里的\(f(x;\lambda)\)不會取到0的情況，因為樣本已經取到了，認為其概率就是大于0的。

存疑：概率為0的事件也可能會發生，但是這里似乎忽略了這種情況？

兩邊取\(\ln\)：

兩邊對\(\lambda\)求導，并令導數為0：

因此\(\hat\lambda = \frac{n}{x_1+\cdots+x_n}=\frac{1}{\overline{X}}\)

正態分布例題

例3：總體\(X\sim N(\mu,\sigma^2)\)，樣本\((X_1,\cdots,X_n)\)，求\(\mu,\sigma^2\)的極大似然估計。

總體的密度函數為：

則\(\mu, \sigma^2\)的似然函數為：

兩邊取\(\ln\)：

先對\(\mu\)求偏導，并令偏導數為0：

因此\(\hat\mu= \frac{x_1+\cdots+x_n}{n}=\overline{X}\).

再將\(\sigma^2\)作為整體對其求偏導：

化簡得

均勻分布例題

例4：總體\(X\)服從\([\theta_1,\theta_2]\)上的均勻分布，樣本\((X_1,\cdots,X_n)\)，求\(\theta_1,\theta_2\)的極大似然估計。

總體的密度函數為：

則\(\theta_1,\theta_2\)的似然函數為：

均勻分布是特殊情況，不能使用做題模板。

如果繼續使用取對數求導的思路，會出現：

\[\frac{n}{\theta_2-\theta_1}=0 \]

這樣的情況，無法再繼續求解。

因此應該轉換思路。

為了取得似然函數的最大值，那么\((\theta_2-\theta_1)\)應該取最小值，也就是區間越小越好，但又要包含樣本。

因此：

• \(\hat{\theta_1}=\min\{x_1,\cdots,x_n\}\)
• \(\hat{\theta_2}=\max\{x_1,\cdots,x_n\}\)

矩估計

基本思想

使用相應的樣本矩去估計總體矩。

使用相應的樣本矩的函數去估計總體矩的函數。

"相應的"：一階對應一階，二階對應二階......

例題

例1：\(X\sim N(\mu, \sigma^2)\)，\((X_1,\cdots,X_n)\)是樣本，求\(\mu,\sigma^2\)的矩估計。

• 總體的一階原點矩：\(EX=\mu\)，

• 樣本的一階原點矩：\(\overline{X}=\frac{1}{n}\sum\limits_{i=1}^nX_i\)，

使用樣本矩估計總體矩：\(\hat{\mu}=\overline{X}\)；

• 總體的二階原點矩：\(EX^2\)

因為\(DX=EX^2-(EX)^2\)

所以\(EX^2=DX+(EX)^2=\sigma^2+\mu^2\)

• 樣本的二階原點矩：\(A_2=\frac{1}{n}\sum\limits_{i=1}^nX_i^2\).

所以\(\hat{EX^2}=\frac{1}{n}\sum\limits_{i=1}^nX_i^2\).

所以

這里最后的等號沒有寫錯，可以反過來計算證明其正確性：

\[\begin{align*} \frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2 &= \frac{1}{n}\sum\limits_{i=1}^n(X_i^2-2X_i\overline{X}+\overline{X}^2) \\ &= \frac{1}{n}\sum X_i^2-2\overline{X}(\frac{1}{n}\sum X_i)+\frac{1}{n}n\overline{X}^2 \\ &= \frac{1}{n}\sum X_i^2-2\overline{X}\overline{X}+\overline{X}^2 \\ &= \frac{1}{n}\sum X_i^2 -\overline{X}^2 \end{align*} \]

因此：

\(\frac{1}{n}\sum X_i^2 -\overline{X}^2=\frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2\)

這里的\(\frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2\)其實就是二階中心矩\(B_2\).

所以\(\hat{\sigma^2}=B_2\).

正態分布的兩個參數的極大似然估計和矩估計的結果是一致的。

例2：\(X\sim P(\lambda)\)，\((X_1,\cdots,X_n)\)，求\(\lambda\)的矩估計.

泊松分布的期望和方差都是\(\lambda\)，也就是說可以列出兩個方程：

• \(\hat{\lambda}=\overline{X}\)
• \(\hat{\lambda}=B_2\)

究竟使用哪個作為估計值可以采取評價估計量的標準進行評估，比如有效性。這里使用一階的\(\hat{\lambda}=\overline{X}\)更好。

例3：\(X\)服從\([\theta_1,\theta_2]\)上的均勻分布，求\(\theta_1,\theta_2\)的矩估計。

根據均勻分布的性質，有

• \(EX=\frac{1}{2}(\theta_1+\theta_2)\)
• \(DX=\frac{(\theta_2-\theta_1)^2}{12}\)

第一個式子可以用均值估計：\(\frac{1}{2}(\hat{\theta_1}+\hat{\theta_2})=\overline{X}\)

同時，有\(DX=EX^2-(EX)^2=EX^2-\frac{(\theta_1+\theta_2)^2}{4}\)

所以\(EX^2=\frac{(\theta_2-\theta_1)^2}{12}+\frac{(\theta_1+\theta_2)^2}{4}\).

\(EX^2\)使用\(A_2=\frac{1}{n}\sum\limits_{i=1}^nX_i^2\)近似，樣本是已知的，所以\(A_2\)是可計算的已知的量。

所以\(\frac{(\hat{\theta_2}-\hat{\theta_1})^2}{12}+\frac{(\hat{\theta_1}+\hat{\theta_2})^2}{4}=A_2\)

綜上，可以列出兩個方程用于求解\(\hat{\theta_1},\hat{\theta_2}\)：

求解得到：

使用教材：
《概率論與數理統計》第四版 中國人民大學 龍永紅 主編 高等教育出版社