3.5 大數(shù)定律與中心極限定理

切比雪夫不等式

定義

\(EX\)和\(DX\)存在，對(duì)于任意的\(\epsilon>0\)，有

證明

這里證明\(X\)是連續(xù)型的情況。

因此，\(P\{|X-EX|\ge\epsilon\}\le \frac{DX}{\epsilon^2}\).

證明過程補(bǔ)充說明：

第一個(gè)不等號(hào)是因?yàn)?span id="w0obha2h00" class="math inline">\(|X-EX|\ge\epsilon\)，兩邊平方，就有\((X-EX)^2\ge\epsilon^2\)，于是\(\frac{(X-EX)^2}{\epsilon^2}\ge1\)，因此乘上這個(gè)系數(shù)就會(huì)大于等于原來的積分。

第二個(gè)不等號(hào)是因?yàn)榉e分區(qū)域擴(kuò)大了，并且被積函數(shù)是密度函數(shù)是非負(fù)的，所以有大于等于的不等關(guān)系。

最后的定積分化為方差，其實(shí)就是連續(xù)型隨機(jī)變量的方差計(jì)算公式。??隨機(jī)變量的方差-計(jì)算-連續(xù)型

理解

\(|X-EX|\)可以理解為隨機(jī)取一個(gè)點(diǎn)，這個(gè)點(diǎn)到\(EX\)的距離。

那么\(P\{|X-EX|\ge \epsilon\}\)，就表示隨機(jī)取一個(gè)點(diǎn)，這個(gè)點(diǎn)到\(EX\)的距離大于指定的\(\epsilon\)的概率。也就是上圖中隨機(jī)取的點(diǎn)落在綠色區(qū)域的概率。

\(EX\)是\(X\)的“中心點(diǎn)”，\(X\)的取值大多數(shù)都圍繞在\(EX\)不遠(yuǎn)處。因此，落在“外面”的點(diǎn)是比較少的，落在“外面”的概率是比較小的，并且通過上面的放縮證明，這個(gè)概率是小于\(\frac{DX}{\epsilon^2}\)的。

• \(DX\)越小，說明數(shù)據(jù)的整體波動(dòng)較小，說明數(shù)據(jù)都集中分布在\(EX\)附近，那么落在“外面”的概率就小。
• \(DX\)越大，說明數(shù)據(jù)的整體波動(dòng)較大，說明數(shù)據(jù)分布比較分散，那么落在“外面”的概率就比較大。
• \(\epsilon\)越小，說明劃定的“內(nèi)部區(qū)域”比較小，那么落在“外面”的概率就比較大。
• \(\epsilon\)越大，說明劃定的“內(nèi)部區(qū)域”比較大，那么很多點(diǎn)都被包含在“內(nèi)部”了，落在“外面”的點(diǎn)就變少了，所以落在“外面”的概率也就比較小。

可以看出，概率大小與\(DX\)的正相關(guān)關(guān)系以及和\(\epsilon\)的負(fù)相關(guān)關(guān)系是和切比雪夫不等式吻合的。

推論

切比雪夫不等式為

將切比雪夫不等式的范圍取反，則可以得到

依概率收斂

收斂

如果\(a_n\to a\)，要求\(\forall \epsilon>0,\exists N>0,n>N時(shí),|a_n-a|<\epsilon\).

理解：對(duì)于任意\(\epsilon>0\)在于劃定一個(gè)非常小的區(qū)域，\(\exists N>0\)在于存在某一項(xiàng)，\(n>N\)也就是說這一項(xiàng)后面的所有項(xiàng)\(a_n\)，與一個(gè)數(shù)\(a\)的距離都要小于先前劃定的非常小的\(\epsilon\)，也就是說\(a_n\to a\).

依概率收斂

對(duì)于任意\(\epsilon>0\)，有

則稱\(\{X_n\}\)依概率收斂到\(X\)，記作\(X_n\stackrel{P}{\longrightarrow}X\)或\(P-\lim\limits_{n\to\infty}X_n=X\).

理解：依概率收斂沒有上面的收斂那么嚴(yán)格，它并不要求當(dāng)\(n>N\)時(shí)，\(|X_n-X|<\epsilon\)恒成立。只是要求當(dāng)\(n\)足夠大時(shí)，\(|X_n-X|<\epsilon\)的概率為1。從數(shù)軸上理解就是：前者要求\(n>N\)的所有數(shù)都落在狹小的范圍內(nèi)，而依概率收斂只要求最終的概率為1，可以偶爾有幾個(gè)點(diǎn)是落在狹小區(qū)域外面。

大數(shù)定律

在\(n\)次試驗(yàn)中事件\(A\)發(fā)生的次數(shù)記為\(\mu_n\)，發(fā)生的頻率為\(\frac{\mu_n}{n}\)。\(\mu_n\)和\(\frac{\mu_n}{n}\)都是隨機(jī)變量。

伯努利大數(shù)定律

定理

\(n\)重伯努利試驗(yàn)中，事件\(A\)發(fā)生了\(\mu_n\)次，頻率為\(\frac{\mu_n}{n}\)，頻率依概率收斂于事件\(A\)發(fā)生的概率\(p\).

證明

因?yàn)?span id="w0obha2h00" class="math inline">\(\mu_n\sim B(n,p)\)，

所以

\(n\)為常數(shù)，結(jié)合數(shù)學(xué)期望和方差的相關(guān)性質(zhì)，有

根據(jù)切比雪夫不等式（對(duì)應(yīng)的隨機(jī)變量\(X\)是\(\frac{\mu_n}{n}\)），對(duì)于任意\(\epsilon>0\)，有

不等式右邊

當(dāng)\(n\to\infty\)時(shí)，\(上式\to1\).

又根據(jù)概率的基本性質(zhì)，\(P\{|\frac{\mu_n}{n}-p|<\epsilon\}\le1\).

所以，\((*)\)式可延伸為

根據(jù)夾逼定理，

所以

結(jié)論

當(dāng)\(n\to\infty\)時(shí)，\(\frac{\mu_n}{n}\stackrel{P}{\longrightarrow}p\).

也就是說當(dāng)試驗(yàn)次數(shù)很多時(shí)，事件發(fā)生的頻率會(huì)依概率收斂于事件發(fā)生的概率。

切比雪夫大數(shù)定律

定理

\(X_1,X_2,\cdots,X_n,\cdots\)是一系列不相關(guān)的隨機(jī)變量，\(EX_i\)和\(DX_i\)均存在，方差有界，即\(DX_i\le M\).

對(duì)于任意\(\epsilon>0\)，有

證明

\(X_1,\cdots,X_n,\cdots\)不相關(guān)，所以\(cov(X_i,X_j)=0\).

根據(jù)切比雪夫不等式（對(duì)應(yīng)的隨機(jī)變量\(X\)是\(\frac{1}{n}\sum\limits_{i=1}^nX_i\)），有

這里的\(D(\frac{1}{n}\sum\limits_{i=1}^nX_i)\)前面有負(fù)號(hào)，所以上式中的\(D(\frac{1}{n}\sum\limits_{i=1}^nX_i)\le\frac{M}{n}\)中的不等符號(hào)在這里要轉(zhuǎn)換：

當(dāng)\(n\to\infty\)時(shí)，有

根據(jù)夾逼定理，

推論

如果\(X_1,\cdots,X_n,\cdots\)獨(dú)立同分布，其數(shù)學(xué)期望和方差都存在，這些隨機(jī)變量的期望都是\(EX_i=\mu\).

對(duì)于任意的\(\epsilon>0\)，有

辛欽大數(shù)定律

定理

如果\(X_1,\cdots,X_n,\cdots\)獨(dú)立同分布，隨機(jī)變量的期望都是\(EX_i=\mu\)，方差無要求。

對(duì)于任意的\(\epsilon>0\)，有

結(jié)論

這個(gè)定理說明了當(dāng)試驗(yàn)次數(shù)很大時(shí)，可以用數(shù)據(jù)的平均值來估計(jì)期望值。

案例

測(cè)桌子長(zhǎng)度：在測(cè)量的過程中誤差是無法避免的，那么可以多次測(cè)量求平均值，并且用該平均值來估計(jì)期望值（桌子的實(shí)際長(zhǎng)度）。

中心極限定理

大量獨(dú)立同分布的變量之和的極限分布是正態(tài)分布。

林德伯格-列維中心極限定理

\(X_1,\cdots,X_n,\cdots\)獨(dú)立同分布(不管什么分布都行)，\(EX_i=\mu,DX_i=\sigma^2\)，\(0<\sigma^2<+\infty\)。

大量獨(dú)立同分布的變量之和標(biāo)準(zhǔn)化之后的極限分布就是標(biāo)準(zhǔn)正態(tài)分布。

補(bǔ)充說明

設(shè)變量之和為\(Y=\sum\limits_{i=1}^nX_i\)，則\(EY=E\sum\limits_{i=1}^nX_i=n\mu,DY=D(\sum\limits_{i=1}^nX_i)=\sum\limits_{i=1}^nDX_i=n\sigma^2\).

變量之和標(biāo)準(zhǔn)化之后：

棣莫弗-拉普拉斯中心極限定理

\(Y_n\sim B(n,p)\)

其中

\(EX_i=p,\ DX_i=p(1-p)\)

也就是說只要把林德伯格-列維中心極限定理中的數(shù)學(xué)期望和方差進(jìn)行替換，就可以得到棣莫弗-拉普拉斯中心極限定理.

結(jié)論：二項(xiàng)分布可以用正態(tài)分布去近似。

當(dāng)\(n\)較大時(shí)，二項(xiàng)分布的計(jì)算量是非常大的。

而正態(tài)分布的計(jì)算可以查表。

補(bǔ)充

• 當(dāng)\(n\)大，\(np\)適中時(shí)，將二項(xiàng)分布近似為泊松分布。
• 當(dāng)\(n\)大，\(np\)大時(shí)，將二項(xiàng)分布近似為正態(tài)分布。

參考值：

• 泊松分布對(duì)應(yīng)的\(n\)的較大值大概為：80，100，200左右。
• 正態(tài)分布對(duì)應(yīng)的\(n\)的較大值一般為：幾千幾萬。

使用教材：
《概率論與數(shù)理統(tǒng)計(jì)》第四版 中國(guó)人民大學(xué) 龍永紅 主編 高等教育出版社