2.2 隨機變量的數字特征

離散型隨機變量的數學期望

設離散型隨機變量\(X\)的可能值為\(x_i(i=1,2,\cdots)\)，其概率分布為

若\(\sum\limits_{i=1}^\infty x_ip_i\)絕對收斂，則記\(E(X)=\sum\limits_{i=1}^\infty x_ip_i\)為隨機變量\(X\)的數學期望。

連續型隨機變量的數學期望

推導過程

設\(X\)是連續型隨機變量，密度函數為\(f(x)\).

根據密度函數的特點，有：

其中，\(\Delta x_i=x_{i+1}-x_i\)趨向于\(0\).

因而，概率分布為：

將其視為\(X\)的離散近似，而離散型隨機變量的數學期望為：

當\(\Delta x_i \to0\)時，根據定積分的定義，上述和式以定積分：

為極限（如果積分存在），于是該定積分的值便是連續型隨機變量\(X\)的數學期望。

定義

若\(X\)為連續型隨機變量，\(f(x)\)為其密度函數，如果廣義積分：

絕對收斂，則稱\(E(X)=\int_{-\infty}^{+\infty}xf(x)dx\)為隨機變量\(X\)的數學期望。

隨機變量函數的數學期望

一元函數

設\(X\)為隨機變量，\(Y=g(X)\)是隨機變量函數.

為什么連續型隨機變量函數的數學期望只將\(x\)改為\(g(x)\)，而\(f(x)\)不用改？

解析：數學期望可以簡單概括為\((變量的值\times概率)\)的和式，根據上文中連續型隨機變量的數學期望的推導過程，\(f(x)\)屬于概率的部分，而隨機變量函數其實只改變了變量的值這一部分，所以只將式子前面的\(x\)改為\(g(x)\).

二元函數

設\(X,Y\)為隨機變量，\(Z=g(X,Y)\)是二元隨機變量函數。

離散

舉例：

設\(Z=X-Y\)，則：

連續

二元連續型隨機變量函數的數學期望需要計算二重積分：

數學期望的性質

1. \(E(C)=C\)，其中\(C\)為常數.
2. \(E(kX+b)=k\cdot E(X)+b\).
3. \(E(X\pm Y)=E(X)\pm E(Y)\).
4. \(E(\sum\limits_i C_iX_i)=\sum\limits_i C_iE(X_i)\)
5. \(E(\frac{1}{n}\sum\limits_i X_i)=\frac{1}{n}\sum\limits_i E(X_i)\)
6. 若\(X,Y\)獨立，有\(E(XY)=E(X)\cdot E(Y)\)

條件期望

定義

一個變量取了某值之后，另一變量的數學期望。

離散：

• \(E(X|Y=y_j)=\sum\limits_i x_iP(X=x_i|Y=y_j)\)
• \(E(Y|X=x_i)=\sum\limits_j y_jP(Y=y_j|X=x_i)\)

連續：

• \(E(X|Y=y)=\int_{-\infty}^{+\infty}xf(x|y)dx\)（計算結果帶有\(y\)）
• \(E(Y|X=x)=\int_{-\infty}^{+\infty}yf(y|x)dy\)（計算結果帶有\(x\)）

隨機變量的方差

方差的定義

方差描述了一組數據的偏離程度，計算每個值與平均值的距離\(\frac{1}{n}\sum|x_i-\overline{x}|\)，使用絕對值是為了描述偏離的距離(非負值)，但是絕對值的計算是復雜的，使用平方會更簡便：\(\frac{1}{n}\sum(x_i-\overline{x})^2\).

隨機變量的方差

• 離差：\(X-EX\)

• 方差：\(D(X)=E(X-EX)^2\)

• 標準差：\(\sqrt{DX}\)

\(X\)是隨機變量，離差\(X-EX\)也是一個隨機變量，為了消除正負符號影響并且考慮計算方便，使用\((X-EX)^2\)來衡量\(X\)對\(EX\)的偏離，從而方差\(D(X)=E(X-EX)^2\)即為\(X\)對\(EX\)的平均偏離。

計算

離散型：

連續型：

常用計算公式：

證明：

步驟\((*)\)使用了數學期望的性質，這里將\(X\)視為變量，將\(EX\)視為常數，直接提出。

性質

• \(D(a)=0\)

• \(D(X+a)=DX\)

• \(D(aX)=a^2DX\)

• \(D(kX+b)=k^2DX\)

結合上面兩個性質即可證明.

• 若\(X,Y\)獨立，有\(D(X\pm Y)=DX+DY\)

這個性質有兩點要注意：

1. 在數學期望的性質中有類似的性質：\(E(X\pm Y)=EX\pm EY\)是在任何時候都成立，而方差的性質需要前提條件：\(X,Y\)獨立
2. 數學期望的性質的數學符號是\(\pm\)拆開來也是\(\pm\)，但是方差的性質的符號，內部是\(\pm\)，分開后的符號都是\(+\).

證明：

這一步主要在于將\(E(X\pm Y)\)拆分，注意符號變化\(\pm\to\mp\).

這一步的關鍵在于將上一步中的\(\pm Y\mp EY\)合并成\(\pm(Y-EY)\)，這里雖然有兩個正負號，但是并不是有4種情況（\(++,+-,-+,--\)）。

事實上，從源頭\(D(X\pm Y)\)看來，只有兩種情況，再沿著計算步驟算下來，也只有兩種情況：

• \(+Y-EY\)
• \(-Y+EY\)

所以可以合并為\(\pm(Y-EY)\).

這一步就是簡單的二項式展開。

利用數學期望的性質展開。

顯然，接下來只需要證明\(E[(X-EX)(Y-EY)]=0\)。

此時，因為前提條件為\(X,Y\)獨立，根據數學期望的性質有：\(E(XY)=EX\cdot EY\)

綜上，當\(X,Y\)獨立時，有\(D(X\pm Y)=DX+DY\).

• \(DX=0\Leftrightarrow P\{X=EX\}=1\)

標準化隨機變量

定義

標準化隨機變量(standardized random variable)是指經過處理，從而具有一些較好性質的隨機變量。設\(X\)為隨機變量，稱\(X^*=\frac{X-EX}{\sqrt{DX}}\)為標準化隨機變量。

性質

• 數學期望為0.

• 方差為1.

\(EX,DX\)視為常數.

隨機變量的矩

原點矩

定義

\(X\)為隨機變量，\(k\)為正整數，如果\(EX^k\)存在（即絕對收斂），則稱\(EX^k\)為\(X\)的\(k\)階原點矩，稱\(E|X|^k\)為\(X\)的\(k\)階絕對矩。

• 標準化后的三階矩：\(S=E(\frac{X-EX}{\sqrt{DX}})^3\)稱為\(X\)的分布的偏度（skewness），用來比較不同分布的非對稱程度。
• 標準化后的四階矩：\(K=E(\frac{X-EX}{\sqrt{DX}})^4\)稱為\(X\)的分布的峰度(kurtosis)，用來比較分布的扁平程度。

計算

• 離散：\(\sum x_i^kp_i\)
• 連續：\(\int_{-\infty}^{+\infty}x^kf(x)dx\)

定理

若隨機變量\(X\)的 \(t\) 階矩存在，則其 \(s\) 階矩也存在。( \(s<t\) 為正整數 )

推論

設\(k\)為正整數，\(C\)為常數，如果\(EX^k\)存在，則\(E(X+C)^k\)存在，\(E(X-EX)^k\)存在.

中心矩

定義

\(X\)為隨機變量，\(k\)為正整數，如果\(EX^k\)存在，則稱\(E(X-EX)^k\)為\(X\)的\(k\)階中心距，稱\(E|X-EX|^k\)為\(X\)的\(k\)階絕對中心距。

• 數學期望是\(X\)的一階原點矩。
• 方差是\(X\)的二階中心矩。

如果\(EX^2<\infty\)，則\(X\)的數學期望和方差都存在。

計算

• 離散：\(\sum(x_i-EX)^kp_i\)
• 連續：\(\int_{-\infty}^{+\infty}(x-EX)^kf(x)dx\)

與矩相關的不等式

定理

設\(h(x)\)是\(x\)的一個非負函數，\(X\)是一個隨機變量，且\(Eh(X)\)存在，則對任意\(\varepsilon>0\)，有

推論

推論1（馬爾可夫不等式）設\(X\)的\(k\)階矩存在（\(k\)為正整數），即\(E|X|^k<\infty\)，則對任意\(\varepsilon>0\)有

推論2（切比雪夫不等式）設\(X\)的方差存在，則對任意\(\varepsilon>0\)有

推論3 隨機變量\(X\)的方差為0當且僅當存在一個常數\(a\)，使得\(P\{X=a\}=1\)，且該常數\(a=EX\).

使用教材：
《概率論與數理統計》第四版 中國人民大學 龍永紅 主編 高等教育出版社