3.4 隨機向量的數字特征

協方差

定義

協方差用于反映隨機向量的分量之間關系的密切程度。

性質

• \(cov(X,X)=DX\)

• \(cov(X,Y)=cov(Y,X)\)

• \(cov(aX,bY)=ab\cdot cov(X,Y)\)，\(a,b\)為任意常數

• \(cov(C,X)=0\)，\(C\)為任意常數

• \(cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)\)

• 如果\(X,Y\)相互獨立，則\(cov(X,Y)=0\)。反過來不成立：如果\(cov(X,Y)=0\)，\(X,Y\)不一定相互獨立。

  • 對于方差存在的隨機變量\(X,Y\)，有\(D(X\pm Y)=DX+DY\pm 2cov(X,Y)\)
  • 當\(X,Y\)相互獨立時，\(D(X\pm Y)=DX+DY\)

• \(n\)維隨機向量\((X_1,X_2,\cdots,X_n)\)，\(X_i(i=1,2,\cdots,n)\)的方差均存在，則對于任意實向量\((\lambda_1,\lambda_2,\cdots,\lambda_n)\)，\(\sum\limits_{i=1}^n\lambda_iX_i\)的方差必存在，且

  \[D(\sum\limits_{i=1}^n\lambda_iX_i)=\sum\limits_{i=1}^n\lambda_i^2DX_i+2\sum\limits_{1\le i<j\le n}\lambda_i\lambda_jcov(X_i,Y_j). \]

  特別地，當\(X_1,X_2,\cdots,X_n\)兩兩獨立時，有

  \[D(\sum\limits_{i=1}^n\lambda_iX_i)=\sum\limits_{i=1}^n\lambda_i^2DX_i \]

計算

• 離散型：\(cov(X,Y)=\sum\limits_{i,j}(x_i-EX)(y_j-EY)p_{ij}\)

• 連續型：\(cov(X,Y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-EX)(y-EY)f(x,y)\mathrmw0obha2h00x\mathrmw0obha2h00y\)

• 實際做題中常用的公式：\(cov(X,Y)=E(XY)-EX\cdot EY\)

協方差矩陣

定義

\((X_1,X_2,\cdots,X_n)\)是\(n\)維隨機向量，\(X_i(i=1,2,\cdots,n)\)的方差均存在，則以\(\sigma_{ij}=cov(X_i,Y_j)\)為第\((i,j)\)個元素的矩陣\((\sigma_{ij})_{n\times n}\)稱為隨機向量\((X_1,X_2,\cdots,X_n)\)的協方差矩陣，簡稱協差陣。

記\(\mathbf{X}=(X_1,X_2,\cdots,X_n)^T\)，其協差陣通常記作\(D\mathbf{X}\).

對任意實向量\(\boldsymbol{\lambda}=(\lambda_1,\lambda_2,\cdots,\lambda_n)^T\)，有\(D(\boldsymbol{\lambda}^T\bold{X}=\boldsymbol{\lambda}^TD\bold{X}\ \boldsymbol{\lambda})\)

相關系數

協方差是對兩個隨機變量的協同變化的度量，但是數值受數量單位影響，也即受各隨機變量自身取值水平的影響。

為了避免這種影響，可以采取標準化。

標準化

相關系數的定義

標準化后的隨機變量的協方差為

將其稱為\(X,Y\)之間的相關系數，記作\(\rho_{X,Y}=\frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}}\).

概念與性質

• 相關系數恒滿足：\(|\rho_{X,Y}|\le1\)

• 如果\(X,Y\)之間存在線性函數關系，則\(|\rho_{X,Y}|=1\).

  此時，稱\(X,Y\)完全相關。

  當\(\rho=1\)時，稱完全正相關。

  當\(\rho=-1\)時，稱完全負相關。

• 如果\(\rho_{X,Y}=0\)，則稱\(X,Y\)不相關。

  從相關系數和協方差的定義可以知道：

  \[獨立\Rightarrow不相關\\ 不相關\nRightarrow 獨立 \]

  \(獨立\Rightarrow沒有關系\Rightarrow沒有線性關系\Rightarrow不相關\).

  \(不相關\Rightarrow 沒有線性關系，但是可能存在非線性關系\nRightarrow獨立\).

• 如果\(0<|\rho_{X,Y}|<1\)，則稱\(X,Y\)不完全相關.

  當\(\rho>0\)時，稱為正相關。

  當\(\rho<0\)時，稱為負相關。

條件數學期望

定義

離散型

在\(Y=y_j\)的條件下，\(X\)的條件概率分布為

如果

即絕對收斂，則稱\(\sum\limits_i|x_i|p_{i|j}\)為\(X\)在\(Y=y_j\)條件下的條件數學期望，記作\(E[X|Y=y_j]\).

連續型

在\(Y=y\)的條件下，\(X\)的條件密度函數為

則稱

為\(X\)在\(Y=y\)條件下的條件數學期望。記作\(E[X|Y=y]\).

性質

條件數學期望具有數學期望具有的所有數學性質。

??概率論與數理統計]筆記：2.2 隨機變量的數字特征 - feixianxing - 博客園 (cnblogs.com)

• 如果\(X,Y\)相互獨立，則\(E[X|Y=y]=EX\).

使用教材：
《概率論與數理統計》第四版 中國人民大學 龍永紅 主編 高等教育出版社