【筆記】概率論復習
常用分布列
| 名稱 | 分布列/密度函數(shù) | 期望 | 方差 |
|---|---|---|---|
| 二項分布 \(B(n,p)\) | \(P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}\) | \(np\) | \(np(1-p)\) |
| 超幾何分布 | \(nM/N\) | ||
| 幾何分布 | \(P(X=k)=(1-p)^kp\) | \(\frac{1}{p}\) | \(\frac{1-p}{p^2}\) |
| 負二項分布 | |||
| Poisson 分布 \(\operatorname{Poi}(\lambda)\) | \(P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!}\) | \(\lambda\) | \(\lambda\) |
| 均勻分布 \(U(a,b)\) | \(f(x)=\frac{b-a}{12}\) | \(\frac{a+b}{2}\) | \(\frac{(a-b)^2}{12}\) |
| 指數(shù)分布 \(\mathcal{E}(\lambda)\) | \(f(x)=\lambda e^{-\lambda x}\) | \(\frac{1}{\lambda}\) | \(\frac{1}{\lambda^2}\) |
| 正態(tài)分布 \(N(\mu,\sigma^2)\) | \(f(x) = \frac{1}{\sigma\sqrt{2\pi}}e^{-(x-\mu)^2/ 2\sigma^2}\) | \(\mu\) | \(\sigma^2\) |
| 標準 Cauchy 分布 | \(f(x) = \frac{1}{\pi(1+x^2)}\) | / | / |
事實上，Poisson 分布，正態(tài)分布、Cauchy 分布都有可加性。
復合隨機變量的密度函數(shù)計算
例：\(X \sim N(0,1)\)，\(Y = X^2\)，求 \(Y\) 的密度函數(shù) \(f_Y(y)\)
先求分布函數(shù)再求導
\[F(y) = P(X^2 \le y)= P(X \le \sqrt{y}) - P(X< -\sqrt{y}) \\
=\int_{-\infty}^\sqrt{y} \varphi(u) du - \int_{-\infty}^{-\sqrt{y}}\varphi(u) du\\
= \varphi(\sqrt y)(\sqrt {y})' - \varphi(-\sqrt y)(-\sqrt y)'
\]
Chebyshev 不等式
設 \(X\) 為隨機變量，且 \(\alpha\) 階矩存在，則 \(\forall \epsilon > 0\) 有
\[P(|X-EX| \ge \epsilon) \le \frac{E(|X-EX|^\alpha)}{\epsilon^\alpha}
\]
特別地 \(\alpha = 2\) 時
\[P(|X-EX| \ge \epsilon) \le \frac{DX}{\epsilon^2}
\]
二維正態(tài)分布
\[f(x,y) = \frac{1}{2\pi \sigma_1\sigma_2 \sqrt{1-\rho^2}}\\ \times \exp \left(\frac{1}{2(1-\rho^2)}[(\frac{x-\mu_1}{\sigma_1})^2+(\frac{y-\mu_2}{\sigma^2})^2 - 2\rho \frac{x-\mu_1}{\sigma_1} \frac{y-\mu_2}{\sigma_2}] \right)
\]
其中 \(|\rho| < 1\) 是相關系數(shù)（標準化后的協(xié)方差）
聯(lián)合分布
協(xié)方差
\(\operatorname{Cov}(X,Y) = E((Y-EY)(X-EX))=E(XY)-E(X)E(Y)\)
正相關、負相關、不相關。
獨立一定不相關，但反過來不一定。
\(D(X) = \operatorname{Cov}(X,X)\)
\[\operatorname{Cov}\left(\sum_{k=1}^{n} a_kX_k ,\sum_{j=1}^m b_jY_j\right) = \sum_{k=1}^{n}\sum_{j=1}^{m} a_kb_j\operatorname{Cov}(X_k,Y_j)
\]
協(xié)方差矩陣是半正定矩陣。
PGF
\[G_X(s) = E(s^X) = \sum_{k=0}^{\infty} s^k p_k
\]
- \(G_X(1) = 1\)
- \(G'_X(1) = E(X)\)
- 和分布列一一對應
特征函數(shù)
\[\psi_X(t) = E(e^{itX}) = E\cos(tX)+iE\sin(tX)
\]
-
\(\psi\) 關于 \(t\) 一致連續(xù)
-
\(\dfrac{\psi_X^{(k)}(0)}{i^k}= E(X^k)\)
-
獨立的變量相加，特征函數(shù)相乘。
特殊函數(shù)的特征函數(shù)
- 正態(tài)分布 \(\exp(i\mu t - \frac{\sigma^2}{2}t^2)\)
大數(shù)定律
- 弱大數(shù)：均值依測度收斂到某個值。
- 如果 \(\operatorname{Cov}(X_i,X_j)\le 0\)（\(i\ne j\)） 且 \(\frac{1}{n^2}\sum_{i=1}^{n}DX_i \to 0\)，那么 \(X_i-EX_i\) 服從弱大數(shù)定律
- 如果獨立同分布且方差有限，那么服從弱大數(shù)定律。
- 強大數(shù)：均值幾乎處處收斂到某個值。
- （Kolmogorov）如果 \(X_n\) 獨立且 \(\sum_{n=1}^{\infty}\frac{DX_n}{n^2} < \infty\)，那么 \(X_i-EX_i\) 服從強大數(shù)定律
- 如果獨立同分布且期望有限，那么 \(X_i\) 服從強大數(shù)定律。
中心極限定理
\(X_k\) 獨立同分布，方差期望存在，則
\[\lim_{n\to+\infty} P\left(\frac{1}{\sigma \sqrt{n}}\sum_{k=1}^n (X_k-\mu) \le x\right) = \Phi (x)
\]
一般證明都用特征函數(shù)趨近證明。
記 \(B_n^2 = \sum_{k=1}^{n} \sigma_k^2\)
- Lindeberg 條件
\(\forall \tau > 0\)
\[\lim_{n\to +\infty} \frac{1}{B^2_n} \sum_{k=1}^n E\left((X_k-\mu_k)^2I_{\{|X_k-\mu_k| \ge \tau B_n\} }\right) = 0 \]
- Lyapunov 條件
\(\exist \delta > 0\) s.t.
\[\lim_{n \to +\infty} \frac{1}{B_n^{2+\delta}} \sum_{k=1}^{n} E(|X_k-\mu_k|^{2+\delta}) = 0 \]
收斂
若 \(X_n\to^d X\)，\(Y_n \to^p a\)，\(b_n\to b\) 則
- \(b_nX_n+Y_n \to_d bX+a\)
- \(X_nY_n \to^p 0\)（\(a=0\)）
- \(X_nY_n \to ^d Xa\)（\(a\ne 0\)）
- \(X_n/Y_n \to^d X/a\)
浙公網(wǎng)安備 33010602011771號