第5章 大数定律和中心极限定理
第五章 大数定律和中心极限定理
我们知道，对应于随机试验的一个结果 $ \omega $，随机变量序列 $ X_1, X_2, \cdots $，就得到一个数列 $ X_1(\omega), X_2(\omega), \cdots $，不同的试验结果对应的数列有所不同，那么在算术平均意义下是否与某一个确定数列相差不大？若答案是肯定的，我们就可以近似地用该确定数列的算术平均值代替随机变量序列的算术平均值。回答这个问题的有关定理和事实，历史上称之为“大数定律”，这里的“定律”源自英文 law of large number.
另外，将该随机变量序列经某种规范化，会不会在某种意义下收敛到具某一分布已知的随机变量？回答这个问题的有关定理和事实，历史上称之为“中心极限定理”(central limit theorem).
以上两个问题的回答，是初等概率论中最深入和最精彩的结果，为此要引入随机变量收敛性的各种定义以及诸如母函数、矩母函数和特征函数等分析工具。但由于课程内容深度和学时的限制，我们本章只做简单讨论。
5.1 大数定律
5.1.1 大数定律问题的提法
设有随机变量序列 $ X_{1}, X_{2}, \cdots $，试问是否存在确定数列 $ a_{1}, a_{2}, \cdots $，使得在某种收敛意义下，有
$$ \frac{X_{1}+X_{2}+\cdots+X_{n}}{n}-\frac{a_{1}+a_{2}+\cdots+a_{n}}{n}\longrightarrow0\quad(n\rightarrow\infty)? $$
若能在某种条件下，对任意 $ \varepsilon\gt 0 $有
$$ \lim_{n\to\infty}P\left(\omega:\left|\frac{X_{1}(\omega)+X_{2}(\omega)+\cdots+X_{n}(\omega)}{n}-\frac{a_{1}+a_{2}+\cdots+a_{n}}{n}\right|\geqslant\varepsilon\right)=0, $$
则称 $ X_{1}, X_{2}, \cdots $ 服从弱大数定律.
若能在某种条件下，有
$$ P\left(\omega:\lim_{n\to\infty}\left(\frac{X_{1}(\omega)+X_{2}(\omega)+\cdots+X_{n}(\omega)}{n}-\frac{a_{1}+a_{2}+\cdots+a_{n}}{n}\right)=0\right)=1, $$
则称 $ X_{1}, X_{2}, \cdots $ 服从强大数定律.
一般地，设有随机变量序列 $ X_{1}, X_{2}, \cdots $ 和随机变量 Y.
(1) 如果对任意 $ \varepsilon \gt 0 $ 有
$$ \lim_{n\to\infty}P(\omega:|X_{n}(\omega)-Y(\omega)|\geqslant\varepsilon)=0, $$
则称 $ X_{1}, X_{2}, \cdots $ 依概率收敛于 Y，记作 $ X_{n} \xrightarrow{P} Y $.
(2) 如果
$$ P\left(\omega:\lim_{n\to\infty}X_{n}(\omega)=Y(\omega)\right)=1, $$
则称 $ X_{1}, X_{2}, \cdots $ 以概率 1 收敛于 Y，记作 $ X_{n} \xrightarrow{a.s} Y $.
可以证明，若 $ X_{n} \xrightarrow{a.s} Y $，则 $ X_{n} \xrightarrow{P} Y $。这就解释了前述大数定律的“强”和“弱”称谓的缘由。
5.1.2 弱大数定律
引理 5.1.1 (切比雪夫 (Чеблінев) 不等式) 设随机变量 X 的方差存在, 则对任 $ \varepsilon \gt 0 $ 有
$$ P(|X-E[X]|\geqslant\varepsilon)\leqslant\frac{\mathrm{Var}[X]}{\varepsilon^{2}}. $$
证明 只就 X 为连续型随机变量的情形证明.
$$ \begin{align*}P(|X-E[X]|\geqslant\varepsilon)&=\int_{|x-E[X]|\geqslant\varepsilon}f_{X}(x)\mathrm{d}x\\&\leqslant\int_{|x-E[X]|\geqslant\varepsilon}\frac{(x-E[X])^{2}}{\varepsilon^{2}}f_{X}(x)\mathrm{d}x\\&\leqslant\int_{-\infty}^{\infty}\frac{(x-E[X])^{2}}{\varepsilon^{2}}f_{X}(x)\mathrm{d}x\\&=\frac{1}{\varepsilon^{2}}\int_{-\infty}^{\infty}(x-E[X])^{2}f_{X}(x)\mathrm{d}x\\&=\frac{\mathrm{Var}[X]}{\varepsilon^{2}}.\end{align*} $$
由引理 5.1.1 立即得到如下定理.
定理 5.1.1 (切比雪夫弱大数定律) 设 $ X_1, X_2, \cdots $，为独立随机变量序列， $ \mathrm{Var}[X_i] \leqslant C, i = 1, 2, \cdots $，则对任意 $ \varepsilon \gt 0 $ 有
$$ \lim_{n\to\infty}P\left(\left|\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}-\mu\right|\geqslant\varepsilon\right)=0. $$
证明 由于 $ X_{1}, X_{2}, \cdots $ 的独立性有
$$ E\left[\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}\right]=\mu,\mathrm{Var}\left[\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}\right]=\frac{\sum_{i=1}^{n}\mathrm{Var}[X_{i}]}{n^{2}}\leqslant\frac{C}{n}. $$
所以，由(5.1.4)有
$$ P\left(\left|\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}-\mu\right|\geqslant\varepsilon\right)\leqslant\frac{C}{n\varepsilon^{2}}\longrightarrow0\quad(n\to\infty). $$
这说明(5.1.5)成立.
对于随机变量序列独立且同分布的情形, 辛钦 (Xinчин) 给出了下面的定理.
定理 5.1.2 (辛钦弱大数定律) 设 $ X_1, X_2, \cdots $，为独立同分布随机变量序列，具有有限的数学期望 $ \mu $，则对任意 $ \varepsilon \gt 0 $ 有
$$ \lim_{n\to\infty}P\left(\left|\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}-\mu\right|\geqslant\varepsilon\right)=0. $$
下面的推论 5.1.1 说明了概率的统计定义的含义.
推论 5.1.1 (伯努利大数定律) 记 $ \nu_{n} $ 为 n 重独立伯努利试验中成功的次数, p 为一次试验成功的概率, 则
$$ \lim_{n\to\infty}P\left(\left|\frac{\nu_{n}}{n}-p\right|\geq\varepsilon\right)=0. $$
证明 设 $ X_{1}, X_{2}, \cdots $ 为独立同分布的随机变量序列，同服从 $ B(1, p) $，则 $ E[X_{1}] = p $，且
$$ \frac{\nu_{n}}{n}=\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}, $$
从而由(5.1.6)即得(5.1.7).
5.1.3 强大数定律
关于强大数定律，我们不加证明地给出如下的引理 5.1.2、定理 5.1.3 和定理 5.1.4.
引理 5.1.2 (柯尔莫哥洛夫不等式) 设 $ X_1, X_2, \cdots $，为独立随机变量序列，
具有有限的数学期望和方差，则对任意 $ \varepsilon \gt 0 $，有
$$ P\left(\sup_{1\leqslant k\leqslant n}\left|\sum_{i=1}^{k}(X_{i}-E[X_{i}])\right|\geqslant\varepsilon\right)\leqslant\frac{\sum_{k=1}^{n}\mathrm{Var}[X_{k}]}{\varepsilon^{2}}. $$
利用引理 5.1.2 可以证明如下定理.
定理 5.1.3 (柯尔莫哥洛夫强大数定律) 设 $ X_{1}, X_{2}, \cdots $ 为独立随机变量序列，具有有限的数学期望，且 $ \sum_{n=1}^{\infty}\frac{\mathrm{Var}[X_{n}]}{n^{2}} \lt \infty $，则
$$ P\left(\lim_{n\to\infty}n^{-1}\sum_{k=1}^{n}(X_{k}-E[X_{k}])=0\right)=1. $$
对于随机变量序列独立且同分布的情形，柯尔莫哥洛夫给出了下面的定理
定理 5.1.4 (柯尔莫哥洛夫强大数定律) 设 $ X_{1}, X_{2}, \cdots, X_{n} $，为独立同分布随机变量序列，具有有限的数学期望 $ \mu $，则
$$ P\left(\lim_{n\to\infty}n^{-1}\sum_{k=1}^{n}(X_{k}-E[X_{k}])=0\right)=1. $$
由定理 5.1.4 很容易得到如下的推论 5.1.2，它的结论比推论 5.1.1 的结论更强，也更进一步解释了概率的统计定义的含义.
推论 5.1.2 (博雷尔 (Borel) 强大数定律) 记 $ \nu_{n} $ 为 n 重独立伯努利试验中成功的次数, p 为一次试验成功的概率, 则
$$ P\left(\lim_{n\to\infty}\frac{\nu_{n}}{n}=p\right)=1. $$
§5.2 中心极限定理
定义 5.2.1 设 $ X_{1}, X_{2}, \cdots $ 为随机变量序列，具有有限的数学期望和方差，若
$$ \begin{array}{r l}&{\frac{\displaystyle\sum_{k=1}^{n}(X_{k}-E[X_{k}])}{\sqrt{\mathrm{V a r}\left[\displaystyle\sum_{k=1}^{n}X_{k}\right]}}\xrightarrow{d}N(0,1),}\end{array} $$
则称 $ X_{1}, X_{2}, \cdots $ 服从中心极限定理.
对于随机变量序列 $ X_{1}, X_{2}, \cdots $，为独立同分布的情形，林德伯格 (Lindeberg) 和莱维 (Lévy) 得到下列中心极限定理.
定理 5.2.1 (林德伯格 - 莱维定理) 设 $ X_{1}, X_{2}, \cdots $ 为独立同分布随机变量序列，具有有限的数学期望 $ \mu $ 和方差 $ \sigma^{2} $，则 $ X_{1}, X_{2}, \cdots $，服从中心极限定理，即
$$ \lim_{n\to\infty}P\left(\frac{1}{\sigma\sqrt{n}}\left[\sum_{k=1}^{n}X_{k}-n\mu\right]\leqslant x\right)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}\mathrm{e}^{-\frac{u^{2}}{2}}\mathrm{d}u. $$
根据定理 5.2.1，当 n 很大时，无论独立同分布的随机变量序列服从何种分布，其部分和的分布都可以近似地用正态分布来代替.
例 5.2.1 已知设 $ X_1, X_2, \cdots $ 为独立同分布随机变量序列，具有数学期望 $ \mu = 1 $ 和方差 $ \sigma^2 = 4 $。试求 $ P(X_1 + X_2 + \cdots + X_{100} \leq 125) $。
解 由于 n 较大, 我们用定理 5.2.1 的结论作近似计算. 由题设, (5.2.2) 中的 $ n\mu = 100 $, $ \sigma\sqrt{n} = 20 $, 所以由定理 5.2.1 有
$$ \begin{aligned}&P(X_{1}+X_{2}+\cdots+X_{100}\leqslant125)\\=&P\left(\frac{X_{1}+X_{2}+\cdots+X_{100}-100}{20}\leqslant\frac{125-100}{20}\right)\\\approx&\varPhi(1.25)=0.8943502.\end{aligned} $$
对于独立随机变量序列 $ X_{1}, X_{2}, \cdots $，同服从 B(1,p) 的情形，棣莫弗 (De Moivre) 和拉普拉斯 (Laplace) 得到了下列中心极限定理.
定理 5.2.2 (棣莫弗 - 拉普拉斯定理) 设 $ X_{1}, X_{2}, \cdots $ 为独立同分布随机变量序列，同服从 $ B(1, p) $，则 $ X_{1}, X_{2}, \cdots $，服从中心极限定理，即
$$ \lim_{n\to\infty}P\left(\frac{1}{\sqrt{n p(1-p)}}\left[\sum_{k=1}^{n}X_{k}-n p\right]\leqslant x\right)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}\mathrm{e}^{-\frac{u^{2}}{2}}\mathrm{d}u. $$
因为对于 $ X \sim B(1, p) $，有 E[X] = p 和 $ \mathrm{Var}[X] = p(1 - p) $。显然，定理 5.2.2 是定理 5.2.1 的推论。但定理 5.2.1 是历史上最早的中心极限定理，它由棣莫弗 1716 年，对 $ p = \frac{1}{2} $ 首次给出了 (5.2.3) 的证明，后来由拉普拉斯推广到一般 p 的情形。
大家知道，二项分布的随机变量是 n 个独立的同服从 B(1,p) 的随机变量的和（参见例 4.2.3），所以可由定理 5.2.2 对二项分布作近似计算.
例 5.2.2 设某地区内原有一家小型电影院，因业务需要，拟筹建一家较大型电影院。根据分析，该地区每天看电影者约有 n = 1600 人，且预计新电影院建成开业后，约有 $ \frac{3}{4} $ 的观众会去新影院。现该影院在计划其座位数，要求座位数尽可能多，但“空座多于 200”的概率又不能超过 0.1，问该设多少座位？
解 将 1600 位可能去看电影的人编号 1,2, $ \cdots $,1600,记
$$ \begin{aligned}X_{i}=\{\begin{aligned}&1,& 若第 i 位观众去新影院 ;\\ &0,& 其他 .\end{aligned}.\quad&i=1,2,\cdots,1600.\end{aligned} $$
由题设， $ X_{i} \sim B\left(1, \frac{3}{4}\right) $，且假定各位观众是否去新影院相互独立，所以 $ X_{1}, X_{2}, \cdots, X_{1600} $ 相互独立，且（参见例 4.2.3）
$$ X_{1}+X_{2}+\cdots+X_{1600}\sim B~(1600,0.75), $$
现设座位数为 m，依题意应有
$$ P(X_{1}+X_{2}+\cdots+X_{1600}\leqslant m-200)\leqslant0.1. $$
由于要求 m 尽可能大，又要使上式成立，所以应取 m 使得
$$ P(X_{1}+X_{2}+\cdots+X_{1600}\leqslant m-200)=0.1. $$
由于 n 较大，我们用定理 5.2.2 的结论作近似计算.
依定理 5.2.2 作近似计算，则(5.2.3) 中的 $ np = 1600 \times \frac{3}{4} = 1200, \sqrt{np(1-p)} = 10\sqrt{3} $. 所以由定理 5.2.2 有
$$ \begin{aligned}{}&{{}P(X_{1}+X_{2}+\cdots+X_{1600}\leqslant m-200)}\\ {=}&{{}P\left(\frac{X_{1}+X_{2}+\cdots+X_{1600}-1200}{10\sqrt{3}}\leqslant\frac{m-200-1200}{10\sqrt{3}}\right)}\\ {\approx}&{{}\varPhi\left(\frac{m-200-1200}{10\sqrt{3}}\right).}\\ \end{aligned} $$
令 $ \Phi(x)=0.1 $，用 R 软件的 qnorm 函数得 qnorm(0.1)=-1.281552.
$$ \frac{m-200-1200}{10\sqrt{3}}=-1.281552, $$
即
$$ m=1377.803. $$
因此该电影院设1378个座位为好.
第五章小结与注记
(1) 最早的大数定律是伯努利大数定律 (参见推论 5.1.1, 发表于 1713 年), 它从理论上阐明了事件 A 发生的 “频率稳定于概率” 的含义. 而后的博雷尔强大数定律 (参见推论 5.1.2, 发表于 1909 年), 更清晰地解释了概率的统计定义的含义. 推而广之, 大数定律回答何时一个随机序列的算术平均值会在某种意义下收敛于某一确定实数列的算术平均值. 由于随机变量序列以概率 1 收敛必然依概
率收敛，所以若依概率收敛（参见(5.1.2)），则称为弱大数定律成立。若以概率1收敛（参见(5.1.3)），则称为强大数定律成立。
对于大数定律问题的回答，一般都只能给出使大数定律成立的充分条件，很难给出必要条件。另外，弱大数定律在建立了较为弱的不等式（参见引理5.1.1）之后，就可以得到相应的大数定律。但对强大数定律，要有更强的不等式估计（参见引理5.1.2）和较为复杂的证明才能得到。
需要强调指出的是，大数定律的结论是某事实成立的概率（或其极限）为0或1。在实际问题和理论分析时，我们都认为概率为0的事件，每次试验都近乎不会发生；而概率为1的事件，每次试验近乎必然发生。即大数定律回答的问题是何时随机事件在试验次数很大时近乎必然发生或不发生，这在理论和实际应用上都是十分有意义的。
(2) 中心极限定理回答的问题，首先是想把诸如伯努利大数定律所对应的伯努利试验的随机变量序列（即 0,1 随机序列）的部分和的情形，推广到一般的随机变量序列部分和的情形。为了避免出现部分和序列趋于无穷的情形，自然地，减去部分和的均值后再除它的标准差，得到标准化形式。正如一个正态随机变量减去其期望再除标准差后，为标准正态的随机变量，所以中心极限定理回答的问题是，随机变量序列的部分和标准化后何时以概率 1 收敛到我们熟悉的标准正态随机变量。
本章中仅给出使中心极限定理成立的充分条件，并且其证明需要引进诸如特征函数等数学工具，故也略去了。但需指出，经过前人不懈的努力，找到了中心极限定理成立的充要条件，该条件大致可以叙述为：若独立随机变量序列有有限的方差，各分量都很小且“均匀的小”。
中心极限定理的事实解释了为何正态分布的随机变量是极为常见的，因为无论满足条件的随机变量序列的每个分量服从何种分布，它们的部分和的标准化将收敛于标准正态分布.
历史上，大数定律和中心极限定理还用来做二项分布概率的近似计算（参见例5.2.2），这一点有了方便的计算机软件可用，意义就不是很大了。
(3) 无论大数定律还是中心极限定理，其中有一个关键的条件，那就是随机变量序列的独立性。从这点讲，大数定律和中心极限定理都属初等的概率论的范畴。
第五章习题
5.1. 假设 X 和 Y 为随机变量，且满足 $ E[X] = -2, E[Y] = 2, \mathrm{Var}[X] = 1, \mathrm{Var}[Y] = 9 $，X 与 Y 的相关系数 $ r(X, Y) = -0.5 $。试由切比雪夫不等式确定满足不等式： $ P(|X + Y| \geq $
- $ \leqslant c $ 的最小正数 c 之值.
5.2. 设 $ X_{1}, X_{2} $ 为随机变量且 $ E[X_{i}] = 0, \mathrm{Var}[X_{i}] = 1 (i = 1, 2) $. 证明：对任意的 $ \lambda \gt 0 $，有 $ P(X_{1}^{2} + X_{2}^{2} \geqslant 2\lambda) \leqslant \frac{1}{2} $.
5.3. 在一枚均匀正四面体的四个面上分别画上 1,2,3,4 个点. 现将该四面体重复投掷, $ X_{i}(i=1,2,\cdots) $ 为第 i 次投掷向下一面的点数, 试求当 $ n \to \infty $ 时, $ \frac{1}{n}\sum_{i=1}^{n}X_{i}^{2} $ 依概率收敛的极限.
5.4. 设 $ \{X_{n}\} $ 是独立的随机变量序列，且假设
$$ P(X_{n}=\sqrt{\ln n})=P(X_{n}=-\sqrt{\ln n})=0.5,\quad n=1,2,\cdots. $$
问 $ \{X_{n}\} $ 是否服从大数定律.
5.5. 设 $ \{X_{n}\} $ 是独立同分布的随机变量序列，且假设 $ E[X_{n}] = 2, \mathrm{Var}[X_{n}] = 6 $，证明： $ \frac{X_{1}^{2} + X_{2}X_{3} + X_{4}^{2} + X_{5}X_{6} + \cdots + X_{3n-2}^{2} + X_{3n-1}X_{3n}}{n} \xrightarrow{P} a, n \to \infty $，并确定常数 a 之值.
5.6. 设随机变量 $ X \sim B(100, 0.8) $，试用棣莫弗 - 拉普拉斯定理求 $ P(80 \leq X \lt 100) $ 的近似值.
5.7. 一仪器同时收到 50 个信号 $ X_{k}, k=1,2,\cdots,50 $. 设 $ X_{1},\cdots,X_{50} $ 相互独立，且都服从区间 $ [0,9] $ 上的均匀分布，试求 $ P\left(\sum_{}^{50}X_{k}\gt 250\right) $ 的近似值.
5.8. 一个复杂的系统由 n 个相互独立起作用的部件所组成，每个部件损坏的概率为 0.10。为了使整个系统正常运行，至少需要 80% 或 80% 以上的部件正常工作，问 n 至少为多大才能使整个系统正常工作的概率不小于 95%.
5.9. 某大卖场某种商品价格波动为随机变量，设第 k 天（较前一天）的价格变化为 $ X_{k}, k = 1, 2, \cdots, n $. $ X_{1}, \cdots, X_{n} $ 独立同分布，都服从 $ [-0.15, 0.15] $ 上的均匀分布，令 $ Y_{n} = Y_{0} + \sum_{i=1}^{n} X_{i} $ 表示第 n 天的价格，而现在价格 $ Y_{0} = 50 $，用中心极限定理估计概率 $ P(48 \leq Y_{60} \leq 52) $ 之值.
5.10. 设某汽车销售点每天出售的汽车数量服从参数为 $ \lambda = 2 $ 的泊松分布，若 200 天都经营汽车销售，且每天出售的汽车数是相互独立的，求 200 天售出 380 辆以上汽车的概率.
5.11. 假设某洗衣店为第 i 个顾客服务的时间 $ X_i $ 服从区间 $ [5, 53] $ (单位: 分钟) 上的均匀分布，且对每个顾客是相互独立的，试问当 $ n \to \infty $ 时，n 次服务时间的算术平均值 $ \frac{1}{n} \sum_{i=1}^{n} X_i $ 以概率 1 收敛于何值？