Q 是随机变量,它是 Y 的函数,其数学期望为
$$ \begin{align*}E(Q)&=\int_{0}^{\infty}Qf_{Y}(y)\mathrm{d}y\\&=\int_{0}^{x}[my-n(x-y)]\frac{1}{\theta}\mathrm{e}^{-y/\theta}\mathrm{d}y\\&\quad+\int_{x}^{\infty}mx\frac{1}{\theta}\mathrm{e}^{-y/\theta}\mathrm{d}y\\&=(m+n)\theta-(m+n)\theta\mathrm{e}^{-x/\theta}-nx.\end{align*} $$
令
$$ \frac{\mathrm{d}}{\mathrm{d}x}E(Q)=(m+n)\mathrm{e}^{-x/\theta}-n=0, $$
得
$$ x=-\theta\ln\frac{n}{m+n}. $$
而
$$ \frac{\mathrm{d}^{2}}{\mathrm{d}x^{2}}E(Q)=\frac{-\left(m+n\right)}{\theta}\mathrm{e}^{-x/\theta}<0, $$
故知当 $ x = -\theta \ln \frac{n}{m+n} $ 时 $ E(Q) $ 取极大值,且可知这也是最大值.
例如,若 $ f_{Y}(y)=\{\begin{aligned}&\frac{1}{10\ 000}e^{-\frac{y}{10\ 000}},&y>0,\\ &0,&y\leqslant0,\end{aligned}. $
且有 m=500 元,n=2000 元,则
$$ x=-10\ 000\ln\frac{2\ 000}{500+2\ 000}=2\ 231.4. $$
取x=2231件.
例11 某甲与其他三人参与一个项目的竞拍,价格以千美元计,价格高者获胜。若甲中标,他就将此项目以10千美元转让给他人。可认为其他三人的竞拍价是相互独立的,且都在7~11千美元之间均匀分布。问甲应如何报价才能使获益的数学期望为最大(若甲中标必须将此项目以他自己的报价买下)。
解 设 $ X_{1}, X_{2}, X_{3} $ 是其他三人的报价,按题意 $ X_{1}, X_{2}, X_{3} $ 相互独立,且在区间(7,11)上服从均匀分布。其分布函数为
$$ F(u)=\{\begin{aligned}&0,&u<7,\\ &\frac{u-7}{4},&7&\leqslant&u<&11,\\ &1,&u&\geqslant&11.\end{aligned}. $$
以 Y 记三人最大出价,即 $ Y = \max\{X_{1}, X_{2}, X_{3}\} $. Y 的分布函数为
原书第 108 页
$$ F_{Y}(u)=\{\begin{aligned}&0,&u<7,\\ &(\frac{u-7}{4})^{3},7\leqslant u<11,\\ &1,&u\geqslant11.\end{aligned}. $$
若甲的报价为 x,按题意 $ 7 \leqslant x \leqslant 10 $,知甲能赢得这一项目的概率为
$$ p=P\{Y\leqslant x\}=F_{Y}(x)=\left(\frac{x-7}{4}\right)^{3}\quad(7\leqslant x\leqslant10). $$
以 $ G(x) $ 记甲的赚钱数, $ G(x) $ 是一个随机变量,它的分布律为
于是甲赚钱数的数学期望为
$$ E[G(x)]=\left(\frac{x-7}{4}\right)^{3}(10-x). $$
令 $ \frac{\mathrm{d}}{\mathrm{d}x}E\left[G(x)\right]=\frac{1}{4^{3}}\left[(x-7)^{2}(37-4x)\right]=0 $
得 x=37/4, x=7(舍去).
又知 $ \frac{d^{2}}{dx^{2}}E[G(x)]\bigg|_{x=37/4}<0. $
故知当甲的报价为 x=37/4 千美元时,他赚钱数的数学期望达到极大值,还可知这也是最大值. ☐
现在来证明数学期望的几个重要性质 $ ^{①} $(以下设所遇到的随机变量的数学期望存在).
$ 1^{\circ} $ 设 C 是常数,则有 $ E(C)=C $
2° 设 X 是一个随机变量,C 是常数,则有
$$ E\left(C X\right)=C E\left(X\right). $$
$ 3^{\circ} $ 设 X, Y 是两个随机变量,则有
$$ E(X+Y)=E(X)+E(Y). $$
这一性质可以推广到任意有限个随机变量之和的情况.
$ 4^{\circ} $ 设 X, Y 是相互独立的随机变量,则有
$$ E(XY)=E(X)E(Y). $$
这一性质可以推广到任意有限个相互独立的随机变量之积的情况.
证 $ 1^{\circ} $、 $ 2^{\circ} $ 由读者自己证明. 我们来证 $ 3^{\circ} $ 和 $ 4^{\circ} $.
原书第 109 页
设二维随机变量(X,Y)的概率密度为 $ f(x,y) $. 其边缘概率密度为 $ f_{X}(x) $, $ f_{Y}(y) $. 由(1.5)式
$$ \begin{aligned}E(X+Y)&=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(x+y)f(x,y)\mathrm{d}x\mathrm{d}y\\&=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}x f(x,y)\mathrm{d}x\mathrm{d}y+\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}y f(x,y)\mathrm{d}x\mathrm{d}y\\&=E(X)+E(Y).\end{aligned} $$
3°得证.
又若 X 和 Y 相互独立,
$$ \begin{aligned}E(XY)&=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xyf(x,y)\mathrm{d}x\mathrm{d}y\\&=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xyf_{X}(x)f_{Y}(y)\mathrm{d}x\mathrm{d}y\\&=\left[\int_{-\infty}^{\infty}xf_{X}(x)\mathrm{d}x\right]\left[\int_{-\infty}^{\infty}yf_{Y}(y)\mathrm{d}y\right]=E(X)E(Y).\\ \end{aligned} $$
$ 4^{\circ} $得证.
例 12 一民航送客车载有 20 位旅客自机场开出,旅客有 10 个车站可以下车。如到达一个车站没有旅客下车就不停车。以 X 表示停车的次数,求 $ E(X) $ (设每位旅客在各个车站下车是等可能的,并设各位旅客是否下车相互独立)。
解 引入随机变量
$$ X_{i}=\{\begin{aligned}&0,&& 在第 i 站没有人下车 ,\\ &1,&& 在第 i 站有人下车 ,\end{aligned}._{i=1,2,\cdots,10}. $$
易知
$$ X=X_{1}+X_{2}+\cdots+X_{10}. $$
现在来求 $ E(X) $.
按题意,任一旅客在第 i 站不下车的概率为 $ \frac{9}{10} $,因此 20 位旅客都不在第 i 站下车的概率为 $ \left(\frac{9}{10}\right)^{20} $,在第 i 站有人下车的概率为 $ 1 - \left(\frac{9}{10}\right)^{20} $,也就是
$$ P\{X_{i}=0\}=\left(\frac{9}{10}\right)^{20},P\{X_{i}=1\}=1-\left(\frac{9}{10}\right)^{20},i=1,2,\cdots,10. $$
由此
$$ E(X_{i})=1-\left(\frac{9}{10}\right)^{20},i=1,2,\cdots,10. $$
进而
$$ \begin{aligned}E(X)&=E(X_{1}+X_{2}+\cdots+X_{10})\\&=E(X_{1})+E(X_{2})+\cdots+E(X_{10})\\&=10\left[1-\left(\frac{9}{10}\right)^{20}\right]=8.784( 次 ).\end{aligned} $$
本题是将 X 分解成数个随机变量之和,然后利用随机变量和的数学期望等
原书第 110 页
于随机变量数学期望之和来求数学期望的,这种处理方法具有一定的普遍意义.
例 13 设一电路中电流 $ I $(A)与电阻 $ R $( $ \Omega $)是两个相互独立的随机变量,其概率密度分别为
$$ g(i)=\{\begin{aligned}&2i,&&0\leqslant i\leqslant1,\\ &0,&& 其他 ,\end{aligned}.\quad h(r)=\{\begin{aligned}&\frac{r^{2}}{9},&&0\leqslant r\leqslant3,\\ &0,&& 其他 .\end{aligned}. $$
试求电压 V=IR 的均值.
解
$$ \begin{aligned}E(V)&=E(IR)=E(I)E(R)\\&=\left[\int_{-\infty}^{\infty}i g\left(i\right)\mathrm{d}i\right]\left[\int_{-\infty}^{\infty}r h\left(r\right)\mathrm{d}r\right]\\&=\left(\int_{0}^{1}2i^{2}\mathrm{d}i\right)\left(\int_{0}^{3}\frac{r^{3}}{9}\mathrm{d}r\right)=\frac{3}{2}(\mathrm{V}).\end{aligned} $$
§2 方 差
先从例子说起.例如,有一批灯泡,知其平均寿命是 $ E(X)=1000 $(小时).仅由这一指标我们还不能判定这批灯泡的质量好坏.事实上,有可能其中绝大部分灯泡的寿命都在950~1050小时;也有可能其中约有一半是高质量的,它们的寿命大约有1300小时,另一半却是质量很差的,其寿命大约只有700小时.为要评定这批灯泡质量的好坏,还需进一步考察灯泡寿命X与其均值 $ E(X)=1000 $的偏离程度.若偏离程度较小,表示质量比较稳定.从这个意义上来说,我们认为质量较好.前面也曾提到在检验棉花的质量时,既要注意纤维的平均长度,还要注意纤维长度与平均长度的偏离程度.由此可见,研究随机变量与其均值的偏离程度是十分必要的.那么,用怎样的量去度量这个偏离程度呢?容易看到
$$ E\{\mid X{-}E(X)\mid\} $$
能度量随机变量与其均值 E(X) 的偏离程度。但由于上式带有绝对值,运算不方便,为运算方便起见,通常用量
$$ E\{[X-E(X)]^{2}\} $$
来度量随机变量 X 与其均值 E(X) 的偏离程度.
定义 设 X 是一个随机变量,若 $ E\{[X-E(X)]^{2}\} $ 存在,则称 $ E\{[X-E(X)]^{2}\} $ 为 X 的方差,记为 $ D(X) $ 或 $ \mathrm{Var}(X) $,即
$$ D(X)=\operatorname{Var}(X)=E\{[X-E(X)]^{2}\}. $$
在应用上还引入量 $ \sqrt{D(X)} $,记为 $ \sigma(X) $,称为标准差或均方差.
原书第 111 页
按定义,随机变量 X 的方差表达了 X 的取值与其数学期望的偏离程度。若 $ D(X) $ 较小意味着 X 的取值比较集中在 $ E(X) $ 的附近,反之,若 $ D(X) $ 较大则表示 X 的取值较分散。因此, $ D(X) $ 是刻画 X 取值分散程度的一个量,它是衡量 X 取值分散程度的一个尺度。
由定义知,方差实际上就是随机变量X的函数 $ g(X)=(X-E(X))^{2} $的数学期望.于是对于离散型随机变量,按(1.3)式有
$$ D(X)=\sum_{k=1}^{\infty}\left[x_{k}-E(X)\right]^{2}p_{k}, $$
其中 $ P\{X=x_{k}\}=p_{k}, k=1,2,\cdots $ 是 X 的分布律.
对于连续型随机变量,按(1.4)式有
$$ D(X)=\int_{-\infty}^{\infty}\left[x-E(X)\right]^{2}f(x)dx, $$
其中 $ f(x) $ 是 X 的概率密度.
随机变量 X 的方差可按下列公式计算.
$$ D(X)=E(X^{2})-\left[E(X)\right]^{2}. $$
证 由数学期望的性质 $ 1^{\circ}, 2^{\circ}, 3^{\circ} $
$$ \begin{aligned}D(X)=&E\{\left[X-E(X)\right]^{2}\}=E\{X^{2}-2XE(X)+\left[E(X)\right]^{2}\}\\=&E(X^{2})-2E(X)E(X)+\left[E(X)\right]^{2}\\=&E(X^{2})-\left[E(X)\right]^{2}.\end{aligned} $$
例1 设随机变量 X 具有数学期望 $ E(X)=\mu $,方差 $ D(X)=\sigma^{2}\neq0 $。记
$$ X^{*}=\frac{X-\mu}{\sigma}, $$
则
$$ E(X^{*})=\frac{1}{\sigma}E(X-\mu)=\frac{1}{\sigma}\left[E(X)-\mu\right]=0; $$
$$ \begin{aligned}D(X^{*})=&E(X^{*^{2}})-[E(X^{*})]^{2}=E\bigg[\left(\frac{X-\mu}{\sigma}\right)^{2}\bigg]\\=&\frac{1}{\sigma^{2}}E[(X-\mu)^{2}]=\frac{\sigma^{2}}{\sigma^{2}}=1.\end{aligned} $$
即 $ X^{*}=\frac{X-\mu}{\sigma} $ 的数学期望为 0,方差为 1. $ X^{*} $ 称为 X 的标准化变量.
例2 设随机变量 X 具有 (0-1) 分布,其分布律为
$$ P\{X=0\}=1-p,\quad P\{X=1\}=p. $$
求 $ D(X) $.
解
$$ E(X)=0\cdot(1-p)+1\cdot p=p, $$
$$ E(X^{2})=0^{2}\cdot(1-p)+1^{2}\cdot p=p. $$
由(2.4)式
$$ D(X)=E(X^{2})-\left[E(X)\right]^{2}=p-p^{2}=p(1-p). $$
原书第 112 页
例3 设随机变量 $ X \sim \pi(\lambda) $,求 $ D(X) $.
解 随机变量 X 的分布律为
$$ P\{X=k\}=\frac{\lambda^{k}\mathrm{e}^{-\lambda}}{k!},\quad k=0,1,2,\cdots,\quad\lambda>0. $$
上节例6已算得 $ E(X)=\lambda $,而
$$ \begin{aligned}E(X^{2})&=E[X(X-1)+X]=E[X(X-1)]+E(X)\\&=\sum_{k=0}^{\infty}k(k-1)\frac{\lambda^{k}\mathrm{e}^{-\lambda}}{k!}+\lambda=\lambda^{2}\mathrm{e}^{-\lambda}\sum_{k=2}^{\infty}\frac{\lambda^{k-2}}{(k-2)!}+\lambda\\&=\lambda^{2}\mathrm{e}^{-\lambda}\mathrm{e}^{\lambda}+\lambda=\lambda^{2}+\lambda,\end{aligned} $$
所以方差
$$ D(X)=E(X^{2})-\left[E(X)\right]^{2}=\lambda. $$
由此可知,泊松分布的数学期望与方差相等,都等于参数 $ \lambda $。因为泊松分布只含一个参数 $ \lambda $,只要知道它的数学期望或方差就能完全确定它的分布了。
例4 设随机变量 $ X \sim U(a, b) $,求 $ D(X) $.
解 X 的概率密度为
$$ f(x)=\{\begin{aligned}&\frac{1}{b-a},&a<&x
上节例7已算得 $ E(X)=\frac{a+b}{2} $. 方差为
$$ \begin{aligned}D(X)&=E(X^{2})-\left[E(X)\right]^{2}\\&=\int_{a}^{b}x^{2}\frac{1}{b-a}\mathrm{d}x-\left(\frac{a+b}{2}\right)^{2}=\frac{(b-a)^{2}}{12}.\end{aligned} $$
例 5 设随机变量 X 服从指数分布,其概率密度为
$$ f(x)=\{\begin{aligned}&\frac{1}{\theta}\mathrm{e}^{-x/\theta},&x&>0,\\ &0,&x&\leqslant0.\end{aligned}. $$
其中 $ \theta>0 $,求 $ E(X) $, $ D(X) $.
解
$$ \begin{aligned}E(X)=&\int_{-\infty}^{\infty}x f(x)\mathrm{d}x=\int_{0}^{\infty}x\frac{1}{\theta}\mathrm{e}^{-x/\theta}\mathrm{d}x\\=&-x\mathrm{e}^{-x/\theta}\bigg|_{0}^{\infty}+\int_{0}^{\infty}\mathrm{e}^{-x/\theta}\mathrm{d}x=\theta,\end{aligned} $$
$$ \begin{aligned}E(X^{2})=&\int_{-\infty}^{\infty}x^{2}f(x)\mathrm{d}x=\int_{0}^{\infty}x^{2}\frac{1}{\theta}\mathrm{e}^{-x/\theta}\mathrm{d}x\\=&-x^{2}\mathrm{e}^{-x/\theta}\bigg|_{0}^{\infty}+\int_{0}^{\infty}2x\mathrm{e}^{-x/\theta}\mathrm{d}x=2\theta^{2},\end{aligned} $$
于是
$$ D(X)=E(X^{2})-\left[E(X)\right]^{2}=2\theta^{2}-\theta^{2}=\theta^{2}. $$
原书第 113 页
即有
$$ E(X)=\theta,\quad D(X)=\theta^{2}. $$
现在来证明方差的几个重要性质(以下设所遇到的随机变量其方差存在).
1° 设 C 是常数,则 $ D(C)=0 $.
2° 设 X 是随机变量,C 是常数,则有
$$ D(C X)=C^{2}D(X),\qquad D(X+C)=D(X). $$
$ 3^{\circ} $ 设 X, Y 是两个随机变量,则有
$$ D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}. $$
特别,若 X, Y 相互独立,则有
$$ D(X+Y)=D(X)+D(Y). $$
这一性质可以推广到任意有限多个相互独立的随机变量之和的情况.
$ 4^{\circ} $ $ D(X)=0 $ 的充要条件是 X 以概率 1 取常数 $ E(X) $,即
$$ P\{X=E(X)\}=1. $$
$$ 证 \quad1^{\circ}\quad D(C)=E\{[C-E(C)]^{2}\}=0. $$
$$ 2^{\circ}\quad D(C X)=E\{[C X-E(C X)]^{2}\}=C^{2}E\{[X-E(X)]^{2}\}=C^{2}D(X). $$
$$ D(X+C)=E\{[X+C-E(X+C)]^{2}\}=E\{[X-E(X)]^{2}\}=D(X). $$
$$ \begin{aligned}3^{\circ}\quad D(X+Y)=&E\{\left[(X+Y)-E(X+Y)\right]^{2}\}\\=&E\{\left[(X-E(X))+(Y-E(Y))\right]^{2}\}\\=&E\{(X-E(X))^{2}\}+E\{(Y-E(Y))^{2}\}\\&+2E\{\left[(X-E(X)][Y-E(Y)]\right\}\\=&D(X)+D(Y)+2E\{\left[X-E(X)\right][Y-E(Y)]\}.\end{aligned} $$
上式右端第三项:
$$ \begin{aligned}&2E\{[(X-E(X)][Y-E(Y)]\}\\ &=2E\{XY-XE(Y)-YE(X)+E(X)E(Y)\}\\ &=2\{E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)\}\\ &=2\{E(XY)-E(X)E(Y)\}.\\ \end{aligned} $$
若 X, Y 相互独立,由数学期望的性质 $ 4^{\circ} $ 知道上式右端为 0,于是
$$ D(X+Y)=D(X)+D(Y). $$
4° 充分性. 设 $ P\{X=E(X)\}=1 $,则有 $ P\{X^{2}=\left[E(X)\right]^{2}\}=1 $,于是
$$ D(X)=E(X^{2})-\left[E(X)\right]^{2}=0. $$
必要性的证明写在切比雪夫不等式证明的后面.
例6 设随机变量 $ X \sim b(n, p) $,求 $ E(X) $, $ D(X) $.
解 由二项分布的定义知,随机变量 X 是 n 重伯努利试验中事件 A 发生的次数,且在每次试验中 A 发生的概率为 p。引入随机变量
$$ X_{k}=\{\begin{aligned}&1,&&A 在第 k 次试验发生 ,\\ &0,&&A 在第 k 次试验不发生 ,\end{aligned}.k=1,2,\cdots,n. $$
原书第 114 页
易知
$$ X=X_{1}+X_{2}+\cdots+X_{n}, $$
由于 $ X_{k} $ 只依赖于第 k 次试验,而各次试验相互独立,于是 $ X_{1}, X_{2}, \cdots, X_{n} $ 相互独立,又知 $ X_{k}, k=1,2, \cdots, n $ 服从同一(0-1)分布
$$ \begin{array}{c|c c}{X_{k}}&{0}&{1}\\ \hline{p_{k}}&{1-p}&{p}\\ \end{array} $$
(2.7)式表明以n,p为参数的二项分布变量,可分解成为n个相互独立且都服从p为参数的(0-1)分布的随机变量之和.
由例2知 $ E(X_{k})=p,D(X_{k})=p(1-p),k=1,2,\cdots,n $.故知
$$ E(X)=E\left(\sum_{k=1}^{n}X_{k}\right)=\sum_{k=1}^{n}E(X_{k})=np. $$
又由于 $ X_{1}, X_{2}, \cdots, X_{n} $ 相互独立,得
$$ D(X)=D\left(\sum_{k=1}^{n}X_{k}\right)=\sum_{k=1}^{n}D(X_{k})=np(1-p). $$
即
$$ E(X)=np,\quad D(X)=np(1-p). $$
例7 设随机变量 $ X \sim N(\mu, \sigma^{2}) $,求 $ E(X) $, $ D(X) $.
解 先求标准正态变量
$$ Z=\frac{X-\mu}{\sigma} $$
的数学期望和方差. Z 的概率密度为
$$ \varphi(t)=\frac{1}{\sqrt{2\pi}}\mathrm{e}^{-t^{2}/2}, $$
于是 $ E(Z)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}te^{-t^{2}/2}dt=\frac{-1}{\sqrt{2\pi}}e^{-t^{2}/2}\bigg|_{-\infty}^{\infty}=0, $
$$ \begin{aligned}D(Z)&=E(Z^{2})=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}t^{2}\mathrm{e}^{-t^{2}/2}\mathrm{d}t\\&=\frac{-1}{\sqrt{2\pi}}t\mathrm{e}^{-t^{2}/2}\bigg|_{-\infty}^{\infty}+\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\mathrm{e}^{-t^{2}/2}\mathrm{d}t=1.\end{aligned} $$
因 $ X=\mu+\sigma Z $,即得
$$ \begin{array}{l}E(X)=E(\mu+\sigma Z)=\mu,\\ D(X)=D(\mu+\sigma Z)=D(\sigma Z)=\sigma^{2}D(Z)=\sigma^{2}.\end{array} $$
这就是说,正态分布的概率密度中的两个参数 $ \mu $ 和 $ \sigma $ 分别就是该分布的数学期望和均方差,因而正态分布完全可由它的数学期望和方差所确定.
再者,由上一章§5中例1知道,若 $ X_{i}\sim N(\mu_{i},\sigma_{i}^{2}),i=1,2,\cdots,n $,且它们相互独立,则它们的线性组合: $ C_{1}X_{1}+C_{2}X_{2}+\cdots+C_{n}X_{n} $( $ C_{1},C_{2},\cdots,C_{n} $是不全为0的常数)仍然服从正态分布,于是由数学期望和方差的性质知道
原书第 115 页
$$ C_{1}X_{1}+C_{2}X_{2}+\cdots+C_{n}X_{n}\sim N\left(\sum_{i=1}^{n}C_{i}\mu_{i},\sum_{i=1}^{n}C_{i}^{2}\sigma_{i}^{2}\right) $$
这一重要结果.
例如,若 $ X \sim N(1,3) $, $ Y \sim N(2,4) $ 且 X, Y 相互独立,则 Z = 2X - 3Y 也服从正态分布,而 $ E(Z) = 2 \times 1 - 3 \times 2 = -4 $, $ D(Z) = D(2X - 3Y) = 4D(X) + 9D(Y) = 48 $。故有 $ Z \sim N(-4, 48) $。
例8 设活塞的直径(以 cm 计) $ X \sim N(22.40, 0.03^{2}) $,气缸的直径 $ Y \sim N(22.50, 0.04^{2}) $,X,Y 相互独立。任取一只活塞,任取一只气缸,求活塞能装入气缸的概率。
解 按题意需求 $ P\{X
$$ X-Y\sim N(-0.10,0.0025), $$
$$ \begin{aligned}P\{X
下面介绍一个重要的不等式.
定理 设随机变量 X 具有数学期望 $ E(X)=\mu $,方差 $ D(X)=\sigma^{2} $,则对于任意正数 $ \varepsilon $,不等式
$$ P\{\mid X-\mu\mid\geqslant\varepsilon\}\leqslant\frac{\sigma^{2}}{\varepsilon^{2}} $$
成立.
这一不等式称为切比雪夫(Chebyshev)不等式.
证 我们只就连续型随机变量的情况来证明. 设 X 的概率密度为 $ f(x) $,则有(如图 4-2)
$$ \begin{aligned}P\{\mid X-\mu\mid\geqslant\varepsilon\}=&\int_{\mid x-\mu\mid\geqslant\varepsilon}f(x)\mathrm{d}x\leqslant\int_{\mid x-\mu\mid\geqslant\varepsilon}\frac{\mid x-\mu\mid^{2}}{\varepsilon^{2}}f(x)\mathrm{d}x\\ \leqslant&\frac{1}{\varepsilon^{2}}\int_{-\infty}^{\infty}(x-\mu)^{2}f(x)\mathrm{d}x=\frac{\sigma^{2}}{\varepsilon^{2}}.\end{aligned} $$
切比雪夫不等式也可以写成如下的形式:
$$ P\{\mid X-\mu\mid<\varepsilon\}\geqslant1-\frac{\sigma^{2}}{\varepsilon^{2}}. $$
切比雪夫不等式给出了在随机变量的分布未知,而只知道 $ E(X) $和 $ D(X) $的情况下估计概率 $ P\{|X-E(X)|<\varepsilon\} $的界限.例
图4-2
原书第 116 页
如在(2.9)式中分别取 $ \varepsilon=3\sqrt{D(X)} $, $ 4\sqrt{D(X)} $ 得到
$$ P\{|X-E(X)|<3\sqrt{D(X)}\}\geqslant0,8889 $$
$$ P\{|X-E(X)|<4\sqrt{D(X)}\geqslant0,937\ 5. $$
这个估计是比较粗糙的 $ ^{①} $,如果已经知道随机变量的分布时,那么所需求的概率可以确切地计算出来,也就没有必要利用这一不等式来作估计了。
方差性质 $ 4^{\circ} $ 必要性的证明:
设 $ D(X)=0 $,要证 $ P\{X=E(X)\}=1 $.
证 用反证法 假设 $ P\{X=E(X)\}<1 $,则对于某一个数 $ \varepsilon>0 $,有 $ P\{|X-E(X)|\geq\varepsilon\}>0 $,但由切比雪夫不等式,对于任意 $ \varepsilon>0 $,由(2.9)式因 $ \sigma^{2}=0 $,有
$$ P\{\mid X-E(X)\mid\geqslant\varepsilon\}=0, $$
矛盾,于是 $ P\{X=E(X)\}=1 $
在书末附表1中列出了多种常用的随机变量的数学期望和方差,供读者查用.
§3 协方差及相关系数
对于二维随机变量 $ (X,Y) $,我们除了讨论X与Y的数学期望和方差以外,还需讨论描述X与Y之间相互关系的数字特征。本节讨论有关这方面的数字特征。
在本章§2方差性质 $ 3^{\circ} $的证明中,我们已经看到,如果两个随机变量X和Y是相互独立的,则
$$ E\{[X-E(X)][Y-E(Y)]\}=0. $$
这意味着当 $ E\{[X-E(X)][Y-E(Y)]\}\neq0 $ 时,X 与 Y 不相互独立,而是存在着一定的关系的.
定义 $ \underline{\text{量E\{X-E(X)\}[Y-E(Y)\}}} $ 称为随机变量X与Y的协方差.记为 $ \text{Cov}(X,Y) $,即
$$ \mathrm{Cov}(X,Y)=E\{[X-E(X)][Y-E(Y)]\}. $$
而
$$ \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} $$
称为随机变量 X 与 Y 的相关系数.
由定义,即知
原书第 117 页
$$ \operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X),\quad\operatorname{Cov}(X,X)=D(X). $$
由上述定义及(2.5)式知道,对于任意两个随机变量X和Y,下列等式成立:
$$ D(X+Y)=D(X)+D(Y)+2\mathrm{Cov}(X,Y). $$
将 $ \mathrm{Cov}(X,Y) $ 的定义式展开,易得
$$ \operatorname{C o v}(X,Y)=E(X Y)-E(X)E(Y). $$
我们常常利用这一式子计算协方差.
协方差具有下述性质:
$$ \begin{aligned}&1^{\circ}Cov(aX,bY)=ab Cov(X,Y),a,b 是常数 .\\ &2^{\circ}Cov(X_{1}+X_{2},Y)=Cov(X_{1},Y)+Cov(X_{2},Y).\\ \end{aligned} $$
(证明由读者自己来完成。)
下面我们来推导 $ \rho_{XY} $ 的两条重要性质,并说明 $ \rho_{XY} $ 的含义.
考虑以 X 的线性函数 $ a + bx $ 来近似表示 Y. 我们以均方误差
$$ \begin{aligned}e=&E\big[(Y-(a+bX))^{2}\big]\\=&E(Y^{2})+b^{2}E(X^{2})+a^{2}-2bE(XY)+2abE(X)-2aE(Y)\end{aligned} $$
来衡量以 $ a+bX $ 近似表达 Y 的好坏程度. e 的值越小表示 $ a+bX $ 与 Y 的近似程度越好. 这样, 我们就取 a, b 使 e 取到最小. 下面就来求最佳近似式 $ a+bX $ 中的 a, b. 为此, 将 e 分别关于 a, b 求偏导数, 并令它们等于零, 得
$$ \{\begin{aligned}\frac{\partial e}{\partial a}&=2a+2bE(X)-2E(Y)=0,\\ \frac{\partial e}{\partial b}&=2bE(X^{2})-2E(XY)+2aE(X)=0.\end{aligned}. $$
解得
$$ b_{0}=\frac{\operatorname{Cov}(X,Y)}{D(X)}, $$
$$ a_{0}=E(Y)-b_{0}E(X)=E(Y)-E(X)\frac{\mathrm{Cov}(X,Y)}{D(X)}. $$
将 $ a_{0},b_{0} $代入(3.3)式得
$$ \begin{aligned}\min_{a,b}E\{[Y-(a+bX)]^{2}\}&=E\{[Y-(a_{0}+b_{0}X)]^{2}\}\\&=(1-\rho_{XY}^{2})D(Y)\textcircled{1}.\end{aligned} $$
$$ \begin{aligned} \textcircled{1} \quad E[(Y-(a_{0}+b_{0}X))^{2}]&=D[Y-a_{0}-b_{0}X]+[E(Y-a_{0}-b_{0}X)]^{2}\\&=D(Y-b_{0}X)-\left[\left.\frac{1}{2}\frac{\partial e}{\partial a}\right|_{a=a_{0}\atop b=b_{0}}\right]^{2}=D(Y-b_{0}X)+0\\&=D(Y)+b_{0}^{2}D(X)-2b_{0}\mathrm{Cov}(X,Y)=D(Y)+\frac{\mathrm{Cov}^{2}(X,Y)}{D(X)}-2\ \frac{\mathrm{Cov}^{2}(X,Y)}{D(X)}\\&=D(Y)\big[1-\frac{\mathrm{Cov}^{2}(X,Y)}{D(X)D(Y)}\big]=(1-\rho_{XY}^{2})D(Y).\end{aligned} $$
原书第 118 页
由(3.4)式容易得到下述定理:
定理 $ 1^{\circ}\left|\rho_{XY}\right|\leqslant1 $
$ 2^{\circ}\left|\rho_{XY}\right|=1 $ 的充要条件是,存在常数 a, b 使 $ \dot{P}\{Y=a+bX\}=1 $
证 $ 1^{\circ} $ 由(3.4)式与 $ E\{[Y-(a_{0}+b_{0}X)]^{2}\} $ 及 $ D(Y) $ 的非负性,得知 $ 1-\rho_{XY}^{2}\geqslant0 $,亦即 $ \left|\rho_{XY}\right|\leqslant1 $.
2° 若 $ \left|\rho_{XY}\right|=1 $ 由(3.4)式得
$$ E\{[Y-(a_{0}+b_{0}X)]^{2}\}=0. $$
$$ 0=E\{\left\lceil Y-(a_{0}+b_{0}X)\right\rceil^{2}\}=D\left[Y-(a_{0}+b_{0}X)\right]+\left[E(Y-(a_{0}+b_{0}X))\right]^{2}, $$
$$ D[Y-(a_{0}+b_{0}X)]=0, $$
故有
$$ E[Y-(a_{0}+b_{0}X)]=0. $$
又由方差的性质 $ 4^{\circ} $知
$$ P\{Y-(a_{0}+b_{0}X)=0\}=1, 即 P\{Y=a_{0}+b_{0}X\}=1. $$
反之,若存在常数 $ a^{*} $, $ b^{*} $ 使
$$ P\{Y=a^{*}+b^{*}X\}=1, 即 P\{Y-(a^{*}+b^{*}X)=0\}=1, $$
于是
$$ P\{[Y-(a^{*}+b^{*}X)]^{2}=0\}=1. $$
即得
$$ E\{[Y-(a^{*}+b^{*}X)]^{2}\}=0. $$
故有 $ 0 = E\{[Y - (a^{*} + b^{*}X)]^{2}]\} \geqslant \min_{a,b} E\{[Y - (a + bX)]^{2}\} $
$$ E\{[Y-(a_{0}+b_{0}X)]^{2}\}=(1-\rho_{XY}^{2})D(Y). $$
即得
$$ |\rho_{XY}|=1. $$
由(3.4)知,均方误差 e 是 $ \left|\rho_{XY}\right| $ 的严格单调减少函数,这样 $ \rho_{XY} $ 的含义就很明显了。当 $ \left|\rho_{XY}\right| $ 较大时 e 较小,表明 X, Y (就线性关系来说) 联系较紧密。特别当 $ \left|\rho_{XY}\right|=1 $ 时,由定理中的 $ 2^{\circ} $,X, Y 之间以概率 1 存在着线性关系。于是 $ \rho_{XY} $ 是一个可以用来表征 X, Y 之间线性关系紧密程度的量。当 $ \left|\rho_{XY}\right| $ 较大时,我们通常说 X, Y 线性相关的程度较好;当 $ \left|\rho_{XY}\right| $ 较小时,我们说,X, Y 线性相关的程度较差。
当 $ \rho_{XY}=0 $时,称X和Y不相关.
假设随机变量 X,Y 的相关系数 $ \rho_{XY} $ 存在. 当 X 和 Y 相互独立时, 由数学期望的性质 $ 4^{\circ} $ 及 (3.2) 式知 $ \mathrm{Cov}(X,Y)=0 $, 从而 $ \rho_{XY}=0 $, 即 X,Y 不相关. 反之, 若 X,Y 不相关, X 和 Y 却不一定相互独立 (见例 1). 上述情况, 从 “不相关” 和 “相互独立” 的含义来看是明显的. 这是因为不相关只是就线性关系来说的, 而相互独立是就一般关系而言的.
不过,从例2可以看到,当 $ (X,Y) $服从二维正态分布时,X和Y不相关与X和Y相互独立是等价的.
例1 设(X,Y)的分布律为
原书第 119 页
易知 $ E(X)=0, E(Y)=5/2, E(XY)=0 $,于是 $ \rho_{XY}=0, X, Y $ 不相关。这表示 X, Y 不存在线性关系。但, $ P\{X=-2, Y=1\}=0 \neq P\{X=-2\} P\{Y=1\} $,知 X, Y 不是相互独立的。事实上,X 和 Y 具有关系: $ Y=X^{2} $,Y 的值完全可由 X 的值所确定。
例2 设 $ (X,Y) $服从二维正态分布,它的概率密度为
$$ \begin{array}{l}f(x,y)=\frac{1}{2\pi\sigma_{1}\sigma_{2}\sqrt{1-\rho^{2}}}\exp\{\frac{-1}{2(1-\rho^{2})}[\frac{(x-\mu_{1})^{2}}{\sigma_{1}^{2}}..\\ ..-2\rho\frac{(x-\mu_{1})(y-\mu_{2})}{\sigma_{1}\sigma_{2}}+\frac{(y-\mu_{2})^{2}}{\sigma_{2}^{2}}]\},\\ \end{array} $$
我们来求 X 和 Y 的相关系数.
在第三章 §2 例 3 中已经知道 $ (X,Y) $ 的边缘概率密度为
$$ f_{X}(x)=\frac{1}{\sqrt{2\pi}\sigma_{1}}\mathrm{e}^{-\frac{(x-\mu_{1})^{2}}{2\sigma_{1}^{2}}},-\infty
$$ f_{Y}(y)=\frac{1}{\sqrt{2\pi}\sigma_{2}}\mathrm{e}^{-\frac{(y-\mu_{2})^{2}}{2\sigma_{2}^{2}}},-\infty
故知 $ E(X)=\mu_{1}, E(Y)=\mu_{2}, D(X)=\sigma_{1}^{2}, D(Y)=\sigma_{2}^{2} $. 而
$$ \begin{align*}\mathrm{Cov}(X,Y)&=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(x-\mu_{1})(y-\mu_{2})f(x,y)\mathrm{d}x\mathrm{d}y\\&=\frac{1}{2\pi\sigma_{1}\sigma_{2}\sqrt{1-\rho^{2}}}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(x-\mu_{1})(y-\mu_{2})\\&\quad\times\exp\left[\frac{-1}{2(1-\rho^{2})}\left(\frac{y-\mu_{2}}{\sigma_{2}}-\rho\frac{x-\mu_{1}}{\sigma_{1}}\right)^{2}-\frac{(x-\mu_{1})^{2}}{2\sigma_{1}^{2}}\right]\mathrm{d}y\mathrm{d}x.\end{align*} $$
令 $ t=\frac{1}{\sqrt{1-\rho^{2}}}\left(\frac{y-\mu_{2}}{\sigma_{2}}-\rho\frac{x-\mu_{1}}{\sigma_{1}}\right) $, $ u=\frac{x-\mu_{1}}{\sigma_{1}} $,则有
$$ \begin{align*}\mathrm{Cov}(X,Y)&=\frac{1}{2\pi}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(\sigma_{1}\sigma_{2}\sqrt{1-\rho^{2}}tu+\rho\sigma_{1}\sigma_{2}u^{2})\mathrm{e}^{-(u^{2}+t^{2})/2}\mathrm{d}t\mathrm{d}u\\&=\frac{\rho\sigma_{1}\sigma_{2}}{2\pi}\Big(\int_{-\infty}^{\infty}u^{2}\mathrm{e}^{-\frac{u^{2}}{2}}\mathrm{d}u\Big)\Big(\int_{-\infty}^{\infty}\mathrm{e}^{-\frac{t^{2}}{2}}\mathrm{d}t\Big)\\&\quad+\frac{\sigma_{1}\sigma_{2}\sqrt{1-\rho^{2}}}{2\pi}\Big(\int_{-\infty}^{\infty}u\mathrm{e}^{-\frac{u^{2}}{2}}\mathrm{d}u\Big)\Big(\int_{-\infty}^{\infty}t\mathrm{e}^{-\frac{t^{2}}{2}}\mathrm{d}t\Big)\end{align*} $$
原书第 120 页
$$ =\frac{\rho\sigma_{1}\sigma_{2}}{2\pi}\sqrt{2\pi}\cdot\sqrt{2\pi}, $$
即有
$$ \mathrm{Cov}(X,Y)=\rho\sigma_{1}\sigma_{2}. $$
$$ \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\rho. $$
于是
这就是说,二维正态随机变量 $ (X,Y) $的概率密度中的参数 $ \rho $就是X和Y的相关系数,因而二维正态随机变量的分布完全可由X,Y各自的数学期望、方差以及它们的相关系数所确定.
在第三章§4中已经讲过,若 $ (X,Y) $服从二维正态分布,那么X和Y相互独立的充要条件为 $ \rho=0 $。现在知道 $ \rho=\rho_{XY} $,故知对于二维正态随机变量 $ (X,Y) $来说,X和Y不相关与X和Y相互独立是等价的。
§4 矩、协方差矩阵
本节先介绍随机变量的另外几个数字特征. 设 $ (X,Y) $是二维随机变量.
定义 设 X 和 Y 是随机变量,若
$$ E(X^{k}),\quad k=1,2,\cdots $$
存在,称它为 X 的 k 阶原点矩,简称 k 阶矩.
若
$$ E\{[X-E(X)]^{k}\},k=2,3,\cdots $$
存在,称它为 X 的 k 阶中心矩.
若
$$ E(X^{k}Y^{l}),\quad k,l=1,2,\cdots $$
存在,称它为 X 和 Y 的 $ k+l $ 阶混合矩.
若
$$ E\{[X-E(X)]^{k}[Y-E(Y)]^{l}\},\quad k,l=1,2,\cdots $$
存在,称它为 X 和 Y 的 $ k+l $ 阶混合中心矩.
显然,X 的数学期望 $ E(X) $ 是 X 的一阶原点矩,方差 $ D(X) $ 是 X 的二阶中心矩,协方差 $ \mathrm{Cov}(X,Y) $ 是 X 和 Y 的二阶混合中心矩.
下面介绍 n 维随机变量的协方差矩阵. 先从二维随机变量讲起.
二维随机变量 $ (X_{1},X_{2}) $有四个二阶中心矩(设它们都存在),分别记为
$$ \begin{aligned}&c_{11}=E\{[\left[X_{1}-E(X_{1})\right]^{2}]\},\\&c_{12}=E\{[\left[X_{1}-E(X_{1})\right][X_{2}-E(X_{2})]\},\\&c_{21}=E\{[\left[X_{2}-E(X_{2})\right][X_{1}-E(X_{1})]\},\\&c_{22}=E\{[\left[X_{2}-E(X_{2})\right]^{2}].\\ \end{aligned} $$
将它们排成矩阵的形式
$$ \begin{pmatrix}c_{11}&c_{12}\\*&&\\c_{21}&c_{22}\end{pmatrix}. $$
原书第 121 页
这个矩阵称为随机变量 $ (X_{1}, X_{2}) $的协方差矩阵.
设 n 维随机变量 $ (X_{1}, X_{2}, \cdots, X_{n}) $ 的二阶混合中心矩
$$ c_{ij}=\mathrm{Cov}(X_{i},X_{j})=E\{[X_{i}-E(X_{i})][X_{j}-E(X_{j})]\},i,j=1,2,\cdots,n $$
都存在,则称矩阵
$$ \mathbf{C}=\left(\begin{matrix}{c_{11}}&{c_{12}}&{\cdots}&{c_{1n}}\\ {c_{21}}&{c_{22}}&{\cdots}&{c_{2n}}\\ {\vdots}&{\vdots}&{}&{\vdots}\\ {c_{n1}}&{c_{n2}}&{\cdots}&{c_{m}}\\ \end{matrix}\right) $$
为 n 维随机变量 $ (X_{1}, X_{2}, \cdots, X_{n}) $ 的协方差矩阵. 由于 $ c_{ij} = c_{ji} $ ( $ i \neq j; i, j = 1, 2, \cdots, n $), 因而上述矩阵是一个对称矩阵.
一般,n维随机变量的分布是不知道的,或者是太复杂,以致在数学上不易处理,因此在实际应用中协方差矩阵就显得重要了.
本节的最后,介绍 n 维正态随机变量的概率密度。我们先将二维正态随机变量的概率密度改写成另一种形式,以便将它推广到 n 维随机变量的场合中去。二维正态随机变量 $ (X_{1}, X_{2}) $ 的概率密度为
$$ f(x_{1},x_{2})=\frac{1}{2\pi\sigma_{1}\sigma_{2}\sqrt{1-\rho^{2}}}\exp\{\frac{-1}{2(1-\rho^{2})}[\frac{(x_{1}-\mu_{1})^{2}}{\sigma_{1}^{2}}....+2\rho\frac{(x_{1}-\mu_{1})(x_{2}-\mu_{2})}{\sigma_{1}\sigma_{2}}+\frac{(x_{2}-\mu_{2})^{2}}{\sigma_{2}^{2}}]\}. $$
现在将上式中花括号内的式子写成矩阵形式,为此引入下面的列矩阵
$$ \mathbf{X}=\binom{x_{1}}{x_{2}},\quad\boldsymbol{\mu}=\binom{\mu_{1}}{\mu_{2}}. $$
$ (X_{1},X_{2}) $ 的协方差矩阵为
$$ C=\left(\begin{array}{c c}{c_{11}}&{c_{12}}\\ {c_{21}}&{c_{22}}\\ \end{array}\right)=\left(\begin{array}{c c}{\sigma_{1}^{2}}&{\rho\sigma_{1}\sigma_{2}}\\ {\rho\sigma_{1}\sigma_{2}}&{\sigma_{2}^{2}}\\ \end{array}\right), $$
它的行列式 $ \det C = \sigma_{1}^{2} \sigma_{2}^{2} (1 - \rho^{2}) $,C 的逆矩阵为
$$ C^{-1}=\frac{1}{\det\mathbf{C}}\left(\begin{array}{cc}\sigma_{2}^{2}&-\rho\sigma_{1}\sigma_{2}\\ -\rho\sigma_{1}\sigma_{2}&\sigma_{1}^{2}\end{array}\right). $$
经过计算可知(这里矩阵 $ (\boldsymbol{X}-\boldsymbol{\mu})^{\mathrm{T}} $ 是 $ (\boldsymbol{X}-\boldsymbol{\mu}) $ 的转置矩阵)
$$ \begin{align*}&(\boldsymbol{X}-\boldsymbol{\mu})^{\mathrm{T}}\boldsymbol{C}^{-1}(\boldsymbol{X}-\boldsymbol{\mu})\\&=\frac{1}{\det\boldsymbol{C}}(x_{1}-\mu_{1}\quad x_{2}-\mu_{2})\begin{pmatrix}\sigma_{2}^{2}&-\rho\sigma_{1}\sigma_{2}\\-\rho\sigma_{1}\sigma_{2}&\sigma_{1}^{2}\end{pmatrix}\begin{pmatrix}x_{1}-\mu_{1}\\x_{2}-\mu_{2}\end{pmatrix}\\&=\frac{1}{1-\rho^{2}}\Big[\frac{(x_{1}-\mu_{1})^{2}}{\sigma_{1}^{2}}-2\rho\frac{(x_{1}-\mu_{1})(x_{2}-\mu_{2})}{\sigma_{1}\sigma_{2}}+\frac{(x_{2}-\mu_{2})^{2}}{\sigma_{2}^{2}}\Big].\end{align*} $$
于是 $ (X_{1},X_{2}) $的概率密度可写成
原书第 122 页
$$ f(x_{1},x_{2})=\frac{1}{(2\pi)^{2/2}(\det\mathbf{C})^{1/2}}\exp\{-\frac{1}{2}(\mathbf{X}-\boldsymbol{\mu})^{\mathrm{T}}\mathbf{C}^{-1}(\mathbf{X}-\boldsymbol{\mu})\}. $$
上式容易推广到 n 维正态随机变量 $ (X_{1}, X_{2}, \cdots, X_{n}) $ 的情况.
引入列矩阵
$$ \mathbf{X}=\begin{pmatrix}x_{1}\\ x_{2}\\ \vdots\\ x_{n}\end{pmatrix} 和 \quad\boldsymbol{\mu}=\begin{pmatrix}\mu_{1}\\ \mu_{2}\\ \vdots\\ \mu_{n}\end{pmatrix}=\begin{pmatrix}E(X_{1})\\ E(X_{2})\\ \vdots\\ E(X_{n})\end{pmatrix}. $$
n 维正态随机变量 $ (X_{1}, X_{2}, \cdots, X_{n}) $ 的概率密度定义为
$$ \begin{array}{l}f(x_{1},x_{2},\cdots,x_{n})\\=\frac{1}{(2\pi)^{n/2}(\det\mathbf{C})^{1/2}}\exp\{-\frac{1}{2}(\mathbf{X}-\boldsymbol{\mu})^{\mathrm{T}}\mathbf{C}^{-1}(\mathbf{X}-\boldsymbol{\mu})\},\end{array} $$
其中 C 是 $ (X_{1}, X_{2}, \cdots, X_{n}) $ 的协方差矩阵.
n 维正态随机变量具有以下四条重要性质(证略):
$ 1^{\circ} $ n 维正态随机变量 $ (X_{1}, X_{2}, \cdots, X_{n}) $ 的每一个分量 $ X_{i}, i=1,2,\cdots,n $ 都是正态随机变量;反之,若 $ X_{1}, X_{2}, \cdots, X_{n} $ 都是正态随机变量,且相互独立,则 $ (X_{1}, X_{2}, \cdots, X_{n}) $ 是 n 维正态随机变量.
$ 2^{n} $ 维随机变量 $ (X_{1}, X_{2}, \cdots, X_{n}) $ 服从 n 维正态分布的充要条件是 $ X_{1}, X_{2}, \cdots, X_{n} $ 的任意的线性组合
$$ l_{1}X_{1}+l_{2}X_{2}+\cdots+l_{n}X_{n} $$
服从一维正态分布(其中 $ l_{1}, l_{2}, \cdots, l_{n} $ 不全为零).
$ 3^{\circ} $ 若 $ (X_{1},X_{2},\cdots,X_{n}) $ 服从 n 维正态分布,设 $ Y_{1},Y_{2},\cdots,Y_{k} $ 是 $ X_{j} $ (j=1,2,\cdots,n) 的线性函数,则 $ (Y_{1},Y_{2},\cdots,Y_{k}) $ 也服从多维正态分布.
这一性质称为正态变量的线性变换不变性.
$ 4^{\circ} $ 设 $ (X_{1},X_{2},\cdots,X_{n}) $服从n维正态分布,则“ $ X_{1},X_{2},\cdots,X_{n} $ 相互独立”与“ $ X_{1},X_{2},\cdots,X_{n} $ 两两不相关”是等价的.
n 维正态分布在随机过程和数理统计中常会遇到.
小结
随机变量的数字特征是由随机变量的分布确定的,能描述随机变量某一个方面的特征的常数.最重要的数字特征是数学期望和方差.数学期望 $ E(X) $ 描述随机变量 X 取值的平均大小,方差 $ D(X)=E\{[X-E(X)]^{2}\} $ 描述随机变量 X 与它自己的数学期望 $ E(X) $ 的偏离程度.数学期望和方差在应用和理论上都非常重要.
要掌握随机变量的函数 $ Y=g(X) $ 的数学期望 $ E(Y)=E[g(X)] $ 的计算公式(1.3)和
原书第 123 页
(1,4). 这两个公式的意义在于当我们求 E(Y) 时,不必先求出 $ Y=g(X) $ 的分布律或概率密度,而只需利用 X 的分布律或概率密度就可以了,这样做的好处是明显的.
要掌握数学期望和方差的性质.提请读者注意的是:
(1)当 $ X_{1},X_{2} $独立或 $ X_{1},X_{2} $不相关时,才有 $ E(X_{1}X_{2})=E(X_{1})E(X_{2}) $;
(2)设 C 为常数,则有 $ D(CX)=C^{2}D(X) $,右边的系数是 $ C^{2} $,不是 C;
(3) $ D(X_{1}+X_{2})=D(X_{1})+D(X_{2})+2\mathrm{Cov}(X_{1},X_{2}) $,当 $ X_{1},X_{2} $独立或 $ X_{1},X_{2} $不相关时才有
$$ D(X_{1}+X_{2})=D(X_{1})+D(X_{2}). $$
例如,若 $ X_{1}, X_{2} $ 独立,则有 $ D(2X_{1}-3X_{2})=4D(X_{1})+9D(X_{2}) $
相关系数 $ \rho_{XY} $ 有时也称为线性相关系数,它是一个可以用来描述随机变量 $ (X,Y) $ 的两个分量 X,Y 之间的线性关系紧密程度的数字特征。当 $ |\rho_{XY}| $ 较小时 X,Y 的线性相关的程度较差;当 $ \rho_{XY}=0 $ 时称 X,Y 不相关。不相关是指 X,Y 之间不存在线性关系,X,Y 不相关,它们还可能存在除线性关系之外的关系(参见 §3 例1)。又由于 X,Y 相互独立是指 X,Y 的一般关系而言的,因此有以下的结论:X,Y 相互独立则 X,Y 一定不相关;反之,若 X,Y 不相关则 X,Y 不一定相互独立。
特别,对于二维正态随机变量 $ (X,Y) $,X和Y不相关与X和Y相互独立是等价的。而二元正态随机变量的相关系数 $ \rho_{XY} $就是参数 $ \rho $。于是,用“ $ \rho=0 $”是否成立来检验X,Y是否相互独立是很方便的。
切比雪夫不等式给出了在随机变量X的分布未知,只知道 $ E(X) $和 $ D(X) $的情况下,对事件 $ \{|X-E(X)|\leq\varepsilon\} $概率的下限的估计.
重要术语及主题
数学期望 随机变量函数的数学期望 数学期望的性质
方差 标准差 方差的性质 标准化的随机变量 协方差 相关系数 相关系数的性质 X,Y 不相关 切比雪夫不等式 几种重要分布的数学期望和方差 矩 协方差矩阵
习题
1.(1)在下列句子中随机地取一个单词,以 X 表示取到的单词所包含的字母个数,写出 X 的分布律并求 E(X).
$$ \text{“THE GIRL PUT ON HER BEAUTIFUL RED HAT”}. $$
(2)在上述句子的 30 个字母中随机地取一个字母,以 Y 表示取到的字母所在单词所包含的字母数,写出 Y 的分布律并求 E(Y).
(3)一人掷骰子,如得6点则掷第2次,此时得分为 $ 6+ $第二次得到的点数;否则得分为他第一次掷得的点数,且不能再掷,求得分X的分布律及 $ E(X) $.
- 某产品的次品率为 0.1,检验员每天检验 4 次。每次随机地取 10 件产品进行检验,如发现其中的次品数多于 1,就去调整设备。以 X 表示一天中调整设备的次数,试求 $ E(X) $。(设诸产品是否为次品是相互独立的。)
- 有3只球,4个盒子,盒子的编号为1,2,3,4. 将球逐个独立地,随机地放入4个盒子中去. 以X表示其中至少有一只球的盒子的最小号码(例如X=3表示第1号,第2号盒子是
原书第 124 页
空的,第3个盒子至少有一只球),试求 $ E(X) $.
4.(1)设随机变量 X 的分布律为 $ P\{X=(-1)^{j+1}\frac{3^{j}}{j}\}=\frac{2}{3^{j}}, j=1,2,\cdots $,说明 X 的数学期望不存在.
(2)一盒中装有一只黑球,一只白球,作摸球游戏,规则如下:一次从盒中随机摸一只球,若摸到白球,则游戏结束,摸到黑球放回再放入一只黑球,然后再从盒中随机地摸一只球。试说明要游戏结束的摸球次数 X 的数学期望不存在。
- 设在某一规定的时间间隔里,某电气设备用于最大负荷的时间 X(以 min 计)是一个随机变量,其概率密度为
$$ f(x)=\{\begin{aligned}&\frac{1}{1\ 500^{2}}x,&0\leqslant x\leqslant1\ 500,\\&\frac{-1}{1\ 500^{2}}(x-3\ 000),&1\ 500
求 $ E(X) $.
6.(1)设随机变量X的分布律为
求 $ E(X) $, $ E(X^{2}) $, $ E(3X^{2}+5) $.
(2)设 $ X\sim\pi(\lambda) $,求 $ E\left[1/(X+1)\right] $
7.(1)设随机变量X的概率密度为
$$ f(x)=\{\begin{aligned}&\mathrm{e}^{-x},&x>0,\\ &0,&x\leqslant0.\end{aligned}. $$
求(i) $ Y=2X $; (ii) $ Y=e^{-2X} $的数学期望.
(2)设随机变量 $ X_{1}, X_{2}, \cdots, X_{n} $ 相互独立,且都服从(0,1)上的均匀分布(i)求 $ U = \max\{X_{1}, X_{2}, \cdots, X_{n}\} $ 的数学期望,(ii)求 $ V = \min\{X_{1}, X_{2}, \cdots, X_{n}\} $ 的数学期望.
- 设随机变量(X,Y)的分布律为
(1) 求 $ E(X) $, $ E(Y) $.
(2)设 $ Z=Y/X $,求 $ E(Z) $.
(3)设 $ Z=(X-Y)^{2} $,求 $ E(Z) $
9.(1)设随机变量(X,Y)的概率密度为
原书第 125 页
$$ f(x,y)=\{\begin{aligned}&12y^{2},&0\leqslant y\leqslant x\leqslant1,\\ &0,& 其他 .\end{aligned}. $$
求 $ E(X) $, $ E(Y) $, $ E(XY) $, $ E(X^{2}+Y^{2}) $.
(2)设随机变量 X,Y 的联合密度为
$$ f(x,y)=\{\begin{aligned}&\frac{1}{y}e^{-(y+x/y)},&x>0,y>0,\\ &0,& 其他 .\end{aligned}. $$
求 $ E(X) $, $ E(Y) $, $ E(XY) $.
10.(1)设随机变量 $ X\sim N(0,1) $, $ Y\sim N(0,1) $且X,Y相互独立。求 $ E\left[X^{2}/\left(X^{2}+Y^{2}\right)\right] $
(2)一飞机进行空投物资作业,设目标点为原点 $ O(0,0) $,物资着陆点为 $ (X,Y) $,X,Y相互独立,且设 $ X\sim N(0,\sigma^{2}) $, $ Y\sim N(0,\sigma^{2}) $,求原点到点 $ (X,Y) $间距离的数学期望.
- 一工厂生产的某种设备的寿命 X(以年计)服从指数分布,概率密度为
$$ f(x)=\{\begin{aligned}&\frac{1}{4}\mathrm{e}^{-x/4},&x>0,\\ &0,&x\leqslant0.\end{aligned}. $$
工厂规定,出售的设备若在售出一年之内损坏可予以调换。若工厂售出一台设备赢利100元,调换一台设备厂方需花费300元。试求厂方出售一台设备净赢利的数学期望。
- 某车间生产的圆盘直径在区间 $ (a,b) $服从均匀分布,试求圆盘面积的数学期望.
- 设电压(以 V 计) $ X\sim N(0,9) $. 将电压施加于一检波器, 其输出电压为 $ Y=5X^{2} $, 求输出电压 Y 的均值.
- 设随机变量 $ X_{1}, X_{2} $ 的概率密度分别为
$$ f_{1}(x)=\{\begin{array}{ll}2\mathrm{e}^{-2x},&x>0,\\0,&x\leqslant0,\end{array}.\quad f_{2}(x)=\{\begin{array}{ll}4\mathrm{e}^{-4x},&x>0,\\0,&x\leqslant0.\end{array}. $$
(1) 求 $ E(X_{1}+X_{2}) $, $ E(2X_{1}-3X_{2}^{2}) $.
(2)又设 $ X_{1},X_{2} $相互独立,求 $ E(X_{1}X_{2}) $
- 将 n 只球 (1~n 号) 随机地放进 n 个盒子 (1~n 号) 中去,一个盒子装一只球。若一只球装入与球同号的盒子中,称为一个配对。记 X 为总的配对数,求 $ E(X) $.
- 若有 n 把看上去样子相同的钥匙,其中只有一把能打开门上的锁,用它们去试开门上的锁。设取到每只钥匙是等可能的。若每把钥匙试开一次后除去,试用下面两种方法求试开次数 X 的数学期望。
(1)写出 X 的分布律.
(2)不写出 X 的分布律.
- 设 X 为随机变量,C 是常数,证明 $ D(X) < E[(X-C)^2] $,对于 $ C \neq E(X) $. (由于 $ D(X) = E\{[X-E(X)]^2\} $,上式表明 $ E[(X-C)^2] $ 当 C = E(X) 时取到最小值.)
- 设随机变量 X 服从瑞利分布,其概率密度为
$$ f(x)=\{\begin{aligned}&\frac{x}{\sigma^{2}}\mathrm{e}^{-x^{2}\big/(2\sigma^{2})},&x>0,\\ &0,&x\leqslant0,\end{aligned}. $$
其中 $ \sigma>0 $是常数.求 $ E(X) $, $ D(X) $.
原书第 126 页
- 设随机变量 X 服从 $ \Gamma $ 分布,其概率密度为
$$ f(x)=\{\begin{array}{ll}\frac{1}{\beta^{\alpha}\Gamma(\alpha)}x^{\alpha-1}\mathrm{e}^{-x/\beta},&x>0,\\0,&x\leqslant0,\end{array}. $$
其中 $ \alpha>0,\beta>0 $ 是常数. 求 $ E(X),D(X) $.
- 设随机变量 X 服从几何分布,其分布律为
$$ P\{X=k\}=p(1-p)^{k-1},\quad k=1,2,\cdots, $$
其中 0 < p < 1 是常数. 求 $ E(X) $, $ D(X) $.
- 设长方形的高(以 m 计) $ X \sim U(0,2) $,已知长方形的周长(以 m 计)为 20。求长方形面积 A 的数学期望和方差.
- (1) 设随机变量 $ X_{1}, X_{2}, X_{3}, X_{4} $ 相互独立,且有 $ E(X_{i}) = i, D(X_{i}) = 5 - i, i = 1, 2, 3, 4. $ 设 $ Y = 2X_{1} - X_{2} + 3X_{3} - \frac{1}{2}X_{4} $. 求 $ E(Y), D(Y) $.
(2)设随机变量 X, Y 相互独立,且 $ X \sim N(720, 30^{2}) $, $ Y \sim N(640, 25^{2}) $,求 $ Z_{1} = 2X + Y $, $ Z_{2} = X - Y $ 的分布,并求概率 $ P\{X > Y\} $, $ P\{X + Y > 1400\} $.
- 五家商店联营,它们每两周售出的某种农产品的数量(以 kg 计)分别为 $ X_{1}, X_{2}, X_{3}, X_{4}, X_{5} $. 已知 $ X_{1} \sim N(200, 225) $, $ X_{2} \sim N(240, 240) $, $ X_{3} \sim N(180, 225) $, $ X_{4} \sim N(260, 265) $, $ X_{5} \sim N(320, 270) $, $ X_{1}, X_{2}, X_{3}, X_{4}, X_{5} $ 相互独立.
(1)求五家商店两周的总销售量的均值和方差.
(2)商店每隔两周进货一次,为了使新的供货到达前商店不会脱销的概率大于0.99,问商店的仓库应至少储存多少千克该产品?
- 卡车装运水泥,设每袋水泥重量 X(以 kg 计)服从 $ N(50,2.5^{2}) $,问最多装多少袋水泥使总重量超过 2000 的概率不大于 0.05.
- 设随机变量 X, Y 相互独立,且都服从(0,1)上的均匀分布.
(1) 求 $ E(XY) $, $ E(X/Y) $, $ E[\ln(XY)] $, $ E[|Y-X|] $.
(2)以 X,Y 为边长作一长方形,以 A,C 分别表示长方形的面积和周长,求 A 和 C 的相关系数.
- (1) 设随机变量 $ X_{1}, X_{2}, X_{3} $ 相互独立,且有 $ X_{1} \sim b(4, 1/2) $, $ X_{2} \sim b(6, 1/3) $, $ X_{3} \sim b(6, 1/3) $,求 $ P\{X_{1} = 2, X_{2} = 2, X_{3} = 5\} $, $ E(X_{1}X_{2}X_{3}) $, $ E(X_{1} - X_{2}) $, $ E(X_{1} - 2X_{2}) $。
(2)设 X, Y 是随机变量,且有 $ E(X)=3, E(Y)=1, D(X)=4, D(Y)=9 $,令 Z=5X-Y+15,分别在下列 3 种情况下求 E(Z) 和 D(Z).
(i) X, Y 相互独立,(ii) X, Y 不相关,(iii) X 与 Y 的相关系数为 0.25.
- 下列各对随机变量 X 和 Y,问哪几对是相互独立的?哪几对是不相关的.
(1) $ X \sim U(0,1), Y = X^{2} $
(2) $ X \sim U(-1,1), Y = X^{2} $
(3) $ X = \cos V, Y = \sin V, V \sim U(0, 2\pi). $
若 $ (X,Y) $的概率密度为 $ f(x,y) $
$$ (4)f(x,y)=\{\begin{aligned}&x+y,&0<&x<1,0<&y<1,\\ &0,& 其他 .\end{aligned}. $$
原书第 127 页
(5) $ f(x,y)=\{\begin{aligned}&2y,&0
- 设二维随机变量(X,Y)的概率密度为
$$ f(x,y)=\{\begin{aligned}&\frac{1}{\pi},&x^{2}+y^{2}\leqslant&1,\\ &0,& 其他 .\end{aligned}. $$
试验证 X 和 Y 是不相关的,但 X 和 Y 不是相互独立的.
- 设随机变量(X,Y)的分布律为
验证 X 和 Y 是不相关的,但 X 和 Y 不是相互独立的.
- 设 A 和 B 是试验 E 的两个事件,且 $ P(A) > 0, P(B) > 0 $,并定义随机变量 X, Y 如下:
$$ \boldsymbol{X}=\{\begin{aligned}&1,&& 若 A 发生 ,\\ &0,&& 若 A 不发生 ,\end{aligned}.\quad\boldsymbol{Y}=\{\begin{aligned}&1,&& 若 B 发生 ,\\ &0,&& 若 B 不发生 .\end{aligned}. $$
证明若 $ \rho_{XY}=0 $,则 X 和 Y 必定相互独立.
- 设随机变量(X,Y)具有概率密度
$$ f(x,y)=\{\begin{aligned}&1,&|y|
求 $ E(X),E(Y),\mathrm{Cov}(X,Y) $
- 设随机变量(X,Y)具有概率密度
$$ f(x,y)=\{\begin{aligned}&\frac{1}{8}(x+y),&0\leqslant x\leqslant2,0\leqslant y\leqslant2,\\ &0,& 其他 .\end{aligned}. $$
$$ E(X),E(Y),\operatorname{Cov}(X,Y),\rho_{XY},D(X+Y). $$
- 设随机变量 $ X \sim N(\mu, \sigma^{2}) $, $ Y \sim N(\mu, \sigma^{2}) $,且设 X, Y 相互独立,试求 $ Z_{1} = \alpha X + \beta Y $ 和 $ Z_{2} = \alpha X - \beta Y $ 的相关系数(其中 $ \alpha, \beta $ 是不为零的常数).
- (1) 设随机变量 $ W = (aX + 3Y)^{2} $, $ E(X) = E(Y) = 0 $, $ D(X) = 4 $, $ D(Y) = 16 $, $ \rho_{XY} = -0.5 $. 求常数 a 使 $ E(W) $ 为最小,并求 $ E(W) $ 的最小值.
(2)设随机变量(X,Y)服从二维正态分布,且有 $ D(X)=\sigma_{X}^{2},D(Y)=\sigma_{Y}^{2} $. 证明当 $ a^{2}=\sigma_{X}^{2}/\sigma_{Y}^{2} $时,随机变量W=X-aY与 $ V=X+aY $相互独立.
- 设随机变量(X,Y)服从二维正态分布,且 $ X \sim N(0,3) $, $ Y \sim N(0,4) $,相关系数 $ \rho_{XY} = -1/4 $,试写出 X 和 Y 的联合概率密度.
- 已知正常男性成人血液中,每一毫升白细胞数平均是7300,均方差是700. 利用切比雪夫不等式估计每毫升含白细胞数在5200~9400之间的概率 p.
- 对于两个随机变量 V, W, 若 $ E(V^{2}) $, $ E(W^{2}) $ 存在,证明
原书第 128 页
$$ [E(V W)]^{2}\leqslant E(V^{2})E(W^{2}). $$
这一不等式称为柯西—施瓦茨(Cauchy-Schwarz)不等式.
提示: 考虑实变量 t 的函数
$$ q(t)=E\left[(V+tW)^2\right]=E(V^2)+2tE(VW)+t^2E(W^2). $$
- 中位数.
对于任意随机变量 X,满足以下两式
$$ P\{X\leqslant x\}\geqslant\frac{1}{2},\quad P\{X\geqslant x\}\leqslant\frac{1}{2} $$
的 x 称为 X 的中位数,记为 $ x_{\frac{1}{2}} $ 或 M. 它是反映集中位置的一个数字特征,中位数总是存在的. 画出 X 的分布函数 F(x) 的图. 如果 F(x) 连续,那么 $ x_{\frac{1}{2}} $ 是方程 $ F(x)=\frac{1}{2} $ 的解(如题 38 图(1)),如果 F(x) 有跳跃点(见题 38 图(2)),用垂直于横轴的线段联结后,得一连续曲线,它与直线 y=1/2 的交点的横坐标即为 $ x_{\frac{1}{2}} $.
(1)
(2)
题38图
(1)设 X 的概率密度为
$$ f(x)=\{\begin{aligned}&2e^{-2x},&\quad x\geqslant0,\\ &0,&\quad 其他 .\end{aligned}. $$
试求 X 的中位数 M.
(2)设 X 服从柯西分布,其概率密度为
$$ f(x)=\frac{b}{\pi[(x-a)^{2}+b^{2}]},b>0. $$
试求 X 的中位数 M.