第七章 参数估计
第七章 参数估计
统计推断的基本问题可以分为两大类,一类是估计问题,另一类是假设检验问题。本章讨论总体参数的点估计和区间估计。
§1 点估计
设总体 X 的分布函数的形式已知,但它的一个或多个参数未知,借助于总体 X 的一个样本来估计总体未知参数的值的问题称为参数的点估计问题.
例1 在某炸药制造厂,一天中发生着火现象的次数X是一个随机变量,假设它服从以 $ \lambda>0 $为参数的泊松分布,参数 $ \lambda $为未知.现有以下的样本值,试估计参数 $ \lambda $.
| 着火次数k | 0 | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|---|
| 发生k次着火的天数 $ n_k $ | 75 | 90 | 54 | 22 | 6 | 2 | 1 |
解 由于 $ X \sim \pi(\lambda) $,故有 $ \lambda = E(X) $。我们自然想到用样本均值来估计总体的均值 E(X)。现由已知数据计算得到
$$ \begin{aligned}\overline{x}&=\frac{\sum_{k=0}^{6}kn_{k}}{\sum_{k=0}^{6}n_{k}}\\&=\frac{1}{250}[0\times75+1\times90+2\times54+3\times22+4\times6+5\times2+6\times1]=1.22,\end{aligned} $$
即 $ E(X)=\lambda $ 的估计为 1.22.
点估计问题的一般提法如下:设总体X的分布函数 $ F(x;\theta) $①的形式为已知, $ \theta $是待估参数. $ X_{1},X_{2},\cdots,X_{n} $是X的一个样本, $ x_{1},x_{2},\cdots,x_{n} $是相应的一个样本值。点估计问题就是要构造一个适当的统计量 $ \hat{\theta}(X_{1},X_{2},\cdots,X_{n}) $,用它的观察值 $ \hat{\theta}(x_{1},x_{2},\cdots,x_{n}) $作为未知参数 $ \theta $的近似值。我们称 $ \hat{\theta}(X_{1},X_{2},\cdots,X_{n}) $为 $ \theta $的估计量,称 $ \hat{\theta}(x_{1},x_{2},\cdots,x_{n}) $为 $ \theta $的估计值。在不致混淆的情况下统称估计量和估
计值为估计,并都简记为 $ \hat{\theta} $. 由于估计量是样本的函数. 因此对于不同的样本值, $ \theta $的估计值一般是不相同的.
例如在例1中,我们用样本均值来估计总体均值。即有估计量
$$ \widehat{\lambda}=E(X)=\frac{1}{n}\sum_{k=1}^{n}X_{k},\quad n=250. $$
估计值
$$ \widehat{\lambda}=E(X)=\frac{1}{n}\sum_{k=1}^{n}x_{k}=1.22. $$
下面介绍两种常用的构造估计量的方法:矩估计法和最大似然估计法。
(一) 矩估计法
设 X 为连续型随机变量,其概率密度为 $ f(x;\theta_{1},\theta_{2},\cdots,\theta_{k}) $,或 X 为离散型随机变量,其分布律为 $ P\{X=x\}=p(x;\theta_{1},\theta_{2},\cdots,\theta_{k}) $,其中 $ \theta_{1},\theta_{2},\cdots,\theta_{k} $ 为待估参数, $ X_{1},X_{2},\cdots,X_{n} $ 是来自 X 的样本。假设总体 X 的前 k 阶矩
$$ \mu_{l}=E(X^{l})=\int_{-\infty}^{\infty}x^{l}f(x;\theta_{1},\theta_{2},\cdots,\theta_{k})dx\quad(X 连续型 ) $$
或
$$ \mu_{l}=E(X^{l})=\sum_{x\in R_{X}}x^{l}p\left(x;\theta_{1},\theta_{2},\cdots,\theta_{k}\right)\quad(X 离散型 ) $$
$$ l=1,2,\cdots,k $$
(其中 $ R_{X} $ 是 X 可能取值的范围)存在。一般来说,它们是 $ \theta_{1}, \theta_{2}, \cdots, \theta_{k} $ 的函数。基于样本矩
$$ A_{l}=\frac{1}{n}\sum_{i=1}^{n}X_{i}^{l} $$
依概率收敛于相应的总体矩 $ \mu_{l}(l=1,2,\cdots,k) $,样本矩的连续函数依概率收敛于相应的总体矩的连续函数(见第六章§3),我们就用样本矩作为相应的总体矩的估计量,而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。这种估计方法称为矩估计法。矩估计法的具体做法如下:设
$$ \{\begin{array}{l}\mu_{1}=\mu_{1}(\theta_{1},\theta_{2},\cdots,\theta_{k}),\\\mu_{2}=\mu_{2}(\theta_{1},\theta_{2},\cdots,\theta_{k}),\\\quad\vdots\\\mu_{k}=\mu_{k}(\theta_{1},\theta_{2},\cdots,\theta_{k}).\end{array}. $$
这是一个包含 k 个未知参数 $ \theta_{1}, \theta_{2}, \cdots, \theta_{k} $ 的联立方程组。一般来说,可以从中解出 $ \theta_{1}, \theta_{2}, \cdots, \theta_{k} $,得到
$$ \{\begin{array}{l}\theta_{1}=\theta_{1}(\mu_{1},\mu_{2},\cdots,\mu_{k}),\\\theta_{2}=\theta_{2}(\mu_{1},\mu_{2},\cdots,\mu_{k}),\\\quad\vdots\\\theta_{k}=\theta_{k}(\mu_{1},\mu_{2},\cdots,\mu_{k}).\end{array}. $$
以 $ A_{i} $ 分别代替上式中的 $ \mu_{i}, i=1,2,\cdots,k $,就以
$$ \hat{\theta}_{i}=\theta_{i}(A_{1},A_{2},\cdots,A_{k}),i=1,2,\cdots,k $$
分别作为 $ \theta_{i}, i=1,2,\cdots,k $ 的估计量,这种估计量称为矩估计量。矩估计量的观察值称为矩估计值。
例2 设总体 X 在 $ [a,b] $ 上服从均匀分布,a,b 未知. $ X_{1}, X_{2}, \cdots, X_{n} $ 是来自 X 的样本,试求 a,b 的矩估计量.
解
$$ \begin{aligned}\mu_{1}&=E(X)=(a+b)/2,\\\mu_{2}&=E(X^{2})=D(X)+[E(X)]^{2}\\&=(b-a)^{2}/12+(a+b)^{2}/4.\\&\{\begin{aligned}&a+b=2\mu_{1},\\ &b-a=\sqrt{12(\mu_{2}-\mu_{1}^{2})}.\end{aligned}.\end{aligned} $$
即
解这一方程组得
$$ a=\mu_{1}-\sqrt{3(\mu_{2}-\mu_{1}^{2})},\quad b=\mu_{1}+\sqrt{3(\mu_{2}-\mu_{1}^{2})}. $$
分别以 $ A_{1}, A_{2} $ 代替 $ \mu_{1}, \mu_{2} $,得到 a, b 的矩估计量分别为(注意到 $ \frac{1}{n}\sum_{i=1}^{n}X_{i}^{2} - \overline{X}^{2} = \frac{1}{n}\sum_{i=1}^{n}(X_{i} - \overline{X})^{2} $):
$$ \hat{a}=A_{1}-\sqrt{3(A_{2}-A_{1}^{2})}=\overline{X}-\sqrt{\frac{3}{n}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}}, $$
$$ \hat{b}=A_{1}+\sqrt{3(A_{2}-A_{1}^{2})}=\overline{X}+\sqrt{\frac{3}{n}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}}. $$
例3 设总体 X 的均值 $ \mu $ 及方差 $ \sigma^{2} $ 都存在,且有 $ \sigma^{2}>0 $ 。但 $ \mu,\sigma^{2} $ 均为未知。又设 $ X_{1},X_{2},\cdots,X_{n} $ 是来自 X 的样本。试求 $ \mu,\sigma^{2} $ 的矩估计量。
解
$$ \{\begin{aligned}\mu_{1}&=E(X)=\mu,\\ \mu_{2}&=E(X^{2})=D(X)+[E(X)]^{2}=\sigma^{2}+\mu^{2}.\end{aligned}. $$
解得
$$ \begin{cases}\mu=\mu_{1},\\\sigma^{2}=\mu_{2}-\mu_{1}^{2}.\end{cases} $$
分别以 $ A_{1}, A_{2} $ 代替 $ \mu_{1}, \mu_{2} $,得 $ \mu $ 和 $ \sigma^{2} $ 的矩估计量分别为
$$ \hat{\mu}=A_{1}=\overline{X}, $$
$$ \hat{\sigma}^{2}=A_{2}-A_{1}^{2}=\frac{1}{n}\sum_{i=1}^{n}X_{i}^{2}-\overline{X}^{2}=\frac{1}{n}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}. $$
所得结果表明,总体均值与方差的矩估计量的表达式不因不同的总体分布而异。
例如, $ X\sim N(\mu,\sigma^{2}),\mu,\sigma^{2} $ 未知,即得 $ \mu,\sigma^{2} $ 的矩估计量为
$$ \hat{\mu}=\overline{X},\quad\hat{\sigma}^{2}=\frac{1}{n}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}. $$
(二) 最大似然估计法
若总体 X 属离散型,其分布律 $ P\{X=x\}=p(x;\theta),\theta\in\Theta $ 的形式为已知, $ \theta $ 为待估参数, $ \theta $ 是 $ \theta $ 可能取值的范围。设 $ X_{1}, X_{2}, \cdots, X_{n} $ 是来自 X 的样本,则 $ X_{1}, X_{2}, \cdots, X_{n} $ 的联合分布律为
$$ \prod_{i=1}^{n}p(x_{i};\theta). $$
又设 $ x_{1}, x_{2}, \cdots, x_{n} $ 是相应于样本 $ X_{1}, X_{2}, \cdots, X_{n} $ 的一个样本值。易知样本 $ X_{1}, X_{2}, \cdots, X_{n} $ 取到观察值 $ x_{1}, x_{2}, \cdots, x_{n} $ 的概率,亦即事件 $ \{X_{1} = x_{1}, X_{2} = x_{2}, \cdots, X_{n} = x_{n}\} $ 发生的概率为
$$ L(\theta)=L(x_{1},x_{2},\cdots,x_{n};\theta)=\prod_{i=1}^{n}p(x_{i};\theta),\theta\in\Theta. $$
这一概率随 $ \theta $的取值而变化,它是 $ \theta $的函数, $ L(\theta) $称为样本的似然函数(注意,这里 $ x_{1},x_{2},\cdots,x_{n} $是已知的样本值,它们都是常数).
关于最大似然估计法,我们有以下的直观想法:现在已经取到样本值 $ x_1 $, $ x_2 $, $ \cdots $, $ x_n $ 了,这表明取到这一样本值的概率 $ L(\theta) $ 比较大。我们当然不会考虑那些不能使样本 $ x_1, x_2, \cdots, x_n $ 出现的 $ \theta \in \Theta $ 作为 $ \theta $ 的估计,再者,如果已知当 $ \theta = \theta_0 \in \Theta $ 时使 $ L(\theta) $ 取很大值,而 $ \Theta $ 中的其他 $ \theta $ 的值使 $ L(\theta) $ 取很小值,我们自然认为取 $ \theta_0 $ 作为未知参数 $ \theta $ 的估计值,较为合理。由费希尔(R. A. Fisher)引进的最大似然估计法,就是固定样本观察值 $ x_1, x_2, \cdots, x_n $,在 $ \theta $ 取值的可能范围 $ \Theta $ 内挑选使似然函数 $ L(x_1, x_2, \cdots, x_n; \theta) $ 达到最大的参数值 $ \hat{\theta} $,作为参数 $ \theta $ 的估计值。即取 $ \hat{\theta} $ 使
$$ L\left(x_{1},x_{2},\cdots,x_{n};\hat{\theta}\right)=\max_{\theta\in\Theta}L\left(x_{1},x_{2},\cdots,x_{n};\theta\right) $$
这样得到的 $ \hat{\theta} $与样本值 $ x_{1},x_{2},\cdots,x_{n} $有关,常记为 $ \hat{\theta}(x_{1},x_{2},\cdots,x_{n}) $,称为参数 $ \theta $的最大似然估计值,而相应的统计量 $ \hat{\theta}(X_{1},X_{2},\cdots,X_{n}) $称为参数 $ \theta $的最大似然估计量.
若总体 X 属连续型,其概率密度 $ f(x;\theta) $, $ \theta\in\Theta $ 的形式已知, $ \theta $ 为待估参数, $ \Theta $ 是 $ \theta $ 可能取值的范围。设 $ X_1, X_2, \cdots, X_n $ 是来自 X 的样本,则 $ X_1, X_2, \cdots, X_n $ 的联合密度为
$$ \prod_{i=1}^{n}f(x_{i},\theta). $$
设 $ x_{1}, x_{2}, \cdots, x_{n} $ 是相应于样本 $ X_{1}, X_{2}, \cdots, X_{n} $ 的一个样本值,则随机点 $ (X_{1}, X_{2}, \cdots, X_{n}) $ 落在点 $ (x_{1}, x_{2}, \cdots, x_{n}) $ 的邻域(边长分别为 $ \mathrm{d}x_{1}, \mathrm{d}x_{2}, \cdots, \mathrm{d}x_{n} $ 的 n 维立方体)内的概率近似地为
$$ \prod_{i=1}^{n}f(x_{i};\theta)\mathrm{d}x_{i}. $$
其值随 $ \theta $的取值而变化.与离散型的情况一样,我们取 $ \theta $的估计值 $ \hat{\theta} $使概率(1.3)取到最大值,但因子 $ \prod_{i=1}^{n}dx_{i} $不随 $ \theta $而变,故只需考虑函数
$$ L(\theta)=L(x_{1},x_{2},\cdots,x_{n};\theta)=\prod_{i=1}^{n}f(x_{i};\theta) $$
的最大值. 这里 $ L(\theta) $ 称为样本的似然函数. 若
$$ L\left(x_{1},x_{2},\cdots,x_{n};\hat{\theta}\right)=\max_{\theta\in\Theta}L\left(x_{1},x_{2},\cdots,x_{n};\theta\right) $$
则称 $ \theta(x_{1},x_{2},\cdots,x_{n}) $ 为 $ \theta $ 的最大似然估计值,称 $ \hat{\theta}(X_{1},X_{2},\cdots,X_{n}) $ 为 $ \theta $ 的最大似然估计量.
这样,确定最大似然估计量的问题就归结为微分学中的求最大值的问题了.
在很多情形下, $ p(x;\theta) $ 和 $ f(x;\theta) $ 关于 $ \theta $ 可微,这时 $ \dot{\theta} $ 常可从方程
$$ \frac{\mathrm{d}}{\mathrm{d}\theta}L\left(\theta\right)=0 $$
解得 $ ^{①} $. 又因 $ L(\theta) $与 $ \ln L(\theta) $在同一 $ \theta $处取到极值,因此, $ \theta $的最大似然估计 $ \theta $也可以从方程
$$ \frac{\mathrm{d}}{\mathrm{d}\theta}\ln L(\theta)=0 $$
求得,而从后一方程求解往往比较方便。(1.6)称为对数似然方程.
例4 设 $ X \sim b(1, p) $. $ X_{1}, X_{2}, \cdots, X_{n} $ 是来自 X 的一个样本,试求参数 p 的最大似然估计量.
解 设 $ x_{1}, x_{2}, \cdots, x_{n} $ 是相应于样本 $ X_{1}, X_{2}, \cdots, X_{n} $ 的一个样本值. X 的分布律为
$$ P\{X=x\}=p^{x}(1-p)^{1-x},\quad x=0,1. $$
故似然函数为
$$ L(p)=\prod_{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}=p^{\sum_{i=1}^{n}x_{i}}(1-p)^{n-\sum_{i=1}^{n}x_{i}}, $$
而
$$ \begin{aligned}\ln L(p)&=\big(\sum_{i=1}^{n}x_{i}\big)\ln p+\big(n-\sum_{i=1}^{n}x_{i}\big)\ln(1-p),\\\frac{\mathrm{d}}{\mathrm{d}p}\ln L(p)&=\frac{\sum_{i=1}^{n}x_{i}}{p}-\frac{n-\sum_{i=1}^{n}x_{i}}{1-p}=0,\end{aligned} $$
令
解得 p 的最大似然估计值
$$ \hat{p}=\frac{1}{n}\sum_{i=1}^{n}x_{i}=\overline{x}. $$
p 的最大似然估计量为
$$ \hat{p}=\frac{1}{n}\sum_{i=1}^{n}X_{i}=\overline{X}. $$
我们看到这一估计量与矩估计量是相同的。
最大似然估计法也适用于分布中含多个未知参数 $ \theta_{1}, \theta_{2}, \cdots, \theta_{k} $ 的情况. 这时,似然函数 L 是这些未知参数的函数. 分别令
$$ \begin{aligned}&\frac{\partial}{\partial\theta_{i}}L=0,\;i=1,2,\cdots,k\\ &\\&\frac{\partial}{\partial\theta_{i}}\ln L=0,\;i=1,2,\cdots,k.\\ \end{aligned} $$
或令
解上述由 k 个方程组成的方程组,即可得到各未知参数 $ \theta_{i}(i=1,2,\cdots,k) $ 的最大似然估计值 $ \hat{\theta}_{i} $. (1.7) 称为对数似然方程组.
例 5 设 $ X \sim N(\mu, \sigma^{2}) $, $ \mu, \sigma^{2} $ 为未知参数, $ x_{1}, x_{2}, \cdots, x_{n} $ 是来自 X 的一个样本值。求 $ \mu, \sigma^{2} $ 的最大似然估计量。
解 X 的概率密度为
$$ f(x;\mu,\sigma^{2})=\frac{1}{\sqrt{2\pi}\sigma}\exp\left[-\frac{1}{2\sigma^{2}}(x-\mu)^{2}\right], $$
似然函数为
$$ \begin{align*}L(\mu,\sigma^{2})&=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}\exp\biggl[-\frac{1}{2\sigma^{2}}(x_{i}-\mu)^{2}\biggr]\\&=(2\pi)^{-n/2}(\sigma^{2})^{-n/2}\exp\biggl[-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2}\biggr].\end{align*} $$
而
$$ \ln L=-\frac{n}{2}\ln(2\pi)-\frac{n}{2}\ln\sigma^{2}-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2}. $$
$$ \{\begin{aligned}&\frac{\partial}{\partial\mu}\ln L=\frac{1}{\sigma^{2}}\big(\sum_{i=1}^{n}x_{i}-n\mu\big)=0,\\ &\frac{\partial}{\partial\sigma^{2}}\ln L=-\frac{n}{2\sigma^{2}}+\frac{1}{2(\sigma^{2})^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2}=0.\end{aligned}. $$
令
由前一式解得 $ \hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} x_{i} = \bar{x} $,代入后一式得 $ \hat{\sigma}^{2} = \frac{1}{n} \sum_{i=1}^{n} (x_{i} - \bar{x})^{2} $。因此得 $ \mu $ 和 $ \sigma^{2} $ 的最大似然估计量分别为
$$ \hat{\mu}=\overline{X},\quad\hat{\sigma}^{2}=\frac{1}{n}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}. $$
它们与相应的矩估计量相同.
例6 设总体 X 在 $ [a,b] $ 上服从均匀分布,a,b 未知, $ x_{1},x_{2},\cdots,x_{n} $ 是一个样本值。试求 a,b 的最大似然估计量。
解 记 $ x_{(1)}=\min\{x_{1},x_{2},\cdots,x_{n}\}, x_{(n)}=\max\{x_{1},x_{2},\cdots,x_{n}\} $. X 的概率密度是
$$ f(x;a,b)=\{\begin{aligned}&\frac{1}{b-a},&a\leqslant&x\leqslant b,\\ &0,& 其他 .\end{aligned}. $$
似然函数为
$$ L(a,b)=\{\begin{aligned}&\frac{1}{(b-a)^{n}},&&a\leqslant x_{1},x_{2},\cdots,x_{n}\leqslant b,\\ &0,&& 其他 .\end{aligned}. $$
由于 $ a \leqslant x_{1}, x_{2}, \cdots, x_{n} \leqslant b $,等价于 $ a \leqslant x_{(1)}, x_{(n)} \leqslant b $。似然函数可写成
$$ L(a,b)=\{\begin{aligned}&\frac{1}{(b-a)^{n}},a\leqslant x_{(1)}&,&\quad b\geqslant x_{(n)},\\ &0&,&\quad 其他 .\end{aligned}. $$
于是对于满足条件 $ a \leqslant x_{(1)} $, $ b \geqslant x_{(n)} $ 的任意 a, b 有
$$ L(a,b)=\frac{1}{(b-a)^{n}}\leqslant\frac{1}{(x_{(n)}-x_{(1)})^{n}}. $$
即 $ L(a,b) $ 在 $ a=x_{(1)} $, $ b=x_{(n)} $ 时取到最大值 $ (x_{(n)}-x_{(1)})^{-n} $. 故 a,b 的最大似然估计值为
$$ \hat{a}=x_{(1)}=\min_{1\leq i\leq n}x_{i},\quad\hat{b}=x_{(n)}=\max_{1\leq i\leq n}x_{i}. $$
a,b 的最大似然估计量为
$$ \hat{a}=\min_{1\leq i\leq n}X_{i},\quad\hat{b}=\max_{1\leq i\leq n}X_{i}. $$
此外,最大似然估计具有下述性质:设 $ \theta $ 的函数 $ u = u(\theta), \theta \in \Theta $ 具有单值反函数 $ \theta = \theta(u), u \in \mathcal{U} $ 。又假设 $ \hat{\theta} $ 是 X 的概率分布中参数 $ \theta $ 的最大似然估计,则 $ \hat{u} = u(\hat{\theta}) $ 是 $ u(\theta) $ 的最大似然估计。这一性质称为最大似然估计的不变性。
事实上,因为 $ \hat{\theta} $是 $ \theta $的最大似然估计,于是有
$$ L\left(x_{1},x_{2},\cdots,x_{n};\hat{\theta}\right)=\max_{\theta\in\Theta}L\left(x_{1},x_{2},\cdots,x_{n},\theta\right) $$
其中 $ x_{1}, x_{2}, \cdots, x_{n} $ 是 X 的一个样本值,考虑到 $ \hat{u} = u(\hat{\theta}) $,且有 $ \hat{\theta} = \theta(\hat{u}) $,上式可写成
$$ L(x_{1},x_{2},\cdots,x_{n};\theta(\hat{u}))=\max_{u\in\mathcal{U}}L(x_{1},x_{2},\cdots,x_{n};\theta(u)). $$
这就证明了 $ \hat{u}=u(\theta) $ 是 $ u(\theta) $ 的最大似然估计.
当总体分布中含有多个未知参数时,也具有上述性质。例如,在例5中已得到 $ \sigma^{2} $的最大似然估计为
$$ \hat{\sigma}^{2}=\frac{1}{n}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}. $$
函数 $ u=u(\sigma^{2})=\sqrt{\sigma^{2}} $ 有单值反函数 $ \sigma^{2}=u^{2}(u\geqslant0) $,根据上述性质,得到标准差 $ \sigma $ 的最大似然估计为
$$ \hat{\sigma}=\sqrt{\hat{\sigma}^{2}}=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}}. $$
我们还要提到的是,对数似然方程(1.6)或对数似然方程组(1.7)除了一些简单的情况外,往往没有有限函数形式的解,这就需要用数值方法求近似解。常用的算法是牛顿—拉弗森(Newton-Raphson)算法,对于(1.7)有时也用拟牛顿算法,它们都是迭代算法,读者可参考有关的参考书。
§2 基于截尾样本的最大似然估计
在研究产品的可靠性时,需要研究产品寿命 T 的各种特征.产品寿命 T 是一个随机变量,它的分布称为寿命分布.为了对寿命分布进行统计推断,就需要通过产品的寿命试验,以取得寿命数据.
一种典型的寿命试验是,将随机抽取的 n 个产品在时间 t=0 时,同时投入试验,直到每个产品都失效。记录每一个产品的失效时间,这样得到的样本(即由所有产品的失效时间 $ 0 \leqslant t_{1} \leqslant t_{2} \leqslant \cdots \leqslant t_{n} $ 所组成的样本)叫完全样本。然而产品的寿命往往较长,由于时间和财力的限制,我们不可能得到完全样本,于是就考虑截尾寿命试验。截尾寿命试验常用的有两种:一种是定时截尾寿命试验。假设将随机抽取的 n 个产品在时间 t=0 时同时投入试验,试验进行到事先规定的截尾时间 $ t_{0} $ 停止。如试验截止时共有 m 个产品失效,它们的失效时间分别为
$$ 0\leqslant t_{1}\leqslant t_{2}\leqslant\cdots\leqslant t_{m}\leqslant t_{0}, $$
此时 m 是一个随机变量,所得的样本 $ t_{1}, t_{2}, \cdots, t_{m} $ 称为定时截尾样本。另一种是定数截尾寿命试验。假设将随机抽取的 n 个产品在时间 t=0 时同时投入试验,试验进行到有 m 个 (m 是事先规定的, $ m < n $) 产品失效时停止。m 个失效产品的失效时间分别为
$$ 0\leqslant t_{1}\leqslant t_{2}\leqslant\cdots\leqslant t_{m}, $$
这里 $ t_{m} $ 是第 m 个产品的失效时间, $ t_{m} $ 是随机变量.所得的样本 $ t_{1}, t_{2}, \cdots, t_{m} $ 称为定数截尾样本.用截尾样本来进行统计推断是可靠性研究中常见的问题.
设产品的寿命分布是指数分布,其概率密度为
$$ f(t)=\{\begin{aligned}&\frac{1}{\theta}\mathrm{e}^{-t/\theta},t>0,\\ &0,\quad t\leqslant0,\end{aligned}. $$
$\theta>0$ 未知.设有 $n$ 个产品投入定数截尾试验,截尾数为 $m$,得定数截尾样本 $0\leqslant t_1\leqslant t_2\leqslant\cdots\leqslant t_m$,现在要利用这一样本来估计未知参数 $\theta$(即产品的平均寿命).在时间区间 $[0,t_m]$ 有 $m$ 个产品失效,而有 $n-m$ 个产品在 $t_m$ 时尚未失效,即有 $n-m$ 个产品的寿命超过 $t_m$.我们用最大似然估计法来估计 $\theta$,为了确定似然函数,需要知道上述观察结果出现的概率.我们知道一个产品在 $(t_i,t_i+\mathrm{d}t_i]$ 失效的概率近似地为 $f(t_i)\mathrm{d}t_i=\frac{1}{\theta}\mathrm{e}^{-t_i/\theta}\mathrm{d}t_i,i=1,2,\cdots,m$,其余 $n-m$ 个产品寿命超过 $t_m$ 的概率为 $\left(\int_{t_m}^{\infty}\frac{1}{\theta}\mathrm{e}^{-t/\theta}\mathrm{d}t\right)^{n-m}=(\mathrm{e}^{-t_m/\theta})^{n-m}$,故上述观察结果出现的概率近似地为
$$ \begin{align*}&\binom{n}{m}\left(\frac{1}{\theta}\mathrm{e}^{-t_{1}/\theta}\mathrm{d}t_{1}\right)\left(\frac{1}{\theta}\mathrm{e}^{-t_{2}/\theta}\mathrm{d}t_{2}\right)\cdots\left(\frac{1}{\theta}\mathrm{e}^{-t_{m}/\theta}\mathrm{d}t_{m}\right)(\mathrm{e}^{-t_{m}/\theta})^{n-m}\\&\quad=\binom{n}{m}\frac{1}{\theta^{m}}\mathrm{e}^{-\frac{1}{\theta}\left[t_{1}+t_{2}+\cdots+t_{m}+(n-m)t_{m}\right]}\mathrm{d}t_{1}\mathrm{d}t_{2}\cdots\mathrm{d}t_{m},\end{align*} $$
其中 $ \mathrm{d}t_{1},\cdots,\mathrm{d}t_{m} $ 为常数.因忽略一个常数因子不影响 $ \theta $ 的最大似然估计,故可取似然函数为
$$ L(\theta)=\frac{1}{\theta^{m}}\mathrm{e}^{-\frac{1}{\theta}[t_{1}+t_{2}+\cdots+t_{m}+(n-m)t_{m}]}. $$
对数似然函数为
$$ \ln L(\theta)=-m\ln\theta-\frac{1}{\theta}\left[t_{1}+t_{2}+\cdots+t_{m}+(n-m)t_{m}\right]. $$
令
$$ \frac{\mathrm{d}}{\mathrm{d}\theta}\ln L(\theta)=-\frac{m}{\theta}+\frac{1}{\theta^{2}}\left[t_{1}+t_{2}+\cdots+t_{m}+(n-m)t_{m}\right]=0. $$
于是得到 $ \theta $的最大似然估计为
$$ \begin{array}{r}{\hat{\theta}=\frac{s(t_{m})}{m}.}\end{array} $$
其中 $ s(t_{m})=t_{1}+t_{2}+\cdots+t_{m}+(n-m)t_{m} $ 称为总试验时间,它表示直至时刻 $ t_{m} $ 为止 n 个产品的试验时间的总和.
对于定时截尾样本
$$ 0\leqslant t_{1}\leqslant t_{2}\leqslant\cdots\leqslant t_{m}\leqslant t_{0} $$
(其中 $ t_{0} $是截尾时间),与上面的讨论类似,可得似然函数为
$$ L(\theta)=\frac{1}{\theta^{m}}\mathrm{e}^{-\frac{1}{\theta}[t_{1}+t_{2}+\cdots+t_{m}+(n-m)t_{0}]}, $$
$ \theta $ 的最大似然估计为
$$ \begin{array}{r}{\hat{\theta}=\frac{s(t_{0})}{m},}\end{array} $$
其中 $ s(t_{0})=t_{1}+t_{2}+\cdots+t_{m}+(n-m)t_{0} $ 称为总试验时间,它表示直至时刻 $ t_{0} $ 为止 n 个产品的试验时间的总和.
例 设电池的寿命服从指数分布,其概率密度为
$$ f(t)=\{\begin{aligned}&\frac{1}{\theta}\mathrm{e}^{-t/\theta},t>0,\\ &0,\quad t\leqslant0,\end{aligned}. $$
$ \theta>0 $ 未知.随机地取50只电池投入寿命试验,规定试验进行到其中有15只失效时结束试验,测得失效时间(小时)为
$$ \begin{array}{l} 115 \quad 119 \quad 131 \quad 138 \quad 142 \quad 147 \quad 148 \quad 155 \end{array} $$
$$ \begin{array}{l} 158 \quad 159 \quad 163 \quad 166 \quad 167 \quad 170 \quad 172 \end{array} $$
试求电池的平均寿命 $ \theta $的最大似然估计.
解 $ n=50, m=15, s(t_{15})=115+119+\cdots+170+172+(50-15)\times172=8270 $,得 $ \theta $ 的最大似然估计为
$$ \hat{\theta}=\frac{8270}{15}=551.33( 小时 ). $$
§3 估计量的评选标准
自前一节可以看到,对于同一参数,用不同的估计方法求出的估计量可能不相同,如第一节的例2和例6。而且,很明显,原则上任何统计量都可以作为未知参数的估计量。我们自然会问,采用哪一个估计量为好呢?这就涉及用什么样的标准来评价估计量的问题。下面介绍几个常用的标准。
(一)无偏性
设 $ X_{1}, X_{2}, \cdots, X_{n} $ 是总体 X 的一个样本, $ \theta \in \Theta $ 是包含在总体 X 的分布中的待估参数, 这里 $ \Theta $ 是 $ \theta $ 的取值范围.
无偏性 若估计量 $ \hat{\theta} = \hat{\theta}(X_1, X_2, \cdots, X_n) $ 的数学期望 $ E(\hat{\theta}) $ 存在,且对于任意 $ \theta \in \Theta $ 有
$$ E(\hat{\theta})=\theta, $$
则称 $ \theta $是 $ \theta $的无偏估计量.
估计量的无偏性是说对于某些样本值,由这一估计量得到的估计值相对于真值来说偏大,有些则偏小。反复将这一估计量使用多次,就“平均”来说其偏差为零。在科学技术中 $ E(\hat{\theta}) - \theta $ 称为以 $ \hat{\theta} $ 作为 $ \theta $ 的估计的系统误差。无偏估计的实际意义就是无系统误差。
例如,设总体 X 的均值为 $ \mu $,方差 $ \sigma^{2}>0 $ 均未知,由第六章(3.19)、(3.20)知
$$ E(\overline{X})=\mu,E(S^{2})=\sigma^{2}. $$
这就是说不论总体服从什么分布,样本均值 $ \overline{X} $是总体均值 $ \mu $的无偏估计;样本方差 $ S^{2}=\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2} $是总体方差的无偏估计.而估计量 $ \frac{1}{n}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2} $却不是 $ \sigma^{2} $的无偏估计,因此我们一般取 $ S^{2} $作为 $ \sigma^{2} $的估计量.
例1 设总体 X 的 k 阶矩 $ \mu_{k}=E(X^{k}) $ ( $ k\geqslant1 $) 存在,又设 $ X_{1}, X_{2}, \cdots, X_{n} $ 是 X 的一个样本。试证明不论总体服从什么分布,k 阶样本矩 $ A_{k}=\frac{1}{n}\sum_{i=1}^{n}X_{i}^{k} $ 是 k 阶总体矩 $ \mu_{k} $ 的无偏估计量。
证 $ X_{1}, X_{2}, \cdots, X_{n} $ 与 X 同分布,故有
$$ \begin{align*}E(X_{i}^{k})&=E(X^{k})=\mu_{k},\quad i=1,2,\cdots,n.\\E(A_{k})&=\frac{1}{n}\sum_{i=1}^{n}E(X_{i}^{k})=\mu_{k}.\end{align*} $$
即有
例2 设总体X服从指数分布,其概率密度为
$$ f(x;\theta)=\{\begin{aligned}&\frac{1}{\theta}e^{-x/\theta},&x&>0,\\ &0,& 其他 ,\end{aligned}. $$
其中参数 $ \theta>0 $ 为未知,又设 $ X_{1}, X_{2}, \cdots, X_{n} $ 是来自 X 的样本,试证 $ \overline{X} $ 和 nZ = n( $ \min\{X_{1}, X_{2}, \cdots, X_{n}\} $) 都是 $ \theta $ 的无偏估计量.
证 因为 $ E(\overline{X}) = E(X) = \theta $,所以 $ \overline{X} $ 是 $ \theta $ 的无偏估计量。而 $ Z = \min\{X_1, X_2, \cdots, X_n\} $ 具有概率密度
$$ f_{\min}(x;\theta)=\{\begin{aligned}&\frac{n}{\theta}e^{-nx/\theta},&x>0,\\ &0,& 其他 .\end{aligned}. $$
故知
$$ E(Z)=\frac{\theta}{n}, $$
$$ E(nZ)=\theta. $$
即 nZ 也是参数 $ \theta $ 的无偏估计量.
由此可见一个未知参数可以有不同的无偏估计量. 事实上,在本例中 $ X_{1}, X_{2}, \cdots, X_{n} $ 中的每一个都可以作为 $ \theta $ 的无偏估计量.
(二) 有效性
现在来比较参数 $ \theta $ 的两个无偏估计量 $ \hat{\theta}_{1} $ 和 $ \hat{\theta}_{2} $,如果在样本容量 n 相同的情况下, $ \hat{\theta}_{1} $ 的观察值较 $ \hat{\theta}_{2} $ 更密集在真值 $ \theta $ 的附近,我们就认为 $ \hat{\theta}_{1} $ 较 $ \hat{\theta}_{2} $ 为理想。由于
方差是随机变量取值与其数学期望(此时数学期望 $ E(\theta_{1})=E(\theta_{2})=\theta) $ 的偏离程度的度量,所以无偏估计以方差小者为好。这就引出了估计量的有效性这一概念。
有效性 设 $ \hat{\theta}_{1}=\hat{\theta}_{1}(X_{1},X_{2},\cdots,X_{n}) $ 与 $ \hat{\theta}_{2}=\hat{\theta}_{2}(X_{1},X_{2},\cdots,X_{n}) $ 都是 $ \theta $ 的无偏估计量,若对于任意 $ \theta\in\Theta $,有
$$ D(\hat{\theta}_{1})\leqslant D(\hat{\theta}_{2}) $$
且至少对于某一个 $ \theta\in\Theta $ 上式中的不等号成立,则称 $ \hat{\theta}_{1} $ 较 $ \hat{\theta}_{2} $ 有效.
例3(续例2)试证当n>1时, $ \theta $的无偏估计量 $ \overline{X} $较 $ \theta $的无偏估计量nZ有效.
证 由于 $ D(X)=\theta^{2} $,故有 $ D(\overline{X})=\theta^{2}/n $。再者,由于 $ D(Z)=\theta^{2}/n^{2} $,故有 $ D(nZ)=\theta^{2} $。当 n>1 时 $ D(nZ)>D(\overline{X}) $,故 $ \overline{X} $ 较 $ nZ $ 有效。
(三) 相合性
前面讲的无偏性与有效性都是在样本容量 n 固定的前提下提出的. 我们自然希望随着样本容量的增大, 一个估计量的值稳定于待估参数的真值. 这样, 对估计量又有下述相合性的要求.
相合性 设 $ \hat{\theta}(X_{1}, X_{2}, \cdots, X_{n}) $ 为参数 $ \theta $ 的估计量,若对于任意 $ \theta \in \Theta $,当 $ n \to \infty $ 时 $ \hat{\theta}(X_{1}, X_{2}, \cdots, X_{n}) $ 依概率收敛于 $ \theta $,则称 $ \hat{\theta} $ 为 $ \theta $ 的相合估计量.
即,若对于任意 $ \theta\in\Theta $都满足:对于任意 $ \varepsilon>0 $,有
$$ \lim_{n\to\infty}P\{|\hat{\theta}-\theta|<\varepsilon\}=1, $$
则称 $ \theta $是 $ \theta $的相合估计量.
例如由第六章§3知,样本 $ k(k\geqslant1) $阶矩是总体X的k阶矩 $ \mu_{k}=E(X^{k}) $的相合估计量,进而若待估参数 $ \theta=g(\mu_{1},\mu_{2},\cdots,\mu_{k}) $,其中g为连续函数,则 $ \theta $的矩估计量 $ \hat{\theta}=g(\hat{\mu}_{1},\hat{\mu}_{2},\cdots,\hat{\mu}_{k})=g(A_{1},A_{2},\cdots,A_{k}) $是 $ \theta $的相合估计量.
由最大似然估计法得到的估计量,在一定条件下也具有相合性。其详细讨论已超出本书范围,从略。
相合性是对一个估计量的基本要求,若估计量不具有相合性,那么不论将样本容量 n 取得多么大,都不能将 $ \theta $ 估计得足够准确,这样的估计量是不可取的。
上述无偏性、有效性、相合性是评价估计量的一些基本标准,其他的标准这里就不讲了.
§4 区间估计
对于一个未知量,人们在测量或计算时,常不以得到近似值为满足,还需估计误差,即要求知道近似值的精确程度(亦即所求真值所在的范围)。类似地,对于未知参数 $ \theta $,除了求出它的点估计 $ \hat{\theta} $ 外,我们还希望估计出一个范围,并希望知道这个范围包含参数 $ \theta $ 真值的可信程度。这样的范围通常以区间的形式给出,同时还给出此区间包含参数 $ \theta $ 真值的可信程度。这种形式的估计称为区间估计,这样的区间即所谓置信区间。现在我们引入置信区间的定义。
置信区间 设总体 X 的分布函数 $ F(x; \theta) $ 含有一个未知参数 $ \theta, \theta \in \Theta $ ( $ \Theta $ 是 $ \theta $ 可能取值的范围),对于给定值 $ \alpha (0 < \alpha < 1) $,若由来自 X 的样本 $ X_1, X_2, \cdots, X_n $ 确定的两个统计量 $ \underline{\theta} = \underline{\theta}(X_1, X_2, \cdots, X_n) $ 和 $ \bar{\theta} = \bar{\theta}(X_1, X_2, \cdots, X_n) $ ( $ \underline{\theta} < \bar{\theta} $),对于任意 $ \theta \in \Theta $ 满足
$$ P\{\underline{\theta}(X_{1},X_{2},\cdots,X_{n})<\theta<\overline{\theta}(X_{1},X_{2},\cdots,X_{n})\}\geqslant1-\alpha $$
则称随机区间 $ (\underline{\theta},\underline{\theta}) $是 $ \theta $的置信水平为 $ 1-\alpha $的置信区间, $ \underline{\theta} $和 $ \underline{\theta} $分别称为置信水平为 $ 1-\alpha $的双侧置信区间的置信下限和置信上限, $ 1-\alpha $称为置信水平.
当 X 是连续型随机变量时,对于给定的 $ \alpha $,我们总是按要求 $ P\{\frac{\theta}{\theta}<\theta<\bar{\theta}\}=1-\alpha $ 求出置信区间.而当 X 是离散型随机变量时,对于给定的 $ \alpha $,常常找不到区间 $ (\theta,\bar{\theta}) $ 使得 $ P\{\frac{\theta<\theta<\bar{\theta}}{\theta}\} $ 恰为 $ 1-\alpha $。此时我们去找区间 $ (\theta,\bar{\theta}) $ 使得 $ P\{\frac{\theta<\theta<\bar{\theta}}{\theta}\} $ 至少为 $ 1-\alpha $,且尽可能地接近 $ 1-\alpha $。
(4.1)式的含义如下:若反复抽样多次(各次得到的样本的容量相等,都是n).每个样本值确定一个区间 $ (\theta,\bar{\theta}) $,每个这样的区间要么包含 $ \theta $的真值,要么不包含 $ \theta $的真值(参见图7-1).按伯努利大数定理,在这么多的区间中,包含 $ \theta $真值的约占100(1- $ \alpha\})\%,不包含 $ \theta $真值的约仅占100 $ \alpha\% $.例如,若 $ \alpha=0.01 $,反复抽样1000次,则得到的1000个区间中不包含 $ \theta $真值的约仅为10个.$
例1 设总体 $ X \sim N(\mu, \sigma^{2}) $, $ \sigma^{2} $ 为已知, $ \mu $ 为未知,设 $ X_{1}, X_{2}, \cdots, X_{n} $ 是来自 X 的样本,求 $ \mu $ 的置信水平为 $ 1 - \alpha $ 的置信区间.
解 我们知道 $ \bar{X} $ 是 $ \mu $ 的无偏估计. 且有
$$ \frac{\overline{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1). $$
$ \frac{X-\mu}{\sigma/\sqrt{n}} $所服从的分布 $ N(0,1) $不依赖于任何未知参数.按标准正态分布的上 $ \alpha $分位点的定义,有(参见图7-2)
$$ P\{|\frac{\overline{X}-\mu}{\sigma/\sqrt{n}}| 即 $$ P\{\overline{X}-\frac{\sigma}{\sqrt{n}}z_{a/2}<\mu<\overline{X}+\frac{\sigma}{\sqrt{n}}z_{a/2}\}=1-\alpha. $$ 这样,我们就得到了 $ \mu $的一个置信水平为 $ 1-\alpha $的置信区间 $$ \left(\overline{{X}}-\frac{\sigma}{\sqrt{n}}\mathcal{Z}_{\alpha/2},\quad\overline{{X}}+\frac{\sigma}{\sqrt{n}}\mathcal{Z}_{\alpha/2}\right). $$ 这样的置信区间常写成 $$ \left(\overline{X}\pm\frac{\sigma}{\sqrt{n}}z_{\alpha/2}\right). $$ 如果取 $ 1 - \alpha = 0.95 $,即 $ \alpha = 0.05 $,又若 $ \sigma = 1, n = 16 $,查表得 $ z_{\alpha/2} = z_{0.025} = 1.96 $。于是我们得到一个置信水平为 0.95 的置信区间 $$ \left(\overline{X}\pm\frac{1}{\sqrt{16}}\times1.96\right),\quad 即 (\overline{X}\pm0.49). $$ 再者,若由一个样本值算得样本均值的观察值 $ \bar{x}=5.20 $,则得到一个区间 $ (5.20\pm0.49) $,即(4.71,5.69). 注意,这已经不是随机区间了。但我们仍称它为置信水平为0.95的置信区间。其含义是:若反复抽样多次,每个样本值(n=16)按(4.7)式确定一个区间,按上面的解释,在这么多的区间中,包含 $ \mu $的约占95%,不包含 $ \mu $的约仅占5%。现在抽样得到区间(4.71,5.69),则该区间属于那些包含 $ \mu $的区间的可信程度为95%,或“该区间包含 $ \mu $”这一陈述的可信程度为95%。 置信水平为 $ 1-\alpha $ 的置信区间并不是唯一的. 以例 1 来说, 若给定 $ \alpha=0.05 $, 则又有 $$ P\{-z_{0.04}<\frac{\overline{X}-\mu}{\sigma/\sqrt{n}} 即 $$ \begin{aligned}P\{\overline{X}-\frac{\sigma}{\sqrt{n}}z_{0.01}<\mu<\overline{X}+\frac{\sigma}{\sqrt{n}}z_{0.04}\}&=0.95.\\(\overline{X}-\frac{\sigma}{\sqrt{n}}z_{0.01},\overline{X}+\frac{\sigma}{\sqrt{n}}z_{0.04})\end{aligned} $$ 故 也是 $ \mu $ 的置信水平为 0.95 的置信区间. 我们将它与 (4.5) 中令 $ \alpha=0.05 $ 所得的置信水平为 0.95 的置信区间相比较,可知由 (4.5) 所确定的区间的长度为 $ 2 \times \frac{\sigma}{\sqrt{n}} z_{0.025} = 3.92 \times \frac{\sigma}{\sqrt{n}} $,这一长度要比区间 (4.8) 的长度 $ \frac{\sigma}{\sqrt{n}} (z_{0.04} + z_{0.01}) = 4.08 \times \frac{\sigma}{\sqrt{n}} $ 为短. 置信区间短表示估计的精度高. 故由 (4.5) 给出的区间较 (4.8) 为优. 易知,像 N(0,1) 分布那样其概率密度的图形是单峰且对称的情况,当 n 固定时,以形如 (4.5) 那样的区间其长度为最短,我们自然选用它. 参考例 1 可得寻求未知参数 $ \theta $ 的置信区间的具体做法如下. $ 1^{\circ} $ 寻求一个样本 $ X_{1}, X_{2}, \cdots, X_{n} $ 和 $ \theta $ 的函数 $ W = W(X_{1}, X_{2}, \cdots, X_{n}; \theta) $,使得 W 的分布不依赖于 $ \theta $ 以及其他未知参数,称具有这种性质的函数 W 为枢轴量. $ 2^{\circ} $ 对于给定的置信水平 $ 1-\alpha $,定出两个常数 a, b 使得 $$ P\{a 若能从 $ a 函数 $ W(X_{1}, X_{2}, \cdots, X_{n}; \theta) $ 的构造,通常可以从 $ \theta $ 的点估计着手考虑。常用的正态总体的参数的置信区间可以用上述步骤推得。 设已给定置信水平为 $ 1-\alpha $,并设 $ X_{1}, X_{2}, \cdots, X_{n} $ 为总体 $ N(\mu, \sigma^{2}) $ 的样本. $ \overline{X} $, $ S^{2} $ 分别是样本均值和样本方差. (1) $ \sigma^{2} $ 为已知,此时由 §4 例 1 采用(4.2)中的枢轴量 $ \frac{X-\mu}{\sigma/\sqrt{n}} $,已得到 $ \mu $ 的一个置信水平为 $ 1-\alpha $ 的置信区间为 $$ \left(\overline{X}\pm\frac{\sigma}{\sqrt{n}}z_{\alpha/2}\right). $$ (2) $ \sigma^{2} $ 为未知,此时不能使用(5.1)给出的区间,因其中含未知参数 $ \sigma $。考虑到 $ S^{2} $ 是 $ \sigma^{2} $ 的无偏估计,将(4.2)中的 $ \sigma $换成 $ S=\sqrt{S^{2}} $,由第六章§3定理三,知 $$ \frac{\overline{X}-\mu}{S/\sqrt{n}}\sim t(n-1), $$ 并且右边的分布 $ t(n-1) $ 不依赖于任何未知参数。使用 $ \frac{\overline{X}-\mu}{S/\sqrt{n}} $ 作为枢轴量可得(参见 图7-3 $$ P\{-t_{a/2}(n-1)<\frac{\overline{X}-\mu}{S/\sqrt{n}} 即 $$ P\{\overline{X}-\frac{S}{\sqrt{n}}t_{\alpha/2}(n-1)<\mu<\overline{X}+\frac{S}{\sqrt{n}}t_{\alpha/2}(n-1)\}=1-\alpha. $$ 于是得 $ \mu $ 的一个置信水平为 $ 1-\alpha $ 的置信区间 $$ \left(\overline{X}\pm\frac{S}{\sqrt{n}}t_{a/2}(n-1)\right). $$ 例 1 有一大批糖果. 现从中随机地取 16 袋, 称得重量 (以 g 计) 如下: 设袋装糖果的重量近似地服从正态分布,试求总体均值 $ \mu $ 的置信水平为 0.95 的置信区间. 解 这里 $ 1-\alpha=0.95 $, $ \alpha/2=0.025 $,n-1=15, $ t_{0.025}(15)=2.1315 $,由给出的数据算得 $ \bar{x}=503.75 $,s=6.2022。由(5.4)式得均值 $ \mu $ 的一个置信水平为 0.95 的置信区间为 $$ \left(503.75\pm\frac{6.2022}{\sqrt{16}}\times2.1315\right), $$ 即 (500.4, 507.1). 这就是说估计袋装糖果重量的均值在 500.4g 与 507.1g 之间,这个估计的可信度度为 95%. 若以此区间内任一值作为 $ \mu $ 的近似值,其误差不大于 $ \frac{6.2022}{\sqrt{16}} \times 2.1315 \times 2 = 6.61 $ (g),这个误差估计的可信度度为 95%. 在实际问题中,总体方差 $ \sigma^{2} $ 未知的情况居多,故区间(5.4)较区间(5.1)有更大的实用价值. 此处,根据实际问题的需要,只介绍 $ \mu $ 未知的情况. $ \sigma^{2} $ 的无偏估计为 $ S^{2} $,由第六章 §3 定理二知 $$ \frac{(n-1)S^{2}}{\sigma^{2}}\sim\chi^{2}(n-1) $$ 并且上式右端的分布不依赖于任何未知参数,取 $ \frac{(n-1)S^{2}}{\sigma^{2}} $作为枢轴量,即得(参见图7-4) $$ P\{\chi_{1-\alpha/2}^{2}(n-1)<\frac{(n-1)S^{2}}{\sigma^{2}}<\chi_{\alpha/2}^{2}(n-1)\}=1-\alpha, $$ 即 $$ P\{\frac{(n-1)S^{2}}{\chi^{2}_{a/2}(n-1)}<\sigma^{2}<\frac{(n-1)S^{2}}{\chi^{2}_{1-a/2}(n-1)}\}=1-\alpha. $$ 这就得到方差 $ \sigma^{2} $ 的一个置信水平为 $ 1-\alpha $ 的置信区间 $$ \left(\frac{(n-1)S^{2}}{\chi_{a/2}^{2}(n-1)},\frac{(n-1)S^{2}}{\chi_{1-a/2}^{2}(n-1)}\right). $$ 由(5.6) $ ^{\prime} $式,还可得到标准差 $ \sigma $的一个置信水平为 $ 1-\alpha $的置信区间 $$ \left(\frac{\sqrt{n-1}S}{\sqrt{\chi_{a/2}^{2}(n-1)}},\frac{\sqrt{n-1}S}{\sqrt{\chi_{1-a/2}^{2}(n-1)}}\right). $$ 注意,在密度函数不对称时,如 $ \chi^{2} $ 分布和 F 分布,习惯上仍是取对称的分位点(如图 7-4 中的上分位点 $ \chi_{1-a/2}^{2}(n-1) $ 与 $ \chi_{a/2}^{2}(n-1) $)来确定置信区间的. 例2 求例1中总体标准差 $ \sigma $的置信水平为0.95的置信区间. 解 现在 $ \alpha/2=0.025,1-\alpha/2=0.975,n-1=15 $ ,查表得 $ \chi_{0.025}^{2}(15)=27.488,\chi_{0.975}^{2}(15)=6.262 $ ,又 s=6.2022 ,由(5.8)式得所求的标准差 $ \sigma $ 的一个置信水平为 0.95 的置信区间为 (4.58, 9.60). (二)两个总体 $ N(\mu_{1},\sigma_{1}^{2}),N(\mu_{2},\sigma_{2}^{2}) $的情况 在实际中常遇到下面的问题:已知产品的某一质量指标服从正态分布,但由于原料、设备条件、操作人员不同,或工艺过程的改变等因素,引起总体均值、总体方差有所改变。我们需要知道这些变化有多大,这就需要考虑两个正态总体均值差或方差比的估计问题。 设已给定置信水平为 $ 1-\alpha $,并设 $ X_{1}, X_{2}, \cdots, X_{n_{1}} $ 是来自第一个总体的样本; $ Y_{1}, Y_{2}, \cdots, Y_{n_{2}} $ 是来自第二个总体的样本,这两个样本相互独立。且设 $ \overline{X}, \overline{Y} $ 分别为第一、第二个总体的样本均值, $ S_{1}^{2}, S_{2}^{2} $ 分别是第一、第二个总体的样本方差。 (1) $ \sigma_{1}^{2} $, $ \sigma_{2}^{2} $ 均为已知。因 $ \overline{X} $, $ \overline{Y} $ 分别为 $ \mu_{1} $, $ \mu_{2} $ 的无偏估计,故 $ \overline{X}-\overline{Y} $ 是 $ \mu_{1}-\mu_{2} $ 的无偏估计。由 $ \overline{X} $, $ \overline{Y} $ 的独立性以及 $ \overline{X}\sim N(\mu_{1},\sigma_{1}^{2}/n_{1}) $, $ \overline{Y}\sim N(\mu_{2},\sigma_{2}^{2}/n_{2}) $ 得 $$ \bar{X}-\bar{Y}\sim N\left(\mu_{1}-\mu_{2},\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}\right) $$ 或 $$ \frac{(\overline{X}-\overline{Y})-(\mu_{1}-\mu_{2})}{\sqrt{\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}}}\sim N(0,1), $$ 取(5.9)左边的函数为枢轴量,即得 $ \mu_{1}-\mu_{2} $ 的一个置信水平为 $ 1-\alpha $ 的置信区间 $$ \left(\overrightarrow{X}-\overrightarrow{Y}\pm\boldsymbol{z}_{a/2}\sqrt{\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}}\right). $$ (2)$\sigma_{1}^{2}=\sigma_{2}^{2}=\sigma^{2}$,但$\sigma^{2}$为未知.此时,由第六章§3定理四 $$ \frac{(\overline{X}-\overline{Y})-(\mu_{1}-\mu_{2})}{S_{w}\sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}}\sim t(n_{1}+n_{2}-2). $$ 取(5.11)左边的函数为枢轴量,可得 $ \mu_{1}-\mu_{2} $ 的一个置信水平为 $ 1-\alpha $ 的置信区间为 $$ \left(\overline{X}-\overline{Y}\pm t_{a/2}\left(n_{1}+n_{2}-2\right)S_{w}\sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}\right). $$ 此处 $$ S_{w}^{2}=\frac{\left(n_{1}-1\right)S_{1}^{2}+\left(n_{2}-1\right)S_{2}^{2}}{n_{1}+n_{2}-2},S_{w}=\sqrt{S_{w}^{2}}. $$ 例3 为比较Ⅰ,Ⅱ两种型号步枪子弹的枪口速度,随机地取Ⅰ型子弹10发,得到枪口速度的平均值为 $ \bar{x}_{1}=500\ m/s $,标准差 $ s_{1}=1.10\ m/s $,随机地取Ⅱ型子弹20发,得到枪口速度的平均值为 $ \bar{x}_{2}=496\ m/s $。标准差 $ s_{2}=1.20\ m/s $。假设两总体都可认为近似地服从正态分布。且由生产过程可认为方差相等。求两总体均值差 $ \mu_{1}-\mu_{2} $的一个置信水平为0.95的置信区间。 解 按实际情况,可认为分别来自两个总体的样本是相互独立的。又因由假设两总体的方差相等,但数值未知,故可用(5.12)式求均值差的置信区间。由于 $ 1 - \alpha = 0.95 $, $ \alpha/2 = 0.025 $, $ n_1 = 10 $, $ n_2 = 20 $, $ n_1 + n_2 - 2 = 28 $, $ t_{0.025}(28) = 2.0484 $。 $ s_w^2 = (9 \times 1.10^2 + 19 \times 1.20^2)/28 $, $ s_w = \sqrt{s_w^2} = 1.1688 $,故所求的两总体均值差 $ \mu_1 - \mu_2 $ 的一个置信水平为 0.95 的置信区间是 $$ \left(\overline{x}_{1}-\overline{x}_{2}\pm s_{w}\times t_{0.025}(28)\sqrt{\frac{1}{10}+\frac{1}{20}}\right)=(4\pm0.93) $$ 即 本题中得到的置信区间的下限大于零,在实际中我们就认为 $ \mu_{1} $ 比 $ \mu_{2} $ 大. ☐ 例4 为提高某一化学生产过程的得率,试图采用一种新的催化剂。为慎重起见,在实验工厂先进行试验。设采用原来的催化剂进行了 $ n_{1}=8 $次试验,得到得率的平均值 $ \bar{x}_{1}=91.73 $,样本方差 $ s_{1}^{2}=3.89 $;又采用新的催化剂进行了 $ n_{2}=8 $ 次试验,得到得率的平均值 $ \bar{x}_{2}=93.75 $,样本方差 $ s_{2}^{2}=4.02 $。假设两总体都可认为服从正态分布,且方差相等,两样本独立。试求两总体均值差 $ \mu_{1}-\mu_{2} $ 的置信水平为 0.95 的置信区间。 解 现在 $$ s_{w}^{2}=\frac{(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}}{n_{1}+n_{2}-2}=3.96,s_{w}=\sqrt{3.96}. $$ 由(5.12)式得所求的置信区间为 $$ \left(\overline{x}_{1}-\overline{x}_{2}\pm t_{0.025}(14)s_{w}\sqrt{\frac{1}{8}+\frac{1}{8}}\right)=(-2.02\pm2.13) $$ 即 $ (-4.15, 0.11) $. 由于所得置信区间包含零,在实际中我们就认为采用这两种催化剂所得的得率的均值没有显著差别. 我们仅讨论总体均值 $ \mu_{1}, \mu_{2} $ 均为未知的情况,由第六章§3定理四 $$ \frac{S_{1}^{2}/S_{2}^{2}}{\sigma_{1}^{2}/\sigma_{2}^{2}}\sim F(n_{1}-1,n_{2}-1), $$ 并且分布 $ F(n_{1}-1,n_{2}-1) $ 不依赖任何未知参数. 取 $ \frac{S_{1}^{2}/S_{2}^{2}}{\sigma_{1}^{2}/\sigma_{2}^{2}} $ 为枢轴量得 $$ P\{F_{1-a/2}(n_{1}-1,n_{2}-1)<\frac{S_{1}^{2}/S_{2}^{2}}{\sigma_{1}^{2}/\sigma_{2}^{2}} 即 $$ P\{\frac{S_{1}^{2}}{S_{2}^{2}}\frac{1}{F_{\alpha/2}(n_{1}-1,n_{2}-1)}<\frac{\sigma_{1}^{2}}{\sigma_{2}^{2}}<\frac{S_{1}^{2}}{S_{2}^{2}}\frac{1}{F_{1-\alpha/2}(n_{1}-1,n_{2}-1)}\}=1-\alpha. $$ 于是得 $ \sigma_{1}^{2}/\sigma_{2}^{2} $ 的一个置信水平为 $ 1-\alpha $ 的置信区间为 $$ \left(\frac{S_{1}^{2}}{S_{2}^{2}},\frac{1}{F_{a/2}(n_{1}-1,n_{2}-1)},\frac{S_{1}^{2}}{S_{2}^{2}},\frac{1}{F_{1-a/2}(n_{1}-1,n_{2}-1)}\right). $$ 例5 研究由机器A和机器B生产的钢管的内径(单位:mm),随机抽取机器A生产的管子18只,测得样本方差 $ s_{1}^{2}=0.34 $;抽取机器B生产的管子13只,测得样本方差 $ s_{2}^{2}=0.29 $。设两样本相互独立,且设由机器A,机器B生产的管子的内径分别服从正态分布 $ N(\mu_{1},\sigma_{1}^{2}) $, $ N(\mu_{2},\sigma_{2}^{2}) $,这里 $ \mu_{i} $, $ \sigma_{i}^{2}(i=1,2) $均未知。试求方差比 $ \sigma_{1}^{2}/\sigma_{2}^{2} $的置信水平为0.90的置信区间。 解 现在 $ n_{1}=18, s_{1}^{2}=0.34, n_{2}=13, s_{2}^{2}=0.29, \alpha=0.10, F_{a/2}(n_{1}-1, n_{2}-1) = F_{0.05}(17,12) = 2.59, F_{1-\alpha/2}(17,12) = F_{0.95}(17,12) = \frac{1}{F_{0.05}(12,17)} = \frac{1}{2.38} $,于 是由(5.16)式得 $ \sigma_{1}^{2}/\sigma_{2}^{2} $ 的一个置信水平为0.90的置信区间为 $$ \left(\frac{0.34}{0.29}\times\frac{1}{2.59},\quad\frac{0.34}{0.29}\times2.38\right), $$ 即 $$ (0.45,2.79). $$ 由于 $ \sigma_{1}^{2}/\sigma_{2}^{2} $ 的置信区间包含 1,在实际中我们就认为 $ \sigma_{1}^{2},\sigma_{2}^{2} $ 两者没有显著差别. 设有一容量 n>50 的大样本,它来自(0-1)分布的总体 X,X 的分布律为 $$ f(x;p)=p^{x}(1-p)^{1-x},x=0,1, $$ 其中 p 为未知参数. 现在来求 p 的置信水平为 $ 1-\alpha $ 的置信区间. 已知(0-1)分布的均值和方差分别为 $$ \mu=p,\quad\sigma^{2}=p(1-p). $$ 设 $ X_{1}, X_{2}, \cdots, X_{n} $ 是一个样本。因样本容量 n 较大,由中心极限定理,知 $$ \frac{\sum_{i=1}^{n}X_{i}-np}{\sqrt{np(1-p)}}=\frac{n\overline{X}-np}{\sqrt{np(1-p)}} $$ 近似地服从 N(0,1) 分布,于是有

§5 正态总体均值与方差的区间估计
(一) 单个总体 $ N(\mu,\sigma^{2}) $的情况
1. 均值 $ \mu $ 的置信区间

506 508 499 503 504 510 497 512 514 505 493 496 506 502 509 496 2. 方差 $ \sigma^{2} $ 的置信区间

§6 (0-1) 分布参数的区间估计

