第7章 参数估计

第七章 参数估计

本章介绍经典的估计方法，主要介绍总体参数的估计，包括参数的点估计和区间估计。点估计中将介绍矩法估计、最大似然估计和顺序统计量估计等方法，并简单讨论评价估计量优劣的基本标准。区间估计主要介绍正态总体参数的区间估计。

§7.1 参数的点估计

简单地讲，所谓参数的点估计，就是找一个合适的统计量，将样本观测值代入该统计量得到的值就作为该参数的估计，而参数的区间估计则是找两个统计量，以其中一个为左端点、另一个为右端点，构成一个可能包含该参数的一个随机区间.

在不考虑估计量优劣时，参数的点估计方法都是很直观的，或者说其思想都是很基本的。这一点请读者留意体会。

7.1.1 矩法估计

矩法估计的想法来自大数定律（参见 5.1 节的定理 5.1.1 和定理 5.1.2）。如果总体 X 存在 k 阶矩，则由定理 5.1.1 知，对任 $ \varepsilon \gt 0 $ 有

$$ \lim_{n\to\infty}P\left(\left|\frac{1}{n}\sum_{i=1}^{n} X_{i}^{k}-E[X^{k}]\right|\geqslant\varepsilon\right)=0. $$

这说明，当样本容量较大时，样本 k 阶矩 $ \frac{1}{n}\sum_{i=1}^{n}X_{i}^{k} $ 与总体 k 阶矩 $ E[X^{k}] $ 差别很小.

所谓矩法估计，就是用样本 k 阶矩估计总体 k 阶矩. (7.1.1) 说明这种估计方法是有理论依据的. 另外，通常总体各阶矩都与总体参数有关，从而可以通过用样本 k 阶矩估计总体 k 阶矩来实现对参数的估计.

设总体 $ X \sim F_{X}(\cdot, \theta) $，通常用 $ \theta_{M} $ 来记 $ \theta $ 的矩法估计量，它是样本 $ (X_{1}, X_{2}, \cdots, X_{n}) $ 的一个函数，比如记为 $ \widehat{\theta}_{M} = T(X_{1}, X_{2}, \cdots, X_{n}) $，从而 $ \widehat{\theta}_{M} $ 是一个随机变量。将样本观测值 $ (x_{1}, x_{2}, \cdots, x_{n}) $ 代入估计量 $ \widehat{\theta}_{M} $ 所得的数值 $ T(x_{1}, x_{2}, \cdots, x_{n}) $，我

们称为参数 $ \theta $的矩法估计值.

下面我们通过几个例子，进一步说明矩法估计。

例 7.1.1 试用参数的矩法估计，估计一批某种产品的不合格品率.

解 由于一件产品要么为合格品要么为不合格品, 所以此时总体 $ X \sim B(1, p) $, 抽到不合格品时 X 取值为 1, 否则取值为 0. 即不合格品率 p = P(X = 1).

现设我们通过抽取，得到了样本 $ (X_{1}, X_{2}, \cdots, X_{n}) $。由于 $ E[X] = p $，则由矩法估计的想法，就该用样本均值 $ \overline{X} $来估计p，亦即 $ \widehat{p}_{M} = \overline{X} $。也就是说，如果我们抽取了100件产品，发现其中恰有3件不合格品，则认为该批产品的不合格品率为3%。

例 7.1.2 长期的生产经验告诉我们，水泥厂成品打包机装袋的重量服从正态分布，试用矩法估计来估计一台打包机装袋的重量的均值和标准差.

解 设装袋的重量为 X，样本为 $ (X_{1}, X_{2}, \cdots, X_{n}) $，由题设 $ X \sim N(\mu, \sigma^{2}) $ 和 $ E[X] = \mu, \mathrm{Var}[X] = \sigma^{2} $，即

$$ \{\begin{aligned}{\mu}&{{}=E[X],}\\ {\sigma^{2}}&{{}=E[X^{2}]-(E[X])^{2}.}\\ \end{aligned}. $$

从而，依矩法估计，应有

$$ \{\begin{aligned}{\widehat{\mu}_{M}}&{{}=\overline{{X}},}\\ {\widehat{\sigma^{2}}_{M}}&{{}=\frac{1}{n}\sum_{i=1}^{n}X^{2}-(\overline{{X}})^{2}.}\\ \end{aligned}. $$

由于 $ \frac{1}{n}\sum_{i=1}^{n}X_{i}^{2}-(\overline{X})^{2}=S_{n}^{2} $，所以

$$ \{\begin{array}{l}\widehat{\mu}_{M}=\overline{X},\\\widehat{\sigma}_{M}=S_{n}.\end{array}. $$

在例 7.1.2 中，我们通过用样本 1,2 阶原点矩分别估计总体 1,2 阶原点矩得到的方差 $ \sigma^{2} $（总体 2 阶中心矩）的估计量恰好也是样本 2 阶中心矩 $ S_{n}^{2} $。这一事实不是巧合而是必然的，容易证明，如果我们用样本各阶矩估计总体各阶矩，则必然是用样本各阶中心矩估计总体各阶中心矩。反之亦然。

例 7.1.3 设总体在某一区间上均匀取值，试用矩法估计该区间的左、右端点.

解 由题意设 $ X \sim U[a, b] $，则 $ E[X] = \frac{a + b}{2} $， $ \mathrm{Var}[X] = \frac{(b - a)^2}{12} $，即

$$ \{\begin{aligned}{a}&{{}=E[X]-\sqrt{3\operatorname{V a r}[X]},}\\ {b}&{{}=E[X]+\sqrt{3\operatorname{V a r}[X]}.}\\ \end{aligned}. $$

从而，依矩法估计，应有（从此二元一次方程解出 a 和 b，并用 $ \overline{X} $ 代替 $ E[X] $，用 $ S_n^2 $ 代替 $ \mathrm{Var}[X] $，再用 $ \widehat{a}_M $ 代替 a，用 $ \widehat{b}_M $ 代替 b）

$$ \{\begin{aligned}{\widehat{a}_{M}}&{{}=\overline{{X}}-\sqrt{3}\;S_{n},}\\ {\widehat{b}_{M}}&{{}=\overline{{X}}+\sqrt{3}\;S_{n}.}\\ \end{aligned}. $$

例 7.1.4 设总体 X 的分布密度函数为

$$ f_{X}(x,\theta)=\frac{\theta}{2}\mathrm{e}^{-\theta|x|},\quad-\infty\lt x\lt \infty,\ \theta\gt 0. $$

试求 $ \theta $的矩法估计.

解 先求 $ E[X] $，看看它与参数 $ \theta $ 的关系。由于

$$ E[X]=\int_{-\infty}^{\infty}x\ \frac{\theta}{2}\ \mathrm{e}^{-\theta|x|}\mathrm{d}x=0 $$

与参数 $ \theta $ 无关，我们想到试算 $ E[|X|] $。由于

$$ E[|X|]=\int_{-\infty}^{\infty}|x|\frac{\theta}{2}\mathrm{e}^{-\theta|x|}\mathrm{d}x=\int_{0}^{\infty}x\theta\mathrm{e}^{-\theta x}\mathrm{d}x=\frac{1}{\theta}, $$

即 $ \theta = \frac{1}{E[|X|]} $，从而，依矩法估计，应有

$$ \widehat{\theta}_{M}=\frac{1}{|\overline{{X}}|}=\frac{n}{\sum_{i=1}^{n}|X_{i}|}. $$

在例7.1.4中，还可由

$$ E[X^{2}]=\int_{-\infty}^{\infty}x^{2}\ \frac{\theta}{2}\ \mathrm{e}^{-\theta|x|}\mathrm{d}x=\int_{0}^{\infty}x^{2}\theta\ \mathrm{e}^{-\theta x}\mathrm{d}x=\frac{2}{\theta^{2}} $$

得到 $ \theta $ 的另外一个矩法估计量为 $ \sqrt{2n/\sum_{i=1}^{n}X_{i}^{2}} $.

由以上的例子, 我们可以总结出如下矩法估计的一般步骤.

设总体 $ X \sim F_{X}(\cdot, \theta_{1}, \theta_{2}, \cdots, \theta_{l}) $，先计算 X 的从 1 到 l 的各阶矩，得到各阶矩与参数的关系

$$ \{\begin{aligned}E[X]&=g_{1}(\theta_{1},\theta_{2},\cdots,\theta_{l}),\\ E[X^{2}]&=g_{2}(\theta_{1},\theta_{2},\cdots,\theta_{l}),\\ &\cdots\cdots\\ E[X^{l}]&=g_{l}(\theta_{1},\theta_{2},\cdots,\theta_{l}).\end{aligned}. $$

由这些关系式中解出

$$ \{\begin{aligned}\theta_{1}&=h_{1}(E[X],E[X^{2}],\cdots,E[X^{l}]),\\ \theta_{2}&=h_{2}(E[X],E[X^{2}],\cdots,E[X^{l}]),\\ &\cdots\cdots\\ \theta_{l}&=h_{l}(E[X],E[X^{2}],\cdots,E[X^{l}]).\end{aligned}. $$

最后，将(7.1.3)右端函数中的总体各阶原点矩用样本各阶原点矩代替，再将 $ \theta_{1},\theta_{2},\cdots,\theta_{l} $换成 $ \widehat{\theta}_{1M},\widehat{\theta}_{2M},\cdots,\widehat{\theta}_{lM} $即得.

7.1.2 最大似然估计

参数的最大似然估计的想法基于大家普遍接受的一个事实，这个事实为“小概率事件在一次试验中几乎不可能发生”。换言之，在一次试验中发生的事件，其发生的概率应该比较大。所以，若总体 $ X \sim F_{X}(\cdot,\theta) $，当我们有了一组样本观测值 $ (x_{1},x_{2},\cdots,x_{n}) $ 时， $ \theta $ 的取值应该使得样本观测值 $ (x_{1},x_{2},\cdots,x_{n}) $ 出现的可能性较大。为确定出 $ \theta $ 的具体估计量，我们要求 $ \theta $ 的取值应该使得样本观测值 $ (x_{1},x_{2},\cdots,x_{n}) $ 出现的可能性达到最大。

我们以总体 X 为连续型随机变量的情形来解释如何得到参数的最大似然估计.

设 X 的分布密度函数为 $ f_{X}(\cdot,\theta) $，大家知道，若 $ f_{X}(x,\theta) $ 在 x = x_{0} 处取值较大，则 X 取值为 x_{0} 附近的概率也较大。于是我们要求 $ \theta $ 的取值使得 $ (X_{1},X_{2},\cdots,X_{n}) $ 的联合密度函数在样本观测值 $ (x_{1},x_{2},\cdots,x_{n}) $ 处取到最大。记 $ (X_{1},X_{2},\cdots,X_{n}) $ 的联合密度函数为 $ L(x_{1},x_{2},\cdots,x_{n};\theta) $，则由命题 6.1.1 知，

$$ L(x_{1},x_{2},\cdots,x_{n};\theta)=\prod_{i=1}^{n}f_{X}(x_{i},\theta). $$

我们称 L 为 X 的似然函数.

至此，我们将求参数 $ \theta $ 的最大似然估计的问题，归结为在已有样本观测值 $ (x_{1},x_{2},\cdots,x_{n}) $ 前提下，寻求 $ L(x_{1},x_{2},\cdots,x_{n};\theta) $ 的最大值点 $ \theta $ 的问题。记该最大值点为 $ \theta = T(x_{1},x_{2},\cdots,x_{n}) $，则 $ \theta $ 的最大似然估计量就为

$$ \widehat{\theta}_{L}=T(X_{1},X_{2},\cdots,X_{n}). $$

为了求得 $ L(x_1, x_2, \cdots, x_n; \theta) $ 的最大值点，往往通过求它的驻点，即关于 $ \theta $ 的导数为 0 的点，但 (7.1.4) 为 n 个函数的乘积，求导比较繁琐。通常可利用对数函数 $ \ln $ 的单调性，将问题转化为求 $ \ln(L(x_1, x_2, \cdots, x_n; \theta)) $ 的最大值点。

例 7.1.5 据经验，进入稳态期的生产线生产出的液晶电视机的使用寿命服从指数分布，试用最大似然估计方法估计该厂生产线生产出的液晶电视机的平均寿命.

解 由题意设 $ X \sim \exp(\lambda) $，样本观测值为 $ (x_{1}, x_{2}, \cdots, x_{n}) $，当 x_{i} \gt 0 (i = 1, 2, $ \cdots $, n) 时，X 的似然函数为

$$ L(x_{1},x_{2},\cdots,x_{n};\lambda)=\lambda\mathrm{e}^{-\lambda x_{1}}\;\lambda\mathrm{e}^{-\lambda x_{2}}\cdots\lambda\mathrm{e}^{-\lambda x_{n}}=\lambda^{n}\mathrm{e}^{-\lambda\sum_{i=1}^{n}x_{i}}. $$

从而

$$ \ln(L(x_{1},x_{2},\cdots,x_{n};\lambda))=n\ln(\lambda)-\lambda\sum_{i=1}^{n}x_{i}. $$

上式两边关于 $ \lambda $ 求导数，并令其为 0 得

$$ \frac{\partial\ln L}{\partial\lambda}=\frac{n}{\lambda}-\sum_{i=1}^{n}x_{i}=0, $$

即

$$ \lambda=\frac{n}{\displaystyle\sum_{i=1}^{n}x_{i}}, $$

最终得 $ \lambda $ 的最大似然估计量为

$$ \widehat{\lambda}_{L}=\frac{n}{\displaystyle\sum_{i=1}^{n}X_{i}}=\frac{1}{\overline{X}}. $$

也就是,该厂生产线生产出的液晶电视机的平均寿命的最大似然估计量为 $ 1/\overline{X} $. □

例 7.1.6 据多年观测记录的经验，每年广州出现暴雨天气的天数服从泊松分布，试用最大似然法估计广州每年出现暴雨天气的平均天数.

解 由题意设 $ X \sim \text{Pois}(\lambda) $，样本观测值为 $ (x_{1}, x_{2}, \cdots, x_{n}) $，则 X 的似然函数为

$$ L(x_{1},x_{2},\cdots,x_{n};\lambda)=\frac{\lambda^{x_{1}}\mathrm{e}^{-\lambda}}{x_{1}!}\cdot\frac{\lambda^{x_{2}}\mathrm{e}^{-\lambda}}{x_{2}!}\cdots\frac{\lambda^{x_{n}}\mathrm{e}^{-\lambda}}{x_{n}!}=\frac{\mathrm{e}^{-n\lambda}\lambda^{\sum_{i=1}^{n}x_{i}}}{x_{1}!x_{2}!\cdots x_{n}!}. $$

从而，

$$ \ln(L(x_{1},x_{2},\cdots,x_{n};\lambda))=-n\lambda-\ln(\lambda)\cdot\sum_{i=1}^{n}x_{i}-\ln\left(\prod_{i=1}^{n}x_{i}!\right). $$

上式两边关于 $ \lambda $ 求导数，并令其为 0 得

$$ \frac{\partial\ln L}{\partial\lambda}=-n+\frac{\sum\limits_{i=1}^{n}x_{i}}{\lambda}=0, $$

即

$$ \lambda=\frac{\displaystyle\sum_{i=1}^{n}x_{i}}{n}, $$

最终得 $ \theta $的最大似然估计量为

$$ \widehat{\lambda}_{L}=\frac{\displaystyle\sum_{i=1}^{n}X_{i}}{n}=\overline{X}. $$

也就是, 广州每年出现暴雨天气的平均天数的最大似然估计量为 $ \overline{X} $.

例 7.1.7 据产品检验部门的经验，某便携式电脑的液晶显示屏出现的亮点或黑点，在从屏幕左侧开始的每个水平线的一段上均匀出现，试用最大似然法和矩法分别估计该水平线段的最右端点的值.

解 由题意设 $ X \sim U[0,\theta] $，样本观测值为 $ (x_{1},x_{2},\cdots,x_{n}) $，则 X 的似然函数为

$$ L(x_{1},x_{2},\cdots,x_{n};\theta)=\{\begin{aligned}&\frac{1}{\theta^{n}},&&x_{1},x_{2},\cdots,x_{n}\in(0,\theta),\\ &0,&& 其他 .\end{aligned}. $$

显然，为要 $ L(x_1, x_2, \cdots, x_n; \theta) $ 取到最大值，就应当是在包含所有的 $ x_1, x_2, \cdots, x_n $ 的区间 $ (0, \theta) $ 中找一个最短的，所以应有

$$ \theta=\max\{x_{1},x_{2},\cdots,x_{n}\}, $$

最终得 $ \theta $的最大似然估计量为

$$ \widehat{\theta}_{L}=\max\{X_{1},X_{2},\cdots,X_{n}\}=X_{(n)}. $$

也就是，该水平线段的最右端点的值的最大似然估计量为顺序统计量 $ X_{(n)} $

另外，由于

$$ E[X]={\frac{\theta}{2}}, $$

即

$$ \theta=2E[X], $$

从而得 $ \theta $的矩法估计量为

$$ \widehat{\theta}_{M}=2\overline{X}. $$

也就是，该水平线段的最右端点的值的矩法估计量为 $ 2\overline{X} $

7.1.3 顺序统计量估计

利用顺序统计量作参数估计，其想法是若对总体 X 作 n 次观测（即抽取容量为 n 的样本），则 X 的中位数应近乎在这 n 个观测值的中间位置，并且这 n 个观测值越集中，则 X 的方差应越小.

由于总体为连续型随机变量且分布密度对称时，总体中位数就是均值。此时可用样本中位数来估计总体均值，并用样本极差来估计总体标准差，即

$$ \{\begin{array}{r}{\widehat{E}[X]=\widetilde{X},}\\ {\widehat{\sqrt{\mathrm{V a r}[X]}}=R_{n}^{X},}\end{array}. $$

其中 $ \hat{x} $ 表示 x 的估计量，样本中位数 $ \tilde{X} $ 和样本极差 $ R_{n}^{X} $ 的定义参见 6.1 节.

由于对于一般总体，样本中位数 $ \bar{X} $ 极差 $ R_{n}^{X} $ 的精确分布难以得到，从而难以把握其估计的偏差，用这种方法估计均值和标准差，只是对总体均值和标准差的一个大概了解，所以一般少用这种方法.

§7.2 估计量优劣性的评价

我们知道，数理统计就是用局部数据推断总体，推断的结论总会存在偏差。参数的点估计就是基于某种想法，构造样本的函数 $ T(X_{1}, X_{2}, \cdots, X_{n}) $ 来实现对未知参数 $ \theta $ 的估计，从而由不同的样本观测值得到的参数估计值总是与实际参数值有偏差，这一点是无法避免的。

然而，对于总体的同一个参数，不同的估计方法也许偏差有所不同，我们希望找一个比较偏差大小的标准。最直观和基本的标准是，尽管 $ T(X_{1}, X_{2}, \cdots, X_{n}) $ 有时大于 $ \theta $，有时小于 $ \theta $，但平均下来，应与 $ \theta $ 无差别。这就是估计量的无偏性。

定义 7.2.1 设总体 $ X \sim F_{X}(\cdot, \theta) $, $ \theta \in \Theta $, g 为 $ \theta $ 的函数, $ T(X_1, X_2, \cdots, X_n) $ 为一统计量. 如果

$$ E_{\theta}[T(X_{1},X_{2},\cdots,X_{n})]=g(\theta), $$

则称 $ T(X_{1},X_{2},\cdots,X_{n}) $ 为 $ g(\theta) $ 的无偏估计量. 如果

$$ \lim_{n\to\infty}E_{\theta}[T(X_{1},X_{2},\cdots,X_{n})]=g(\theta), $$

则称 $ T(X_{1},X_{2},\cdots,X_{n}) $ 为 $ g(\theta) $ 的渐近无偏估计量.

定义 7.2.1 中的 $ E_{\theta} $ 表示在总体的参数真为 $ \theta $ 时所确定的概率分布下求数学期望，而 $ g(\theta) $ 则是待估计参数一般表示，即我们不仅求 $ \theta $ 本身的估计，还可能估计 $ \theta $ 的某个函数.

例 7.2.1 (例 7.1.7 续) 设总体 $ X \sim U[0, \theta] $. 在例 7.1.7 中我们得到, $ \widehat{\theta}_{M} = 2\overline{X}, \widehat{\theta}_{L} = X_{(n)} $. 试问这两个估计量是否为无偏估计量.

解 由于

$$ E_{\theta}[\widehat{\theta}_{M}]=E_{\theta}[2\overline{{X}}]=\frac{2}{n}\{E_{\theta}[X_{1}]+E_{\theta}[X_{2}]+\cdots+E_{\theta}[X_{n}]\}=\frac{2}{n}\cdot n\cdot\frac{\theta}{2}=\theta, $$

所以， $ \hat{\theta}_{M}=2\overline{X} $ 是 $ \theta $ 的无偏估计量.

为计算 $ E_{\theta}[\widehat{\theta}_{L}] $，我们先求 $ X_{(n)} $ 的分布密度函数。由于

$$ F_{X}(x)=\{\begin{aligned}&0,&x\lt 0,\\&\frac{x}{\theta},&0\leqslant x\lt \theta,\\&1,&x\geqslant\theta,\end{aligned}. $$

所以，利用(6.3.19)有

$$ f_{X_{(n)}}(x)=\{\begin{aligned}&n(\frac{x}{\theta})^{n-1}\frac{1}{\theta},&0\leqslant x\lt \theta,\\ &0,& 其他 .\end{aligned}. $$

从而

$$ E_{\theta}[\widehat{\theta}_{L}]=E_{\theta}[X_{(n)}]=\int_{0}^{\theta}x n\frac{x^{n-1}}{\theta^{n}}\mathrm{d}x=\frac{n}{\theta^{n}}\frac{\theta^{n+1}}{n+1}=\frac{n}{n+1}\theta, $$

所以 $ \hat{\theta}_{L} = X_{(n)} $ 不是 $ \theta $ 的无偏估计量，只是 $ \theta $ 的渐近无偏估计量.

在例 7.2.1 中，虽然 $ \widehat{\theta}_{L} = X_{(n)} $ 不是 $ \theta $ 的无偏估计量，但是令 $ \widehat{\theta} = \frac{n+1}{n}\widehat{\theta}_{L} $，则有

$$ E_{\theta}[\widehat{\theta}]=E_{\theta}\left[\frac{n+1}{n}\widehat{\theta}_{L}\right]=\frac{n+1}{n}E_{\theta}[X_{(n)}]=\frac{n+1}{n}\frac{n}{n+1}\theta=\theta, $$

即 $ \widehat{\theta} = \frac{n+1}{n}\widehat{\theta}_{L} $ 是 $ \theta $ 的无偏估计量.

至此，对例 7.1.7 中的总体，我们得到两个无偏估计量 $ \hat{\theta}_{M} = 2\overline{X} $ 和 $ \hat{\theta} = \frac{n+1}{n}X_{(n)} $. 一个自然的问题是哪一个比较“好”呢？对这两个均值都为 $ \theta $ 的随机变量，自然地我们认为，方差较小的应当是比较“好”的.

下面我们来计算它们的方差.

$$ \mathrm{V a r}_{\theta}[\widehat{\theta}_{M}]=\mathrm{V a r}_{\theta}[2\overline{{X}}]=\frac{2^{2}}{n^{2}}\{\mathrm{V a r}_{\theta}[X_{1}]+\mathrm{V a r}_{\theta}[X_{2}]+\cdots+\mathrm{V a r}_{\theta}[X_{n}]\}=\frac{4}{n^{2}}\cdot n\cdot\frac{\theta^{2}}{12}=\frac{\theta^{2}}{3n}. $$

而

$$ \begin{align*}\mathrm{Var}_{\theta}[\widehat{\theta}]&=\frac{(n+1)^{2}}{n^{2}}\mathrm{Var}_{\theta}[X_{(n)}]\\&=\frac{(n+1)^{2}}{n^{2}}\{E_{\theta}[X_{(n)}^{2}]-(E_{\theta}[X_{(n)}])^{2}\}\\&=\frac{(n+1)^{2}}{n^{2}}\{\int_{0}^{\theta}x^{2}n\frac{x^{n-1}}{\theta^{n}}\mathrm{d}x-\frac{n^{2}}{(n+1)^{2}}\theta^{2}\}\\&=\frac{(n+1)^{2}}{n^{2}}\{\frac{n}{n+2}\theta^{2}-\frac{n^{2}}{(n+1)^{2}}\theta^{2}\}\\&=\frac{\theta^{2}}{n(n+2)}.\end{align*} $$

可见，只要 n \gt 1，就有

$$ \operatorname{V a r}_{\theta}[\widehat\theta]\lt \operatorname{V a r}_{\theta}[\widehat\theta_{M}]. $$

亦即，我们认为 $ \widehat{\theta}=\frac{n+1}{n}X_{(n)} $ 比 $ \widehat{\theta}_{M}=2\overline{X} $ 要“好”.

如果 $ T_1(X_1, X_2, \cdots, X_n) $ 和 $ T_2(X_1, X_2, \cdots, X_n) $ 都是待估计参数 $ g(\theta) $ 的无偏估计，但 $ \text{Var}_\theta[T_1] \leq \text{Var}_\theta[T_2] $，我们称 $ T_1 $ 比 $ T_2 $ 有效。一个自然的问题是，对于待估计参数 $ g(\theta) $，能否找到最有效的估计量呢？这个问题引出如下的定义 7.2.2.

定义 7.2.2 设总体 $ X \sim F_{X}(\cdot, \theta) $, $ \theta \in \Theta $. 若 $ T_{0}(X_{1}, X_{2}, \cdots, X_{n}) $ 为 $ g(\theta) $ 的无偏估计量, 且对 $ g(\theta) $ 的任意无偏估计量 $ T(X_{1}, X_{2}, \cdots, X_{n}) $ 都有

$$ \operatorname{V a r}_{\theta}[T_{0}]\leqslant\operatorname{V a r}_{\theta}[T],\quad\forall\;\theta\in\Theta. $$

则称 $ T_{0} $ 为 $ g(\theta) $ 的一致最小方差无偏估计量 (记为 UMVUE, 它是 Uniformly Minimum Variance Unbiased Estimate 的缩写).

可惜的是，对于一般的总体 $ X \sim F_X(\cdot, \theta) (\theta \in \Theta) $，目前还没有一个寻找 $ g(\theta) $ 的一致最小方差无偏估计量的普遍可行的、构造性的方法。已有的研究结果中，只是对于一些特殊的总体类型有比较深刻或较为一般的结论或方法。比如克拉默 - 拉奥 (Cramér-Rao) 定理，就是对满足某种性质的总体分布类型，事先得到参数 $ g(\theta) $ 的无偏估计量方差的下界，如果找到的无偏估计量 $ T_0(X_1, X_2, \cdots, X_n) $ 的方差已达到该下界，那么 $ T_0(X_1, X_2, \cdots, X_n) $ 就是 $ g(\theta) $ 的最有效估计量了。再比如，对于总体的分布为指数分布族，通过寻找充分完备统计量，可以达到寻找一致最小方差无偏估计量的目的。我们熟悉的分布 $ \text{Exp}(\lambda) $, $ \text{Pois}(\lambda) $, $ B(n, p) $ 和 $ N(\mu, \sigma^2) $ 等都属指数分布族，其参数的最大似然估计量（对这些分布，矩法估计量与最大似然估计量相同），都是一致最小方差无偏估计量。

另外，需要指出的是，虽然无偏性是对估计量的直观合理的要求，但是下面的例7.2.2表明，在有些情况下，一个无偏估计量也许是具有“很大偏差”的。

例 7.2.2 设总体 $ X \sim \text{Pois}(\lambda) $，参数 $ \lambda \gt 0 $， $ (X_1, X_2, \cdots, X_n) $ 为其样本，则 $ T(X_1, X_2, \cdots, X_n) = (-2)^{X_1} $ 是 $ e^{-3\lambda} $ 的无偏估计量.

事实上，

$$ \begin{aligned}&E[T(X_{1},X_{2},\cdots,X_{n})]\\=&E[(-2)^{X_{1}}]=\sum_{n=0}^{\infty}(-2)^{n}\frac{\mathrm{e}^{-\lambda}\lambda^{n}}{n!}\\=&\mathrm{e}^{-\lambda}\sum_{n=0}^{\infty}\frac{(-2\lambda)^{n}}{n!}=\mathrm{e}^{-\lambda}\mathrm{e}^{-2\lambda}\\=&\mathrm{e}^{-3\lambda}.\end{aligned} $$

注意到 $ e^{-3\lambda} \gt 0 $，但 $ (-2)^{X_1} $ 却在 $ X_1 $ 为奇数时取负值，可见偏差之大。

另外一种评价估计量的想法是当样本容量较大时，考查估计量与待估计参数的差距，也就是统计量的相合性。

定义 7.2.3 设总体 $ X \sim F_{X}(\cdot, \theta) $, $ \theta \in \Theta $. 并设 $ T(X_1, X_2, \cdots, X_n) $ 为 $ g(\theta) $ 的估计量, 如果对任意 $ \varepsilon \gt 0 $ 有

$$ \lim_{n\to\infty}P(|T(X_{1},X_{2},\cdots,X_{n})-g(\theta)|\geqslant\varepsilon)=0,\quad\forall\;\theta\in\Theta. $$

则称 $ T(X_{1},X_{2},\cdots,X_{n}) $ 为 $ g(\theta) $ 的相合估计量.

显然，若总体 X 存在 k 阶矩，则由大数定律 (参见 5.1 节的定理 5.1.1) 和相合性的定义知，样本 k 阶原点矩 $ \overline{X^{k}} = \frac{1}{n} \sum_{i=1}^{n} X^{k} $ 是总体 k 阶原点矩 $ E[X^{k}] $ 的相合估计量，进而大多矩法估计量都是相合估计量.

§7.3 参数的区间估计

与参数的点估计不同，区间估计是以两个统计量 $ T_{1}(X_{1}, X_{2}, \cdots, X_{n}) $ 和 $ T_{2}(X_{1}, X_{2}, \cdots, X_{n}) $ 为左右端点构成一个随机区间，并且要求该随机区间包含待估计参数的概率满足一定的要求.

定义 7.3.1 设总体 $ X \sim F_{X}(\cdot, \theta), \theta \in \Theta, g $ 为 $ \theta $ 的函数. 若有统计量 $ T_{1}(X_{1}, X_{2}, \cdots, X_{n}) $ 和 $ T_{2}(X_{1}, X_{2}, \cdots, X_{n}) $ 使得对给定的 $ \alpha (0 \lt \alpha \lt 1) $ 有

$$ P(T_{1}(X_{1},X_{2},\cdots,X_{n})\leqslant g(\theta)\leqslant T_{2}(X_{1},X_{2},\cdots,X_{n}))=1-\alpha, $$

则称 $ [T_{1}(X_{1},X_{2},\cdots,X_{n}),T_{2}(X_{1},X_{2},\cdots,X_{n})] $ 为 $ g(\theta) $ 的置信度为 1 - $ \alpha $ 的区间估计（或估计区间，置信区间）.

由于代入一次具体的抽样得到的样本观测值 $ (x_{1}, x_{2}, \cdots, x_{n}) $ 计算出的区间

$$ [T_{1}(x_{1},x_{2},\cdots,x_{n}),\quad T_{2}(x_{1},x_{2},\cdots,x_{n})] $$

是一个确定的区间，它要么包含 $ g(\theta) $，要么不包含 $ g(\theta) $，不能说它包含 $ g(\theta) $ 的概率为 $ 1 - \alpha $。但在寻求统计量 $ T_{1}(X_{1}, X_{2}, \cdots, X_{n}) $ 和 $ T_{2}(X_{1}, X_{2}, \cdots, X_{n}) $ 时又与 $ \alpha $ 的大小有关，所以我们把 $ 1 - \alpha $ 称为的区间估计的置信度。

另外，(7.3.1) 右端写为 $ 1 - \alpha $ 是便于与第八章介绍的假设检验的相应表达式相联系和比较.

本节给出的例子都是简单套用公式的示例，都可以用 R 软件轻松求解，有关用 R 软件实现的实例请读者参见第九章.

7.3.1 单个正态总体参数的区间估计

以关于正态总体的抽样基本定理及其推论（见 6.3 节）作基础，可求出该总体有关统计量或样本函数的精确分布，从而使得正态总体参数的区间估计很容易得到.

1. $ \mu $ 的区间估计 ( $ \sigma^{2}=\sigma_{0}^{2} $ 已知)

设总体 $ X \sim N(\mu, \sigma_{0}^{2}) $，参数 $ \mu $ 未知， $ \sigma_{0}^{2} $ 已知. $ (X_{1}, X_{2}, \cdots, X_{n}) $ 为其样本，我们来寻求 $ \mu $ 的置信度为 $ 1 - \alpha $ 的区间估计.

由推论 6.3.1 知, $ \overline{X}\sim N\left(\mu,\frac{\sigma_{0}^{2}}{n}\right) $, 从而

$$ U=\frac{\overline{X}-\mu}{\sqrt{\frac{\sigma_{0}^{2}}{n}}}\sim N(0,1). $$

由

$$ P\big(|U|\leqslant u_{1-\frac{\alpha}{2}}\big)=1-\alpha, $$

查标准正态分布表（或用 R 软件的 qnorm $ (1 - \frac{\alpha}{2}) $，得 $ u_{1 - \frac{\alpha}{2}} $（例如 $ u_{0.975} = 1.96 $），即

$$ P\left(\left|\frac{\overline{X}-\mu}{\sqrt{\frac{\sigma_{0}^{2}}{n}}}\right|\leqslant u_{1-\frac{\alpha}{2}}\right)=1-\alpha, $$

亦即

$$ P\left(\overline{X}-u_{1-\frac{\alpha}{2}}\sqrt{\frac{\sigma_{0}^{2}}{n}}\leqslant\mu\leqslant\overline{X}+u_{1-\frac{\alpha}{2}}\sqrt{\frac{\sigma_{0}^{2}}{n}}\right)=1-\alpha. $$

至此，我们得到 $ \mu $ 的置信度为 $ 1 - \alpha $ 的区间估计为

$$ \left[\overline{{X}}-u_{1-\frac{\alpha}{2}}\sqrt{\frac{\sigma_{0}^{2}}{n}},\quad\overline{{X}}+u_{1-\frac{\alpha}{2}}\sqrt{\frac{\sigma_{0}^{2}}{n}}\right]. $$

总结一下，我们是如何得到 $ \mu $ 的区间估计的。首先我们得到了 (7.3.2)，即得到了仅含待估计参数、不含其他未知参数的一个样本函数，并且求得了它的分布。其次是利用 (7.3.3) 经查表 (或计算) 得到分位点 $ u_{1-\frac{\alpha}{2}} $。最后利用 (7.3.4) 作等式变形，得到所要区间左右端点。

例 7.3.1 已知某厂生产的滚珠直径 $ X \sim N(\mu, 0.06) $. 从某天生产的滚珠中随机地抽取 6 只，测得直径为 (单位：mm)

$$ \begin{array}{r r r r r}{14.6}&{15.1}&{14.9}&{14.8}&{15.2}&{15.1}\\ \end{array} $$

试求 $ \mu $ 的置信度为 0.95 的区间估计.

解 由于

$$ \overline{x}=\frac{1}{6}(14.6+15.1+14.9+14.8+15.2+15.1)=14.95, $$

$ \sigma=\sqrt{0.06},\alpha=0.05 $，查表或用R软件计算得 $ u_{0.975}=1.96 $，用(7.3.5)得到 $ \mu $的置信度为0.95的区间估计[14.754,15.146].

另外，请读者执行如下 R 程序，看有什么结果。

x\lt -c(14.6,15.1,14.9,14.8,15.2,15.1)

sigma\lt -sqrt(0.06)

alpha\lt -0.05

z1\lt -mean(x)

z2\lt -qnorm(1-alpha/2)*sigma/sqrt(length(x))

list(c.i=c(z1-z2,z1+z2))

2. $ \mu $ 的区间估计 ( $ \sigma^{2} $ 未知)

此时，欲模仿(7.3.2)寻求待估计参数 $ \mu $ 的样本函数，但现在 $ \sigma^{2} $ 未知，(7.3.2)的样本函数中有未知参数，将来得不到 $ \mu $ 的区间估计，于是想到用 $ \sigma^{2} $ 的点估计量 $ S_{n}^{2} $ 代替 $ \sigma^{2} $，而此时的分布不再是 $ N(0,1) $ 了，好在我们有推论 6.3.2，它告诉我们

$$ \frac{\overline{X}-\mu}{S_{n}}\sqrt{n-1}\sim t(n-1). $$

对于给定的置信度1- $ \alpha $，由

$$ P\left(\left|\frac{\overline{X}-\mu}{S_{n}}\sqrt{n-1}\right|\leqslant t_{1-\frac{\alpha}{2}}(n-1)\right)=1-\alpha, $$

查表或用 R 软件计算得 $ t_{1-\frac{\alpha}{2}}(n-1) $，进而经等式变形得到 $ \mu $ 的区间估计

$$ \left[\overline{{X}}-t_{1-\frac{\alpha}{2}}(n-1)\frac{S_{n}}{\sqrt{n-1}},\overline{{X}}+t_{1-\frac{\alpha}{2}}(n-1)\frac{S_{n}}{\sqrt{n-1}}\right]. $$

由以上推导方法大家看到，最关键的是要找到一个仅含待估计参数、不含其他未知参数的样本函数，并且求得它的分布。而寻求这样的样本函数的思路很简单，就是考虑未知参数的点估计量。于是对于一个正态总体、两个独立正态总体的有关参数的区间估计，依据6.3节的定理6.3.1及推论6.3.1～推论6.3.4。就可知有关样本函数及其分布。至于接下来要做的求分位点和等式变形就是初等运算了。

例 7.3.2 在例 7.3.1 中若 $ \sigma^{2} $ 未知，试求 $ \mu $ 的置信度为 0.95 的区间估计.

解 由 $ \bar{x}=14.95 $ 和

$$ \begin{aligned}{s_{n}^{2}=\frac{1}{6}[}&{{}(14.6-14.95)^{2}+(15.1-14.95)^{2}+(14.9-14.95)^{2}+(14.8-14.95)^{2}+}\\ {}&{{}(15.2-14.95)^{2}+(15.1-14.95)^{2}]=0.206^{2}.}\\ \end{aligned} $$

$ \alpha=0.05 $，查表或用R软件计算的 $ t_{0.975}(5)=2.570582 $，用(7.3.6)得到 $ \mu $的置信度为0.95的置信区间[14.713,15.187].

另外，请读者执行如下两个 R 程序，看有什么结果。

x\lt -c(14.6,15.1,14.9,14.8,15.2,15.1)

sigma\lt -sd(x)

alpha\lt -0.05

n\lt -length(x)

z1\lt -mean(x)

z2\lt -qt(1-alpha/2,n-1)*sigma/sqrt(n)

list(c.i=c(z1-z2,z1+z2))

或者

x\lt -c(14.6,15.1,14.9,14.8,15.2,15.1)

t.test(x, ,) $conf$

1. $ \sigma^{2} $ 的区间估计 ( $ \mu = \mu_{0} $ 已知)

此时由 $ X \sim N(\mu_{0}, \sigma^{2}) $ 知，

$$ \frac{X_{i}-\mu_{0}}{\sigma}\sim N(0,1),\quad i=1,2,\cdots,n, $$

所以

$$ \sum_{i=1}^{n}\frac{(X_{i}-\mu_{0})^{2}}{\sigma^{2}}\sim\chi^{2}(n). $$

再令

$$ P\left(\chi_{\frac{\alpha}{2}}^{2}(n)\leqslant\sum_{i=1}^{n}\frac{(X_{i}-\mu_{0})^{2}}{\sigma^{2}}\leqslant\chi_{1-\frac{\alpha}{2}}^{2}(n)\right)=1-\alpha, $$

求出分位点 $ \chi_{\frac{\alpha}{2}}^{2}(n) $ 和 $ \chi_{1-\frac{\alpha}{2}}^{2}(n) $ 并作等式变形立得 $ \sigma^{2} $ 的区间估计为

$$ \left[\frac{\displaystyle\sum_{i=1}^{n}(X_{i}-\mu_{0})^{2}}{\chi_{1-\frac{\alpha}{2}}^{2}(n)},\frac{\displaystyle\sum_{i=1}^{n}(X_{i}-\mu_{0})^{2}}{\chi_{\frac{\alpha}{2}}^{2}(n)}\right]. $$

例 7.3.3 已知某厂生产的零件尺寸 $ X \sim N(12.5, \sigma^{2}) $ 。从某天生产的零件中随机地抽取 4 只，测得样本观测值

$$ \begin{array}{r l r l r}{{12.6}}&{{13.4}}&{{12.8}}&{{13.2}}\end{array} $$

试求 $ \sigma^{2} $ 的置信度为 0.95 的区间估计.

解由

$$ \sum_{i=1}^{n}(x_{i}-\mu_{0})^{2}=(12.6-12.5)^{2}+(13.4-12.5)^{2}+(12.8-12.5)^{2}+(13.2-12.5)^{2}=1.4, $$

和 $ \alpha = 0.05 $，查表或用 R 软件计算的 $ \chi_{0.975}^{2}(4) = 11.14329 $ 和 $ \chi_{0.025}^{2}(4) = 0.4844186 $，用 (7.3.7) 得到 $ \sigma^{2} $ 的置信度为 0.95 的区间估计 [0.13, 2.89].

另外，请读者执行如下 R 程序，看有什么结果。

x\lt -c(12.6,13.4,12.8,13.2)

mu0\lt -12.5

alpha\lt -0.05

n\lt -length(x)

z1\lt -sum((x-mu0)^2)

list(c.i=c(z1/qchisq(1-alpha/2,n),z1/qchisq(alpha/2,n)))

1. $ \sigma^{2} $ 的区间估计 ( $ \mu $ 未知)

此时由抽样分布基本定理（见定理 6.3.1）知

$$ \frac{n S_{n}^{2}}{\sigma^{2}}\sim\chi^{2}(n-1), $$

经令

$$ P\left(\chi_{\frac{\alpha}{2}}^{2}(n-1)\leqslant\frac{n S_{n}^{2}}{\sigma^{2}}\leqslant\chi_{1-\frac{\alpha}{2}}^{2}(n-1)\right)=1-\alpha, $$

求出分位点 $ \chi_{\frac{\alpha}{2}}^{2}(n-1) $ 和 $ \chi_{1-\frac{\alpha}{2}}^{2}(n-1) $ 并作等式变形立得 $ \sigma^{2} $ 的区间估计为

$$ \left[\frac{n S_{n}^{2}}{\chi_{1-\frac{\alpha}{2}}^{2}(n-1)},\frac{n S_{n}^{2}}{\chi_{\frac{\alpha}{2}}^{2}(n-1)}\right]. $$

请读者用例 7.3.3 的数据，但 $ \mu $ 未知，求 $ \sigma^{2} $ 的置信度为 0.95 的区间估计.

7.3.2 两个正态总体参数的区间估计

设 $ X \sim N(\mu_1, \sigma_1^2) $, $ Y \sim N(\mu_2, \sigma_2^2) $，且 X 与 Y 相互独立，样本分别为 $ (X_1, X_2, \cdots, X_m) $ 和 $ (Y_1, Y_2, \cdots, Y_n) $. 样本均值与样本方差为

$$ \overline{{X}}=\frac{1}{n}\sum_{i=1}^{n}X_{i},\quad\overline{{Y}}=\frac{1}{n}\sum_{j=1}^{n}Y_{j},\quad S_{1m}^{2}=\frac{1}{m}\sum_{i=1}^{m}(X_{i}-\overline{{X}})^{2},\quad S_{2n}^{2}=\frac{1}{n}\sum_{j=1}^{n}(Y_{j}-\overline{{Y}})^{2}. $$

1. $ \mu_{1}-\mu_{2} $ 的区间估计 $ (\sigma_{1}^{2},\sigma_{2}^{2} $ 已知)

由于 $ \overline{X}\sim N\left(\mu_{1},\frac{\sigma_{1}^{2}}{m}\right) $， $ \overline{Y}\sim N\left(\mu_{2},\frac{\sigma_{2}^{2}}{n}\right) $，且由 X 与 Y 相互独立知 $ \overline{X} $ 与 $ \overline{Y} $ 独立，于是有

$$ \overline{{X}}-\overline{{Y}}\sim N\left(\mu_{1}-\mu_{2},\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}\right), $$

亦即

$$ \frac{(\overline{{X}}-\overline{{Y}})-(\mu_{1}-\mu_{2})}{\sqrt{\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}}}\sim N(0,1), $$

由此令

$$ P\left(\left|\frac{\left(\overline{X}-\overline{Y}\right)-\left(\mu_{1}-\mu_{2}\right)}{\sqrt{\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}}}\right|\leqslant u_{1-\frac{\alpha}{2}}\right)=1-\alpha, $$

求出分位点 $ u_{1-\frac{\alpha}{2}} $ 并作等式变形立得 $ \mu_{1}-\mu_{2} $ 的区间估计

$$ \left[(\overline{{X}}-\overline{{Y}})-u_{1-\frac{\alpha}{2}}\sqrt{\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}},\quad(\overline{{X}}-\overline{{Y}})+u_{1-\frac{\alpha}{2}}\sqrt{\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}}\right]. $$

1. $ \mu_{1}-\mu_{2} $ 的区间估计 $ (\sigma_{1}^{2}=\sigma_{2}^{2}=\sigma^{2} $ 未知 $$

由推论6.3.4知

$$ \frac{(\overline{{X}}-\overline{{Y}})-(\mu_{1}-\mu_{2})}{S_{w}\sqrt{\frac{1}{m}+\frac{1}{n}}}\sim t(m+n-2), $$

由此令

$$ P\left(\left|\frac{(\overline{X}-\overline{Y})-(\mu_{1}-\mu_{2})}{S_{w}\sqrt{\frac{1}{m}+\frac{1}{n}}}\right|\leqslant t_{1-\frac{\alpha}{2}}(m+n-2)\right)=1-\alpha, $$

求出分位点 $ t_{1-\frac{\alpha}{2}} $ 并作等式变形立得 $ \mu_{1}-\mu_{2} $ 的区间估计

$$ \left|(\overline{X}-\overline{Y})-t_{1-\frac{\alpha}{2}}(m+n-2)S_{w}\sqrt{\frac{1}{m}+\frac{1}{n}},(\overline{X}-\overline{Y})+t_{1-\frac{\alpha}{2}}(m+n-2)S_{w}\sqrt{\frac{1}{m}+\frac{1}{n}}\right| $$

其中 $ S_{w}=\sqrt{\frac{mS_{1m}^{2}+nS_{2n}^{2}}{m+n-2}} $

例 7.3.4 两台机床生产同一型号的滚珠，从甲机床和乙机床生产的滚珠中分别抽取 8 个和 9 个，测得滚珠直径如下 (单位：mm)

甲机床：15.0 14.8 15.2 15.4 14.9 15.1 15.2 14.8

乙机床：15.2 15.0 14.8 15.1 15.0 14.6 14.8 15.1 14.5

已知两台机床生产的滚珠的直径都服从正态分布，试求这两台机床生产的滚珠直径均值差的区间估计，置信度为0.90.

(1) 已知甲、乙机床生产的滚珠直径的标准差分别为 $ \sigma_{1}=0.18mm $ 及 $ \sigma_{2}=0.24mm $.

(2) $ \sigma_{1},\sigma_{2} $ 未知，但知 $ \sigma_{1}=\sigma_{2} $

解 设甲、乙机床生产的滚珠直径分别为 $ X \sim N(\mu_{1}, \sigma_{1}^{2}) $ 和 $ Y \sim N(\mu_{2}, \sigma_{2}^{2}) $，由题意，X 与 Y 相互独立，m = 8, n = 9。经计算得

$$ \begin{aligned}\overline{x}=15.05,\quad\overline{y}=14.90,\quad s_{1m}^{2}=0.0457,\quad s_{2n}^{2}=0.0575.\end{aligned} $$

(1) $ \alpha = 0.10 $, 查表或用 R 软件计算的 $ u_{0.95} = 1.645 $, 用 (7.3.9) 得到 $ \mu_1 - \mu_2 $ 的置信度为 0.90 的区间估计 [-0.018, 0.318].

(2) $ \alpha=0.10 $，查表或用R软件计算的 $ t_{0.95}(15)=1.75305 $，用(7.3.10)得到 $ \mu_{1}-\mu_{2} $的置信度为0.90的区间估计[-0.044,0.344].

另外，请读者执行如下两个 R 程序，看有什么结果。

x<-c(15.0,14.8,15.2,15.4,14.9,15.1,15.2,14.8)

y<-c(15.2,15.0,14.8,15.1,15.0,14.6,14.8,15.1,14.5)

sigma1<-0.18; sigma2<-0.24

alpha<-0.10

n1<-length(x); n2<-length(y)

z1<-mean(x)-mean(y)

z2<-qnorm(1-alpha/2)*sqrt(sigma1^2/n1+sigma2^2/n2)

list(c.i1=c(z1-z2,z1+z2))

z3<-qt(1-alpha/2,n1+n2-2)*sqrt((1/n1+1/n2)*(((n1-1)*var(x))+((n2-1)*var(y))/(n1+n2-2))

list(c.i2=c(z1-z3,z1+z3))

或者

x<-c(15.0,14.8,15.2,15.4,14.9,15.1,15.2,14.8)

y<-c(15.2,15.0,14.8,15.1,15.0,14.6,14.8,15.1,14.5)

sigma1<-0.18; sigma2<-0.24

alpha<-0.10

n1<-length(x); n2<-length(y)

z1<-mean(x)-mean(y)

z2<-qnorm(1-alpha/2)*sqrt(sigma1^2/n1+sigma2^2/n2)

list(c.i1=c(z1-z2,z1+z2))

1. $ \sigma_{1}^{2}/\sigma_{2}^{2} $ 的区间估计 ( $ \mu_{1},\mu_{2} $ 已知)

由于

$$ \frac{X_{i}-\mu_{1}}{\sigma_{1}}\sim N(0,1),\quad i=1,2,\cdots,m.\quad\frac{Y_{j}-\mu_{2}}{\sigma_{2}}\sim N(0,1),\quad j=1,2,\cdots,n, $$

所以

$$ \frac{\displaystyle\sum_{i=1}^{m}(X_{i}-\mu_{1})^{2}}{\sigma_{1}^{2}}\sim\chi^{2}(m),\quad\frac{\displaystyle\sum_{j=1}^{n}(Y_{j}-\mu_{2})^{2}}{\sigma_{2}^{2}}\sim\chi^{2}(n), $$

从而由 F 分布的定义有

$$ \frac{n}{m}\frac{\displaystyle\sum_{i=1}^{m}(X_{i}-\mu_{1})^{2}}{\displaystyle\sum_{j=1}^{n}(Y_{j}-\mu_{2})^{2}}\frac{\sigma_{2}^{2}}{\sigma_{1}^{2}}\sim F(m,n), $$

再令

$$ P\left(F_{\frac{\alpha}{2}}(m,n)\leqslant\frac{n}{m}\frac{\sum_{i=1}^{m}(X_{i}-\mu_{1})^{2}}{\sum_{j=1}^{n}(Y_{j}-\mu_{2})^{2}}\frac{\sigma_{2}^{2}}{\sigma_{1}^{2}}\leqslant F_{1-\frac{\alpha}{2}}(m,n)\right)=1-\alpha, $$

求出分位点 $ F_{\frac{\alpha}{2}}(m,n) $ 和 $ F_{1-\frac{\alpha}{2}}(m,n) $ 并作等式变形立得 $ \sigma_{1}^{2}/\sigma_{2}^{2} $ 的区间估计为

$$ \left[\frac{1}{F_{1-\frac{\alpha}{2}}(m,n)}\frac{n\sum_{i=1}^{m}(X_{i}-\mu_{1})^{2}}{m\sum_{j=1}^{n}(Y_{j}-\mu_{2})^{2}},\quad\frac{1}{F_{\frac{\alpha}{2}}(m,n)}\frac{n\sum_{i=1}^{m}(X_{i}-\mu_{1})^{2}}{m\sum_{j=1}^{n}(Y_{j}-\mu_{2})^{2}}\right]. $$

1. $ \sigma_{1}^{2}/\sigma_{2}^{2} $ 的区间估计 ( $ \mu_{1},\mu_{2} $ 未知)

由推论6.3.3知

$$ \frac{m S_{1m}^{2}}{n S_{2n}^{2}}\cdot\frac{\sigma_{2}^{2}}{\sigma_{1}^{2}}\cdot\frac{n-1}{m-1}=\frac{S_{1m}^{*2}}{S_{2n}^{*2}}\cdot\frac{\sigma_{2}^{2}}{\sigma_{1}^{2}}\sim F(m-1,n-1), $$

其中 $ S_{1m}^{*2}=\frac{m}{m-1}S_{1m}^{2},S_{2n}^{*2}=\frac{n}{n-1}S_{2n}^{2} $，再令

$$ P\left(F_{\frac{\alpha}{2}}(m-1,n-1)\leqslant\frac{S_{1m}^{*2}}{S_{2n}^{*2}}\cdot\frac{\sigma_{2}^{2}}{\sigma_{1}^{2}}\leqslant F_{1-\frac{\alpha}{2}}(m-1,n-1)\right)=1-\alpha, $$

求分位点 $ (F_{\frac{\alpha}{2}}(m-1,n-1) $ 和 $ F_{1-\frac{\alpha}{2}}(m-1,n-1) $ 并作等式变形立得 $ \sigma_{1}^{2}/\sigma_{2}^{2} $ 的区间估计为

$$ \left[\frac{1}{F_{1-\frac{\alpha}{2}}(m-1,n-1)}\frac{S_{1m}^{*2}}{S_{2n}^{*2}},\quad\frac{1}{F_{\frac{\alpha}{2}}(m-1,n-1)}\frac{S_{1m}^{*2}}{S_{2n}^{*2}}\right]. $$

我们将7.3.1节和7.3.2节的结果总结于表7.1.

例 7.3.5 就例 7.3.4 的假设和数据, 试求这两台机床生产的滚珠直径方差比的区间估计, 置信度为 0.90.

(1) 已知甲、乙机床生产的滚珠直径的均值分别为 $ \mu_{1}=15.0~mm $ 及 $ \mu_{2}=14.90~mm $.

(2) $ \mu_{1},\mu_{2} $未知.

解 (1) 沿用例 7.3.4 的记号，经计算得

$$ \sum_{i=1}^{8}(x_{i}-\mu_{1})^{2}=0.34,\quad\sum_{j=1}^{9}(y_{j}-\mu_{1})^{2}=0.46, $$

$ \alpha=0.10 $，查表或用R软件计算的 $ F_{0.95}(8,9)=3.229583 $和 $ F_{0.05}(8,9)=0.295148 $，用 $ (7.3.11) $得到 $ \sigma_{1}^{2}/\sigma_{2}^{2} $的置信度为0.90的区间估计[0.257,2.817].

(2) 经计算得

$$ s_{1m}^{\ast2}=0.0457,\quad s_{2n}^{\ast2}=0.0575, $$

$ \alpha=0.10 $，查表或用R软件计算的 $ F_{0.95}(7,8)=3.500464 $和 $ F_{0.05}(7,8)=0.2684041 $，用(7.3.12)得到 $ \sigma_{1}^{2}/\sigma_{2}^{2} $的置信度为0.90的区间估计[0.277,2.962].

另外，请读者执行如下两个 R 程序，看有什么结果。

x<-c(15.0,14.8,15.2,15.4,14.9,15.1,15.2,14.8)

y<-c(15.2,15.0,14.8,15.1,15.0,14.6,14.8,15.1,14.5)

mu1<-15.0; mu2<-14.9

alpha<-0.10

n1<-length(x); n2<-length(y)

z1<-sum((x-mu1)^2); z2<-sum((y-mu2)^2)

list(c.i1=c(n2*z1/(n1*z2*qf(1-alpha/2,n1,n2))),

n2*z1/(n1*z2*qf(alpha/2,n1,n2))))

z3<-var(x)/var(y)

list(c.i2=c(z3/qf(1-alpha/2,n1-1,n2-1), z3/qf(alpha/2,n1-1,n2-1)))

或者

x<-c(15.0,14.8,15.2,15.4,14.9,15.1,15.2,14.8)

y<-c(15.2,15.0,14.8,15.1,15.0,14.6,14.8,15.1,14.5)

mu1<-15.0; mu2<-14.9

alpha<-0.10

n1<-length(x); n2<-length(y)

z1<-sum((x-mu1)^2); z2<-sum((y-mu2)^2)

list(c.i1=c(n2*z1/(n1*z2*qf(1-alpha/2,n1,n2))),

n2*z1/(n1*z2*qf(alpha/2,n1,n2))))

var.test(x,y,conf.level=0.9)$conf.int$

7.3.3 单个正态总体参数 ( $ \mu,\sigma^{2} $) 的联合区间估计

基于抽样分布基本定理（见定理 6.3.1）我们还可以得到正态总体 $ N(\mu,\sigma^{2}) $ 中参数 $ \mu $ 和 $ \sigma^{2} $ 的联合区间估计.

事实上，若

$$ P\left(\left|\frac{\overline{X}-\mu}{\sqrt{\frac{\sigma^{2}}{n}}}\right|\leqslant l,k_{1}\leqslant\frac{nS_{n}^{2}}{\sigma^{2}}\leqslant k_{2}\right)=1-\alpha, $$

由于 $ \overline{X} $ 与 $ S_{n}^{2} $ 独立，则有

$$ P\left(\left|\frac{\overline{X}-\mu}{\sqrt{\frac{\sigma^{2}}{n}}}\right|\leqslant l\right)\cdot P\left(k_{1}\leqslant\frac{nS_{n}^{2}}{\sigma^{2}}\leqslant k_{2}\right)=1-\alpha. $$

若令

$$ P\left(\left|\frac{\overline{X}-\mu}{\sqrt{\frac{\sigma^{2}}{n}}}\right|\leqslant l\right)=\sqrt{1-\alpha}\quad 和 \quad P\left(k_{1}\leqslant\frac{nS_{n}^{2}}{\sigma^{2}}\leqslant k_{2}\right)=\sqrt{1-\alpha}, $$

则有

$$ P\left(\frac{n(\overline{X}-\mu)^{2}}{l^{2}}\leqslant\sigma^{2}\right)=\sqrt{1-\alpha}\quad 和 \quad P\left(\frac{nS_{n}^{2}}{k_{2}}\leqslant\sigma^{2}\leqslant\frac{nS_{n}^{2}}{k_{1}}\right)=\sqrt{1-\alpha}. $$

由于

$$ \frac{\overline{X}-\mu}{\sqrt{\frac{\sigma^{2}}{n}}}\sim N(0,1)\quad 和 \quad\frac{nS_{n}^{2}}{\sigma^{2}}\sim\chi^{2}(n-1), $$

可查表得 $ l = u_{\frac{1}{2}(1+\sqrt{1-\alpha})} $, $ k_{1} = \chi_{\frac{1}{2}(1-\sqrt{1-\alpha})}^{2}(n-1) $, $ k_{2} = \chi_{\frac{1}{2}(1+\sqrt{1-\alpha})}^{2}(n-1) $. 最终我们得到 $ (\mu, \sigma^{2}) $ 的置信度为 1 - $ \alpha $ 联合区间估计,

$$ \{(\mu,\sigma^{2}):\ \frac{n(\overline{{X}}-\mu)^{2}}{u_{\frac{1}{2}(1+\sqrt{1-\alpha})}^{2}}\leqslant\sigma^{2},\ \frac{n S_{n}^{2}}{\chi_{\frac{1}{2}(1+\sqrt{1-\alpha})}^{2}(n-1)}\leqslant\sigma^{2}\leqslant\frac{n S_{n}^{2}}{\chi_{\frac{1}{2}(1-\sqrt{1-\alpha})}^{2}(n-1)}\}. $$

该联合区间估计在 $ \mu - \sigma^{2} $ 平面上区域如图 7.1 所示 (图中 $ (n - 1)S_{n}^{*2} = nS_{n}^{2} $).

7.3.4 非正态总体参数的区间估计

对于非正态总体，往往难以得到其有关统计量的精确分布，一般都是在样本容量较大时，用近似分布求出参数的区间估计。

一般地，设 $ X \sim F_{X}(\cdot, \theta) $，其样本均值为 $ \overline{X} $ 和 $ S_{n}^{2} $，则可以证明，当样本容量 n 充分大时，近似地有

$$ \frac{\overline{X}-E[X]}{S_{n}}\sqrt{n}\sim N(0,1). $$

例 7.3.6 (两点分布的参数的区间估计) 设总体 $ X \sim B(1, p) $，试求 p 的置信度为 $ 1 - \alpha $ 的区间估计.

解 由于 $ E[X]=p $ 和 $ S_{n}^{2}=\overline{X}(1-\overline{X}) $，利用 (7.3.13) 近似地有

$$ \frac{\overline{X}-p}{\sqrt{\overline{X}(1-\overline{X})}}\sim N(0,1). $$

对于给定的置信度 $ 1-\alpha $，由标准正态分布表查得 $ u_{1-\frac{\alpha}{2}} $，就得到 p 的区间估计

$$ \left[\overline{{X}}-u_{1-\frac{\alpha}{2}}\sqrt{\overline{{X}}(1-\overline{{X}})/n},\overline{{X}}+u_{1-\frac{\alpha}{2}}\sqrt{\overline{{X}}(1-\overline{{X}})/n}\right]. $$

第七章小结与注记

(1) 本章中关于参数的点估计，我们介绍了矩法估计、最大似然估计和顺序统计量估计三种方法，每种方法的想法都很直观并且各不相同。其中最能反映概率思想的是最大似然估计。它一方面基于“小概率事件在一次试验中近乎不发生”这样一基本认知。另一方面，在求参数的最大似然估计时，用到总体的分布类型，从这一点上讲，它一般比矩法估计和顺序统计量估计的性能好一些，或者说其统计特性更好把握些。也正是如此，一般在作进一步的理论分析时，往往假定有关参数的估计量为最大似然估计量。

(2) 评价一个估计量的优劣，比起想起一种估计方法要难得多。首先要定义优或劣的标准，再考证一个统计量在该标准下是否比较优。应当说，要求一个统计量做到其均值等于待估计参数（即无偏性），是一个最起码的要求，在此基础上找一个方差是最小的也是最朴素的愿望。遗憾的是，目前还没有一个构造性的方法（比如复合函数求导就是构造性的方法，而求不定积分就没有构造性的方法），去求得任意总体的参数的一致最小方差无偏估计，只能分门别类的讨论，得到稍有普遍意义的方法。

(3) 与参数的点估计不同，区间估计要求得到的参数估计的随机区间要满足给定的置信度，这就要求在构造统计量的同时，要寻求其概率分布。这一点，对于一般分布的总体难以做到，我们只好介绍正态总体参数的区间估计。

(4) 对于正态总体参数的区间估计，虽然我们解释了各种情形下区间估计的由来，但基本上是死搬硬套的，试想没有第六章的抽样分布基本定理及其推论，我们将如何做得到！

第七章习题

7.1. 设总体 X 的分布密度函数为

$$ f(x,\theta)=\{\begin{aligned}\theta(\theta+1)x^{\theta-1}(1-x),\quad&0\lt x\leq1\\ 0,\quad& 其他 ,\end{aligned}. $$

其中 $ \theta\gt 0 $。 $ (X_{1},X_{2},\cdots,X_{n}) $ 为来自总体 X 的简单随机样本，求未知参数 $ \theta $ 的矩估计量。

7.2. 假设每升水中大肠杆菌的数目 X 服从泊松分布 Pois( $ \lambda $), 其中 $ \lambda \gt 0 $. 为了检验某种自来水消毒设备的效果, 现从消毒后的水中随机抽取 60 个样品 (每个样品为 1 升水) 进行化验, 结果如下:

试求未知参数 $ \lambda $ 的矩估计值.

7.3. 设总体 X 的分布密度函数为 $ f(x,\theta)=\frac{1}{2\theta}\mathrm{e}^{-\frac{|x|}{\theta}} $ ，其中 $ \theta\gt 0 $ 是未知参数， $ (X_{1},X_{2},\cdots,X_{n}) $ 是 X 的容量为 n 的样本. 求 $ \theta $ 的最大似然估计量.

7.4. 设总体 X 的分布密度函数为

$$ f(x,\theta)=\{\begin{aligned}&\frac{1}{\theta}\mathrm{e}^{-\frac{x-1}{\theta}},&x\gt 1,\\ &0,&x\leqslant1,\end{aligned}. $$

其中 $ \theta \gt 0 $ 是未知参数， $ (X_{1}, X_{2}, \cdots, X_{n}) $ 是 X 的容量为 n 的样本。求 $ \theta $ 的最大似然估计量。

7.5. 设总体 X 的分布列为

其中 $ 0 \lt \theta \lt \frac{1}{2} $，今有样本观测值

1,1,1,3,2,1,3,2,2,1,2,2,3,1,1,2

试求 $ \theta $的最大似然估计值.

7.6. 设总体 $ X \sim B(m, p) $，其中 0 < p < 1，p 为未知参数，m 为正整数且已知， $ (X_{1}, X_{2}, \cdots, X_{n}) $ 是取自总体 X 的样本，求未知参数 p 的矩估计量 $ \hat{p}_{M} $ 及最大似然估计量 $ \hat{p}_{L} $.

7.7. 设总体 X 服从区间 $ [\theta, 2\theta] (\theta \gt 0) $ 上的均匀分布， $ (X_1, X_2, \cdots, X_n) $ 是取自总体 X 的样本，试求 $ \theta $ 的矩估计量 $ \hat{\theta}_M $ 及最大似然估计量 $ \hat{\theta}_L $.

7.8. 设总体 $ X \sim \exp(\lambda) $，其中 $ \lambda (\gt 0) $ 为未知参数，现从总体中抽得容量为 8 的样本观测值分别为

$$ \begin{array}{l} 1250,1265,1245,1260,1275,1248,1252,1261 \end{array} $$

试求 $ \lambda $ 的矩估计值 $ \hat{\lambda}_{M} $ 及最大似然估计值 $ \hat{\lambda}_{L} $

7.9. 设总体 X 的密度函数为

$$ f(x,\alpha,\beta)=\{\begin{aligned}&\frac{1}{\beta}e^{-\frac{x-\alpha}{\beta}},&\alpha\leqslant x,&\alpha\gt 0,&\beta\gt 0,\\ &0,& 否则 ,\end{aligned}. $$

其中 $ \alpha,\beta $ 为未知参数， $ (X_{1},X_{2},\cdots,X_{n}) $ 是取自总体 X 的样本，试求 $ \alpha,\beta $ 的矩估计量及最大似然估计量.

7.10. 已知某种灯泡的寿命服从指数分布，现从该种灯泡随机抽取 12 只，测得寿命分别为 (单位：小时):

$$ \begin{array}{l} 1120,1020,1196,1126,1296,1306,1095,1180,1280,1322,1091,1122 \end{array} $$

试用最大似然估计方法估计出这种型号灯泡寿命超过1500小时的概率.

7.11. 假设总体 X 服从参数为 p 的 0-1 分布 $ (0 \lt p \lt 1) $， $ (X_1, \cdots, X_n) $ 为来自 X 的样本. (1) 试求 $ p^2 $ 的无偏估计. (2) 证明: 1/p 的无偏估计不存在.

7.12. 若总体 X 的分布密度函数为

$$ f(x,\theta)=\{\begin{array}{ll}\displaystyle\frac{x}{\theta}\mathrm{e}^{-\frac{x^{2}}{2\theta}},&x\gt 0,\\0,&x\leqslant0,\end{array}. $$

其中 $ \theta(\gt 0) $ 为未知参数， $ (X_{1},X_{2},\cdots,X_{n}) $ 是取自总体 X 的样本，试求 $ \theta $ 的无偏估计量.

7.13. 设总体 X 在区间 $ [0, \theta] $ 上服从均匀分布，其中参数 $ \theta $ 未知， $ (X_{1}, \cdots, X_{n}) $ (n > 2) 是从该总体抽取的样本. (1) 证明 $ T_{1} = 2\overline{X}, T_{2} = (n + 1)X_{(1)} $ 均为 $ \theta $ 的无偏估计量. (2) 问哪个估计量更为有效?

7.14. 设 $ (X_1, \cdots, X_n) $ 是来自服从区间 $ [0, 2\theta] $ 均匀分布的一个样本，求 $ \theta $ 的极大似然估计量，并证明其是 $ \theta $ 的相合估计.

7.15. 设 $ (X_1, \cdots, X_n) $ 是来自泊松分布 $ \mathrm{Pois}(\theta) $ 的一个样本，证明： $ 2\bar{X} + 5 $ 是 $ 2\theta + 5 $ 的相合估计.

7.16. 设总体 X 服从二项分布 $ B(10, \theta) $，其中 $ \theta (0 \lt \theta \lt 1) $ 为未知参数， $ (X_1, X_2, \cdots, X_n) $ 是来自总体 X 的一个样本. (1) 求 $ \theta $ 的最大似然估计量. (2) 证明该估计量是无偏的并且为 $ \theta $ 的相合估计.

7.17. 设总体 $ X \sim N(\mu, 4) $，其中 $ \mu $ 未知. $ (X_1, X_2, \cdots, X_n) $ 为来自总体 X 的简单随机样本，则 $ \left[\bar{X} - \frac{2u_{0.95}}{\sqrt{n}}, \bar{X} + \frac{2u_{0.95}}{\sqrt{n}}\right] $ 作为 $ \mu $ 的置信区间，其置信度为多少并说明原因？要使置信区间的长度不超过 1，样本容量至少为多少？

7.18. 设总体 X 服从 $ N(\mu,1) $，其中 $ \mu $ 为未知参数. $ (x_{1},x_{2},\cdots,x_{n}) $ 是来自总体 X 的一个样本观测值. 假定由这组观测值求出 $ \mu $ 的置信水平为 $ 1-\alpha $ 的置信区间为 $ [0.2,5] $，由这组观测值确定 $ \theta=3u+7 $ 的置信度为 $ 1-\alpha $ 的置信区间.

7.19. 某自动包装机包装洗衣粉，其重量 $ X \sim N(\mu, \sigma^{2}) $，其中 $ \mu, \sigma $ 未知。今随机抽取 12 袋测得其重量，经计算得样本均值 $ \bar{x} = 1000.25(g) $，修正样本标准差 $ s_{12}^{*} = 2.6329(g) $，试求

(1) 总体均值 $ \mu $ 的置信度为 0.95 的置信区间，

(2) 总体标准差 $ \sigma $ 的置信度为 0.95 的置信区间.

7.20. 为了比较甲、乙两类试验田的收获量，随机抽取甲类试验田8块，乙类试验田10块，测得亩产量如下（单位：kg):

甲类：510,628,583,615,554,612,530,525

乙类：433,535,398,470,560,567,498,480,503,426

假定这两类试验田的亩产量都服从正态分布，且方差相同，求两总体均值之差 $ \mu_{甲} - \mu_{乙} $ 的置信度为 95% 的置信区间.

7.21. 有两位化验员 A 与 B 独立地对一批聚合物含氯量用同样方法各进行 10 次重复测定，其样本方差分别为 $ S_{甲}^{*2} = 0.541, S_{乙}^{*2} = 0.606 $，若 A 与 B 的测量值都服从正态分布，试求总体方差比 $ \sigma_{甲}^{2}/\sigma_{乙}^{2} $ 的 95% 的置信区间.