第九章 方差分析及回归分析

第九章 方差分析及回归分析

方差分析和回归分析都是数理统计中具有广泛应用的内容。本章对它们的最基本部分作一介绍。

§1 单因素试验的方差分析

（一） 单因素试验

在科学试验和生产实践中，影响一事物的因素往往是很多的。例如，在化工生产中，有原料成分、原料剂量、催化剂、反应温度、压力、溶液浓度、反应时间、机器设备及操作人员的水平等因素。每一因素的改变都有可能影响产品的数量和质量。有些因素影响较大，有些较小。为了使生产过程得以稳定，保证优质、高产，就有必要找出对产品质量有显著影响的那些因素。为此，我们需进行试验。方差分析就是根据试验的结果进行分析，鉴别各个有关因素对试验结果影响的有效方法。

在试验中，我们将要考察的指标称为试验指标。影响试验指标的条件称为因素。因素可分为两类，一类是人们可以控制的（可控因素）；一类是人们不能控制的。例如，反应温度、原料剂量、溶液浓度等是可以控制的，而测量误差、气象条件等一般是难以控制的。以下我们所说的因素都是指可控因素。因素所处的状态，称为该因素的水平（见下述各例）。如果在一项试验的过程中只有一个因素在改变称为单因素试验，如果多于一个因素在改变称为多因素试验。

例 1 设有三台机器，用来生产规格相同的铝合金薄板。取样，测量薄板的厚度精确至千分之一厘米。得结果如表 9-1 所示。

这里，试验的指标是薄板的厚度。机器为因素，不同的三台机器就是这个因素的三个不同的水平。我们假定除机器这一因素外，材料的规格、操作人员的水平等其他条件都相同。这是单因素试验。试验的目的是为了考察各台机器所生产的薄板的厚度有无显著的差异，即考察机器这一因素对厚度有无显著的影响。如果厚度有显著差异，就表明机器这一因素对厚度的影响是显著的。

例2 表9-2列出了随机选取的、用于计算器的四种类型的电路的响应时间（以毫秒计）.

这里，试验的指标是电路的响应时间。电路类型为因素，这一因素有4个水平。这是一个单因素的试验。试验的目的是为了考察各种类型电路的响应时间有无显著差异，即考察电路类型这一因素对响应时间有无显著的影响。

例 3 一火箭使用四种燃料，三种推进器作射程试验。每种燃料与每种推进器的组合各发射火箭两次，得射程如表 9-3（以海里计）：

这里试验指标是射程. 推进器和燃料是因素, 它们分别有 3 个、4 个水平. 这是一

个双因素的试验. 试验的目的在于考察在各种因素的各个水平下射程有无显著的差异，即考察推进器和燃料这两个因素对射程是否有显著的影响.

本节限于讨论单因素试验. 我们就例1来讨论. 在例1中, 我们在因素的每一个水平下进行独立试验, 其结果是一个样本. 表中数据可看成来自三个不同总体(每个水平对应一个总体)的样本值. 将各个总体的均值依次记为 $ \mu_{1} $, $ \mu_{2} $, $ \mu_{3} $. 按题意需检验假设

$$ H_{0}:\mu_{1}=\mu_{2}=\mu_{3} $$

$$ H_{1}:\mu_{1},\mu_{2},\mu_{3}\ 不全相等 . $$

现在进而假设各总体均为正态变量，且各总体的方差相等，但参数均未知。那么这是一个检验同方差的多个正态总体均值是否相等的问题。下面所要讨论的方差分析法，就是解决这类问题的一种统计方法。

现在开始讨论单因素试验的方差分析. 设因素 A 有 s 个水平 $ A_{1}, A_{2}, \cdots, A_{s} $，在水平 $ A_{j} (j=1,2, \cdots, s) $ 下，进行 $ n_{j} (n_{j} \geqslant 2) $ 次独立试验，得到如表 9-4 的结果.

我们假定：各个水平 $ A_{j}(j=1,2,\cdots,s) $ 下的样本 $ X_{1j}, X_{2j}, \cdots, X_{nj} $ 来自具有相同方差 $ \sigma^{2} $，均值分别为 $ \mu_{j}(j=1,2,\cdots,s) $ 的正态总体 $ N(\mu_{j}, \sigma^{2}) $， $ \mu_{j} $ 与 $ \sigma^{2} $ 未知。且设不同水平 $ A_{j} $ 下的样本之间相互独立。

由于 $ X_{ij} \sim N(\mu_j, \sigma^2) $，即有 $ X_{ij} - \mu_j \sim N(0, \sigma^2) $，故 $ X_{ij} - \mu_j $ 可看成是随机误差。记 $ X_{ij} - \mu_j = \varepsilon_{ij} $，则 $ X_{ij} $ 可写成

$$ \left.\begin{aligned}&X_{ij}=\mu_{j}+\varepsilon_{ij},\\ &\varepsilon_{ij}\sim N(0,\sigma^{2}), 各 \varepsilon_{ij} 独立 ,\\ &i=1,2,\cdots,n_{j},j=1,2,\cdots,s,\\ \end{aligned}\right\} $$

其中 $ \mu_{j} $ 与 $ \sigma^{2} $ 均为未知参数。(1.1) 式称为单因素试验方差分析的数学模型。这

是本节的研究对象.

方差分析的任务是对于模型(1.1)，

$ 1^{\circ} $ 检验 s 个总体 $ N(\mu_{1},\sigma^{2}),\cdots,N(\mu_{s},\sigma^{2}) $ 的均值是否相等，即检验假设

$$ \begin{aligned}&H_{0}:\mu_{1}=\mu_{2}=\cdots=\mu_{s},\\&H_{1}:\mu_{1},\mu_{2},\cdots,\mu_{s} 不全相等 .\end{aligned} $$

$ 2^{\circ} $ 作出未知参数 $ \mu_{1}, \mu_{2}, \cdots, \mu_{s}, \sigma^{2} $ 的估计.

为了将问题(1.2)写成便于讨论的形式，我们将 $ \mu_{1},\mu_{2},\cdots,\mu_{s} $的加权平均值 $ \frac{1}{n}\sum_{j=1}^{s}n_{j}\mu_{j} $记为 $ \mu $，即

$$ \mu=\frac{1}{n}\sum_{j=1}^{s}n_{j}\mu_{j}, $$

其中 $ n = \sum_{j=1}^{s} n_{j} $， $ \mu $ 称为总平均。再引入

$$ \delta_{j}=\mu_{j}-\mu,\quad j=1,2,\cdots,s, $$

此时有 $ n_{1}\delta_{1}+n_{2}\delta_{2}+\cdots+n_{s}\delta_{s}=0,\delta_{j} $ 表示水平 $ A_{j} $ 下的总体平均值与总平均的差异，习惯上将 $ \delta_{j} $ 称为水平 $ A_{j} $ 的效应.

利用这些记号，模型(1.1)可改写成

$$ \begin{aligned}&\left.\begin{aligned}\\ &X_{ij}=\mu+\delta_{j}+\varepsilon_{ij},\\&\varepsilon_{ij}\sim N(0,\sigma^{2}), 各 \varepsilon_{ij} 独立 ,\\&i=1,2,\cdots,n_{j},j=1,2,\cdots,s,\\&\sum_{j=1}^{s}n_{j}\delta_{j}=0.\\ &\end{aligned}\right\}\\ \end{aligned} $$

而假设（1.2）等价于假设

$$ \begin{aligned}&H_{0}:\delta_{1}=\delta_{2}=\cdots=\delta_{s}=0,\\&H_{1}:\delta_{1},\delta_{2},\cdots,\delta_{s} 不全为零 .\end{aligned} $$

这是因为当且仅当 $ \mu_{1} = \mu_{2} = \cdots = \mu_{s} $ 时 $ \mu_{j} = \mu $，即 $ \delta_{j} = 0, j = 1, 2, \cdots, s $。

（二） 平方和的分解

下面我们从平方和的分解着手，导出假设检验问题(1.2) $ ^{\prime} $的检验统计量.引入总偏差平方和

$$ S_{T}=\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}(X_{ij}-\overline{X})^{2}, $$

其中

$$ \overline{X}=\frac{1}{n}\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}X_{ij} $$

是数据的总平均. $ S_{T} $ 能反映全部试验数据之间的差异，因此 $ S_{T} $ 又称为总变差.

又记水平 $ A_{j} $ 下的样本平均值为 $ \overline{X} $，即

$$ \overline{X}_{.j}=\frac{1}{n_{j}}\sum_{i=1}^{n_{j}}X_{ij}. $$

我们将 $ S_{T} $写成

$$ \begin{align*}S_{T}&=\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}\big[(X_{ij}-\overline{X}_{\cdot,j})+(\overline{X}_{\cdot,j}-\overline{X})\big]^{2}\\&=\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}(X_{ij}-\overline{X}_{\cdot,j})^{2}+\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}(\overline{X}_{\cdot,j}-\overline{X})^{2}+2\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}(X_{ij}-\overline{X}_{\cdot,j})(\overline{X}_{\cdot,j}-\overline{X})。\end{align*} $$

注意到上式第三项（即交叉项）

$$ \begin{align*}&2\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}(X_{ij}-\overline{X}_{.j})(\overline{X}_{.j}-\overline{X})\\&\quad=2\sum_{j=1}^{s}(\overline{X}_{.j}-\overline{X})\Big[\sum_{i=1}^{n_{j}}(X_{ij}-\overline{X}_{.j})\Big]=2\sum_{j=1}^{s}(\overline{X}_{.j}-\overline{X})\Big(\sum_{i=1}^{n_{j}}X_{ij}-n_{j}\overline{X}_{.j}\Big)=0.\end{align*} $$

于是我们就将 $ S_{T} $分解成为

$$ S_{T}=S_{E}+S_{A}, $$

其中

$$ S_{E}=\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}(X_{ij}-\overline{X}_{,j})^{2}, $$

$$ S_{A}=\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}(\overline{X}_{.j}-\overline{X})^{2}=\sum_{j=1}^{s}n_{j}(\overline{X}_{.j}-\overline{X})^{2}=\sum_{j=1}^{s}n_{j}\overline{X}_{.j}^{2}-n\overline{X}^{2}. $$

上述 $ S_{E} $ 的各项 $ (X_{ij} - X_{.j})^{2} $ 表示在水平 $ A_{j} $ 下，样本观察值与样本均值的差异，这是由随机误差所引起的。 $ S_{E} $ 叫做误差平方和。 $ S_{A} $ 的各项 $ n_{j}(\overline{X}_{.j} - \overline{X})^{2} $ 表示 $ A_{j} $ 水平下的样本平均值与数据总平均的差异，这是由水平 $ A_{j} $ 的效应的差异以及随机误差引起的。 $ S_{A} $ 叫做因素 A 的效应平方和。(1.8) 式就是我们所需要的平方和分解式。

（三） $ S_{E}, S_{A} $ 的统计特性

为了引出检验问题(1.2) $ ^{\prime} $的检验统计量，我们依次来讨论 $ S_{E}, S_{A} $的一些统计特性. 先将 $ S_{E} $写成

$$ S_{E}=\sum_{i=1}^{n_{1}}(X_{i1}-\overline{X}_{.1})^{2}+\cdots+\sum_{i=1}^{n_{s}}(X_{is}-\overline{X}_{.s})^{2}. $$

注意到 $ \sum_{i=1}^{n_{j}}(X_{ij}-\overline{X}_{.j})^{2} $是总体 $ N(\mu_{j},\sigma^{2}) $的样本方差的 $ n_{j}-1 $倍，于是有

$$ \frac{\sum_{i=1}^{n_{j}}(X_{ij}-\overline{X}_{.j})^{2}}{\sigma^{2}}\sim\chi^{2}(n_{j}-1). $$

因各 $ X_{ij} $ 相互独立，故(1.11)式中各平方和相互独立。由 $ \chi^{2} $ 分布的可加性知

$$ \begin{array}{l}\frac{S_{E}}{\sigma^{2}}\sim\chi^{2}\left(\displaystyle\sum_{j=1}^{s}(n_{j}-1)\right),\\\underline{\quad\frac{S_{E}}{\sigma^{2}}\sim\chi^{2}(n-s)},\end{array} $$

即

这里 $ n=\sum_{j=1}^{s}n_{j} $. 由(1.12)式还可知， $ S_{E} $ 的自由度为 n-s，且有

$$ E(S_{E})=(n-s)\sigma^{2}. $$

下面讨论 $ S_{A} $ 的统计特性，我们看到 $ S_{A} $ 是 s 个变量 $ \sqrt{n_{j}}\left(\overline{X}_{.j}-\overline{X}\right) $ (j=1,2,\cdots,s) 的平方和，它们之间仅有一个线性约束条件

$$ \sum_{j=1}^{s}\sqrt{n_{j}}\left[\sqrt{n_{j}}\left(\overline{X}_{.j}-\overline{X}\right)\right]=\sum_{j=1}^{s}n_{j}\left(\overline{X}_{.j}-\overline{X}\right)=\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}X_{ij}-n\overline{X}=0, $$

故知 $ S_{A} $ 的自由度是 s-1.

再由(1.3)，(1.6)及 $ X_{ij} $的独立性，知

$$ \overline{X}\sim N\left(\mu,\frac{\sigma^{2}}{n}\right). $$

即得

$$ \begin{align*}E(S_{A})&=E\Big[\sum_{j=1}^{s}n_{j}\overline{X}_{:j}^{2}-n\overline{X}^{2}\Big]=\sum_{j=1}^{s}n_{j}E(\overline{X}_{:j}^{2})-nE(\overline{X}^{2})\\&=\sum_{j=1}^{s}n_{j}\Big[\frac{\sigma^{2}}{n_{j}}+(\mu+\delta_{j})^{2}\Big]-n\Big(\frac{\sigma^{2}}{n}+\dot{\mu}^{2}\Big)\\&=(s-1)\sigma^{2}+2\mu\sum_{j=1}^{s}n_{j}\delta_{j}+n\mu^{2}+\sum_{j=1}^{s}n_{j}\delta_{j}^{2}-n\mu^{2}.\end{align*} $$

由(1.1) $ ^{\prime} $式 $ \sum_{j=1}^{s}n_{j}\delta_{j}=0 $，故有

$$ E(S_{A})=(s-1)\sigma^{2}+\sum_{j=1}^{s}n_{j}\delta_{j}^{2}. $$

进一步还可以证明 $ S_{A} $ 与 $ S_{E} $ 独立，且当 $ H_{0} $ 为真时

$$ \frac{S_{A}}{\sigma^{2}}\sim\chi^{2}(s-1). $$

（证略）

（四） 假设检验问题的拒绝域

现在我们可以来确定假设检验问题(1.2) $ ^{\prime} $的拒绝域了.

由（1.15）式知，当 $ H_{0} $为真时

$$ E\left(\frac{S_{A}}{s-1}\right)=\sigma^{2}, $$

即 $ \frac{S_{A}}{s-1} $是 $ \sigma^{2} $的无偏估计.而当 $ H_{1} $为真时， $ \sum_{j=1}^{s}n_{j}\delta_{j}^{2}>0 $，此时

$$ E\left(\frac{S_{A}}{s-1}\right)=\sigma^{2}+\frac{1}{s-1}\sum_{j=1}^{s}n_{j}\delta_{j}^{2}>\sigma^{2} $$

又由(1.13)知，

$$ E\left(\frac{S_{E}}{n-s}\right)=\sigma^{2}, $$

即不管 $ H_{0} $ 是否为真， $ \frac{S_{E}}{n-s} $ 都是 $ \sigma^{2} $ 的无偏估计.

综上所述，分式 $ F = \frac{S_{A}/(s-1)}{S_{E}/(n-s)} $ 的分子与分母独立，分母 $ \frac{S_{E}}{n-s} $ 不论 $ H_{0} $ 是否为真，其数学期望总是 $ \sigma^{2} $。当 $ H_{0} $ 为真时，分子的数学期望为 $ \sigma^{2} $，当 $ H_{0} $ 不真时，由(1.18)式分子的取值有偏大的趋势。故知检验问题(1.2)的拒绝域具有形式

$$ F=\frac{S_{A}/(s-1)}{S_{E}/(n-s)}\geqslant k, $$

其中 k 由预先给定的显著性水平 $ \alpha $ 确定。由 (1.12)，(1.16) 式及 $ S_{E} $ 与 $ S_{A} $ 的独立性知，当 $ H_{0} $ 为真时，

$$ \frac{S_{A}/(s-1)}{S_{E}/(n-s)}=\left.\frac{S_{A}/\sigma^{2}}{s-1}\right|\frac{S_{E}/\sigma^{2}}{n-s}\sim F(s-1,n-s). $$

由此得检验问题 $ （1.2）' $的拒绝域为

$$ F=\frac{S_{A}/(s-1)}{S_{E}/(n-s)}\geqslant F_{a}(s-1,n-s). $$

上述分析的结果可排成表9-5的形式，称为方差分析表.

表中 $ \overline{S}_{A}=S_{A}/(s-1) $， $ \overline{S}_{E}=S_{E}/(n-s) $ 分别称为 $ S_{A} $， $ S_{E} $ 的均方。另外，因在 $ S_{T} $ 中 n 个变量 $ X_{ii}-\overline{X} $ 之间仅满足一个约束条件 (1.6)，故 $ S_{T} $ 的自由度为 n-1。

在实际中，我们可以按以下较简便的公式来计算 $ S_{T}, S_{A} $ 和 $ S_{E} $.

记

$$ T_{,j}=\sum_{i=1}^{n_{j}}X_{ij},j=1,2,\cdots,s,\quad T_{..}=\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}X_{ij}, $$

即有

$$ \left.\begin{aligned}S_{T}&=\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}X_{i j}^{2}-n\overline{X}^{2}=\sum_{j=1}^{s}\sum_{i=1}^{n_{j}}X_{i j}^{2}-\frac{T_{,:}^{2}}{n},\\ S_{A}&=\sum_{j=1}^{s}n_{j}\overline{X}_{,:j}^{2}-n\overline{X}^{2}=\sum_{j=1}^{s}\frac{T_{,j}^{2}}{n_{j}}-\frac{T_{,:}^{2}}{n},\\ S_{E}&=S_{T}-S_{A}.\end{aligned}\right\} $$

例4 设在例1中符合模型(1.1)条件，检验假设 $ \alpha=0.05 $:

$$ H_{0}:\mu_{1}=\mu_{2}=\mu_{3}, $$

$ H_{1}:\mu_{1},\mu_{2},\mu_{3} $ 不全相等.

解 现在 $ s=3, n_{1}=n_{2}=n_{3}=5, n=15 $

$$ \begin{aligned}S_{T}&=\sum_{j=1}^{3}\sum_{i=1}^{5}X_{ij}^{2}-\frac{T^{2}_{..}}{15}\\&=0.963\ 912-\frac{3.8^{2}}{15}=0.001\ 245\ 33,\end{aligned} $$

$$ \begin{aligned}S_{A}&=\sum_{j=1}^{3}\frac{T_{\cdot j}^{2}}{n_{j}}-\frac{T_{\cdot\cdot}^{2}}{n}\\&=\frac{1}{5}(1.21^{2}+1.28^{2}+1.31^{2})-3.8^{2}/15\\&=0.00105333,\\ \end{aligned} $$

$$ S_{E}=S_{T}-S_{A}=0,000\ 192. $$

$ S_{T}, S_{A}, S_{E} $ 的自由度依次为 n-1=14, s-1=2, n-s=12 ，得方差分析表如下：

因 $ F_{0.05}(2,12)=3.89<32.92 $，故在显著性水平0.05下拒绝 $ H_{0} $，认为各台机器生产的薄板厚度有显著的差异。

（五）未知参数的估计

上面已讲到过，不管 $ H_{0} $是否为真，

$$ \stackrel{\wedge}{\sigma^{2}}=\frac{S_{E}}{n-s} $$

是 $ \sigma^{2} $的无偏估计.

又由(1.14)，(1.7)式知

$$ E(\overline{X})=\mu,E(\overline{X}_{.j})=\frac{1}{n_{j}}\sum_{i=1}^{n_{j}}E(X_{ij})=\mu_{j},j=1,2,\cdots,s. $$

故 $ \hat{\mu} = \overline{X} $， $ \hat{\mu}_{j} = \overline{X}_{.j} $ 分别是 $ \mu, \mu_{j} $ 的无偏估计.

又若拒绝 $ H_{0} $，这意味着效应 $ \delta_{1}, \delta_{2}, \cdots, \delta_{s} $ 不全为零。由于

$$ \delta_{j}=\mu_{j}-\mu,\quad j=1,2,\cdots,s, $$

知 $ \hat{\delta}_{j} = \overline{X}_{.j} - \overline{X} $ 是 $ \delta_{j} $ 的无偏估计. 此时还有关系式

$$ \sum_{j=1}^{s}n_{j}\hat{\delta}_{j}=\sum_{j=1}^{s}n_{j}\overline{X}_{.j}-n\overline{X}=0. $$

当拒绝 $ H_{0} $ 时，常需要作出两总体 $ N(\mu_{j}, \sigma^{2}) $ 和 $ N(\mu_{k}, \sigma^{2}) $， $ j \neq k $ 的均值差 $ \mu_{j} - \mu_{k} = \delta_{j} - \delta_{k} $ 的区间估计。其做法如下。

由于

$$ E(\overline{X}_{.j}-\overline{X}_{.k})=\mu_{j}-\mu_{k}, $$

$$ D(\overline{X}_{.j}-\overline{X}_{.k})=\sigma^{2}\left(\frac{1}{n_{j}}+\frac{1}{n_{k}}\right), $$

由第六章附录知 $ \overline{X}_{.j} - \overline{X}_{.k} $ 与 $ \sigma^{2} = S_{E}/(n-s) $ 独立.于是

$$ \begin{align*}&\frac{(\overline{X}_{.j}-\overline{X}_{.k})-(\mu_{j}-\mu_{k})}{\sqrt{\overline{S}_{E}\left(\frac{1}{n_{j}}+\frac{1}{n_{k}}\right)}}\\&\quad=\frac{(\overline{X}_{.j}-\overline{X}_{.k})-(\mu_{j}-\mu_{k})}{\sigma\sqrt{1/n_{j}+1/n_{k}}}\Bigg/\sqrt{\frac{S_{E}}{\sigma^{2}}\Bigg/(n-s)}\sim t(n-s).\end{align*} $$

据此得均值差 $ \mu_{j}-\mu_{k}=\delta_{j}-\delta_{k} $ 的置信水平为 $ 1-\alpha $ 的置信区间为

$$ \left(\overline{X}_{.j}-\overline{X}_{.k}\pm t_{a/2}(n-s)\sqrt{\overline{S}_{E}\left(\frac{1}{n_{j}}+\frac{1}{n_{k}}\right)}\right). $$

例5 求例4中的未知参数 $ \sigma^{2} $， $ \mu_{j} $， $ \delta_{j}(j=1,2,3) $的点估计及均值差的置信水平为0.95的置信区间.

解

$$ \begin{aligned}&\widehat{\sigma^{2}}=S_{E}/(n-s)=0,000\ 016,\\ &\widehat{\mu_{1}}=\overline{x}_{.1}=0.242,\widehat{\mu_{2}}=\overline{x}_{.2}=0.256,\widehat{\mu_{3}}=\overline{x}_{.3}=0.262,\widehat{\mu}=\overline{x}=0.253,\\ &\widehat{\delta_{1}}=\overline{x}_{.1}-\overline{x}=-0.011,\widehat{\delta_{2}}=\overline{x}_{.2}-\overline{x}=0.003,\widehat{\delta_{3}}=\overline{x}_{.3}-\overline{x}=0.009.\\ \end{aligned} $$

均值差的区间估计如下：

由 $ t_{0.025}(n-s)=t_{0.025}(12)=2.1788 $得

$$ t_{0.025}(12)\sqrt{\overline{S}_{E}\left(\frac{1}{n_{j}}+\frac{1}{n_{k}}\right)}=2.178\ 8\sqrt{16\times10^{-6}\times\frac{2}{5}}=0.006, $$

故 $ \mu_{1}-\mu_{2},\mu_{1}-\mu_{3} $及 $ \mu_{2}-\mu_{3} $的置信水平为0.95的置信区间分别为

$$ (0,242-0,256\pm0,006)=(-0,020,-0,008), $$

$$ (0,242-0.262\pm0.006)=(-0.026,-0.014), $$

$$ (0.256-0.262\pm0.006)=(-0.012,0). $$

例 6 设在例 2 中的四种类型电路的响应时间的总体均为正态，且各总体的方差相同，但参数均未知。又设各样本相互独立。试取显著性水平 $ \alpha = 0.05 $ 检验各类型电路的响应时间是否有显著差异。

解 分别以 $ \mu_{1},\mu_{2},\mu_{3},\mu_{4} $ 记类型 I，Ⅱ，Ⅲ，Ⅳ 四种电路响应时间总体的平均值. 我们需检验 ( $ \alpha=0.05 $)

$$ H_{0}:\mu_{1}=\mu_{2}=\mu_{3}=\mu_{4}, $$

$$ H_{1}:\mu_{1},\mu_{2},\mu_{3},\mu_{4}\ 不全相等 . $$

现在 n=18, s=4, $ n_{1}=n_{2}=n_{3}=5 $, $ n_{4}=3 $

$$ S_{T}=\sum_{j=1}^{4}\sum_{i=1}^{n_{j}}x_{ij}^{2}-\frac{T_{..}^{2}}{18}=8\ 992-386^{2}/18=714.44, $$

$$ \begin{align*}S_{A}&=\sum_{j=1}^{4}\frac{T_{:j}^{2}}{n_{j}}-\frac{T_{:}^{2}}{18}\\&=\left[\frac{1}{5}(94^{2}+141^{2}+92^{2})+\frac{59^{2}}{3}\right]-\frac{386^{2}}{18}=318.98,\end{align*} $$

$$ S_{E}=S_{T}-S_{A}=395.46. $$

$ S_{T}, S_{A}, S_{E} $ 的自由度依次为 17, 3, 14，结果载于表 9-7.

因 $ F_{0.05}(3,14)=3.34<3.76 $，故在显著性水平0.05下拒绝 $ H_{0} $，认为各类型电路的响应时间有显著差异。

§2 双因素试验的方差分析

本节介绍双因素试验的方差分析.

（一） 双因素等重复试验的方差分析

设有两个因素A,B作用于试验的指标. 因素A有r个水平 $ A_{1},A_{2},\cdots,A_{r} $，因

素 B 有 s 个水平 $ B_{1}, B_{2}, \cdots, B_{s} $. 现对因素 A, B 的水平的每对组合 $ (A_{i}, B_{j}), i = 1, 2, \cdots, r, j = 1, 2, \cdots, s $ 都作 $ t (t \geqslant 2) $ 次试验（称为等重复试验），得到如表 9-8 的结果.

并设

$$ X_{i j k}\sim N(\mu_{i j},\sigma^{2}),i=1,2,\cdots,r;j=1,2,\cdots,s;k=1,2,\cdots,t, $$

各 $ X_{ijk} $ 独立. 这里 $ \mu_{ij}, \sigma^{2} $ 均为未知参数. 或写成

$$ \begin{aligned}&\left.\begin{aligned}\\ &X_{ijk}=\mu_{ij}+\epsilon_{ijk},\\&\epsilon_{ijk}\sim N(0,\sigma^{2}), 各 \epsilon_{ijk} 独立 ,\\&i=1,2,\cdots,r;j=1,2,\cdots,s;\\&k=1,2,\cdots,t.\\ &\end{aligned}\right\}\\ \end{aligned} $$

引入记号

$$ \begin{aligned}&\mu=\frac{1}{rs}\sum_{i=1}^{r}\sum_{j=1}^{s}\mu_{ij},\\&\mu_{i.}=\frac{1}{s}\sum_{j=1}^{s}\mu_{ij},\quad i=1,2,\cdots,r,\\&\mu_{\cdot j}=\frac{1}{r}\sum_{i=1}^{r}\mu_{ij},\quad j=1,2,\cdots,s,\\&\alpha_{i}=\mu_{i.}-\mu,\quad i=1,2,\cdots,r,\\&\beta_{j}=\mu_{\cdot j}-\mu,\quad j=1,2,\cdots,s.\\ \end{aligned} $$

易见

$$ \sum_{i=1}^{r}\alpha_{i}=0,\quad\sum_{j=1}^{s}\beta_{j}=0. $$

称 $ \mu $ 为总平均，称 $ \alpha_{i} $ 为水平 $ A_{i} $ 的效应，称 $ \beta_{j} $ 为水平 $ B_{j} $ 的效应。这样可将 $ \mu_{ij} $ 表示成

$$ \mu_{ij}=\mu+\alpha_{i}+\beta_{j}+(\mu_{ij}-\mu_{i\cdot}-\mu_{\cdot j}+\mu) $$

$$ i=1,2,\cdots,r;j=1,2,\cdots,s. $$

记

$$ \gamma_{ij}=\mu_{ij}-\mu_{i.}-\mu_{.j}+\mu,i=1,2,\cdots,r;\quad j=1,2,\cdots,s, $$

此时

$$ \mu_{ij}=\mu+\alpha_{i}+\beta_{j}+\gamma_{ij}. $$

$ \gamma_{ij} $ 称为水平 $ A_{i} $ 和水平 $ B_{j} $ 的交互效应，这是由 $ A_{i}, B_{j} $ 搭配起来联合起作用而引起的. 易见

$$ \begin{array}{l l}{\displaystyle\sum_{i=1}^{r}\gamma_{i j}=0,}&{j=1,2,\cdots,s,}\\ {}&{}\\ {\displaystyle\sum_{j=1}^{s}\gamma_{i j}=0,}&{i=1,2,\cdots,r.}\\ \end{array} $$

这样，(2.1)可写成

$$ \left.\begin{aligned}&X_{i j k}=\mu+\alpha_{i}+\beta_{j}+\gamma_{i j}+\varepsilon_{i j k},\\ &\varepsilon_{i j k}\sim N(0,\sigma^{2}), 各 \varepsilon_{i j k} 独立 ,\\ &i=1,2,\cdots,r;j=1,2,\cdots,s;k=1,2,\cdots,t,\\ &\sum_{i=1}^{r}\alpha_{i}=0,\sum_{j=1}^{s}\beta_{j}=0,\sum_{i=1}^{r}\gamma_{i j}=0,\sum_{j=1}^{s}\gamma_{i j}=0,\\ \end{aligned}\right\} $$

其中 $ \mu,\alpha_{i},\beta_{j},\gamma_{ij} $ 及 $ \sigma^{2} $ 都是未知参数.

（2.5）式就是我们所要研究的双因素试验方差分析的数学模型. 对于这一模型我们要检验以下三个假设：

$$ \{\begin{aligned}H_{01}&:\alpha_{1}=\alpha_{2}=\cdots=\alpha_{r}=0,\\ H_{11}&:\alpha_{1},\alpha_{2},\cdots,\alpha_{r} 不全为零 ,\end{aligned}. $$

$$ \{\begin{aligned}H_{02}&:\beta_{1}=\beta_{2}=\cdots=\beta_{s}=0\\ H_{12}&:\beta_{1},\beta_{2},\cdots,\beta_{s} 不全为零 ,\end{aligned}. $$

$$ \{\begin{aligned}H_{03}&:\gamma_{11}=\gamma_{12}=\cdots=\gamma_{rs}=0,\\ H_{13}&:\gamma_{11},\gamma_{12},\cdots,\gamma_{rs} 不全为零 .\end{aligned}. $$

与单因素情况类似，对这些问题的检验方法也是建立在平方和的分解上的。先引入以下的记号：

$$ \begin{aligned}&\overline{X}=\frac{1}{rst}\sum_{i=1}^{r}\sum_{j=1}^{s}\sum_{k=1}^{t}X_{ijk},\\&\overline{X}_{ij.}=\frac{1}{t}\sum_{k=1}^{t}X_{ijk},\quad i=1,2,\cdots,r;j=1,2,\cdots,s,\\&\overline{X}_{i..}=\frac{1}{st}\sum_{j=1}^{s}\sum_{k=1}^{t}X_{ijk},\quad i=1,2,\cdots,r,\\ \end{aligned} $$

$$ \overline{X}_{.j.}=\frac{1}{rt}\sum_{i=1}^{r}\sum_{k=1}^{t}X_{ijk},\quad j=1,2,\cdots,s. $$

再引入总偏差平方和（称为总变差）

$$ S_{T}=\sum_{i=1}^{r}\sum_{j=1}^{s}\sum_{k=1}^{t}(X_{ijk}-\overline{X})^{2}. $$

我们可将 $ S_{T} $ 写成

$$ \begin{aligned}S_{T}&=\sum_{i=1}^{r}\sum_{j=1}^{s}\sum_{k=1}^{t}(X_{ijk}-\overline{X})^{2}\\&=\sum_{i=1}^{r}\sum_{j=1}^{s}\sum_{k=1}^{t}\left[(X_{ijk}-\overline{X}_{ij,.})+(\overline{X}_{i,..}-\overline{X})+(\overline{X}_{.j,.}-\overline{X})\right.\\&\quad\left.+(\overline{X}_{ij,..}-\overline{X}_{i,..}-\overline{X}_{.j,..}+\overline{X})\right]^{2}\\&=\sum_{i=1}^{r}\sum_{j=1}^{s}\sum_{k=1}^{t}(X_{ijk}-\overline{X}_{ij,..})^{2}+st\sum_{i=1}^{r}(\overline{X}_{i,..}-\overline{X})^{2}\\&\quad+rt\sum_{j=1}^{s}(\overline{X}_{.j,..}-\overline{X})^{2}+t\sum_{i=1}^{r}\sum_{j=1}^{s}(\overline{X}_{ij,..}-\overline{X}_{i,..}-\overline{X}_{.j,..}+\overline{X})^{2},\end{aligned} $$

即得平方和的分解式

$$ S_{T}=S_{E}+S_{A}+S_{B}+S_{A\times B}, $$

$$ S_{E}=\sum_{i=1}^{r}\sum_{j=1}^{s}\sum_{k=1}^{t}(X_{ijk}-\overline{X}_{ij.})^{2}, $$

其中

$$ S_{A}=st\sum_{i=1}^{r}(\overline{X}_{i..}-\overline{X})^{2}, $$

$$ S_{B}=r t\sum_{j=1}^{s}(\overline{X}_{.j.}-\overline{X})^{2}, $$

$$ S_{A\times B}=t\sum_{i=1}^{r}\sum_{j=1}^{s}(\overline{X}_{ij},-\overline{X}_{i..}-\overline{X}_{.j,+}\overline{X})^{2}. $$

$ S_{E} $ 称为误差平方和， $ S_{A} $， $ S_{B} $ 分别称为因素 A、因素 B 的效应平方和， $ S_{A\times B} $ 称为 A，B 交互效应平方和.

可以证明 $ S_{T}, S_{E}, S_{A}, S_{B}, S_{A \times B} $ 的自由度依次为 $ rst-1, rs(t-1), r-1, s-1, (r-1)(s-1) $，且有

$$ E\left(\frac{S_{E}}{rs(t-1)}\right)=\sigma^{2}, $$

$$ E\left(\frac{S_{A}}{r-1}\right)=\sigma^{2}+\frac{st\sum_{i=1}^{r}\alpha_{i}^{2}}{r-1}, $$

$$ E\left(\frac{S_{B}}{s-1}\right)=\sigma^{2}+\frac{rt\sum_{j=1}^{s}\beta_{j}^{2}}{s-1}, $$

$$ E\left(\frac{S_{A\times B}}{(r-1)(s-1)}\right)=\sigma^{2}+\frac{t\sum_{i=1}^{r}\sum_{j=1}^{s}\gamma_{ij}^{2}}{(r-1)(s-1)}. $$

当 $ H_{01}:\alpha_{1}=\alpha_{2}=\cdots=\alpha_{r}=0 $为真时，可以证明

$$ F_{A}=\frac{S_{A}/(r-1)}{S_{E}/(r s(t-1))}\sim F(r-1,r s(t-1)). $$

取显著性水平为 $ \alpha $，得假设 $ H_{01} $的拒绝域为

$$ F_{A}=\frac{S_{A}/(r-1)}{S_{E}/(r s(t-1))}\geqslant F_{a}(r-1,r s(t-1)). $$

类似地，在显著性水平 $ \alpha $下，假设 $ H_{02} $的拒绝域为

$$ F_{B}=\frac{S_{B}/(s-1)}{S_{E}/(r s(t-1))}\geqslant F_{a}(s-1,r s(t-1)). $$

在显著性水平 $ \alpha $下，假设 $ H_{03} $的拒绝域为

$$ \begin{aligned}F_{A\times B}&=\frac{S_{A\times B}/((r-1)(s-1))}{S_{E}/(rs(t-1))}\\&\geqslant F_{a}((r-1)(s-1),rs(t-1)).\end{aligned} $$

上述结果可汇总成下列的方差分析表：

记

$$ T_{...}=\sum_{i=1}^{r}\sum_{j=1}^{s}\sum_{k=1}^{t}X_{ijk}, $$

$$ T_{ij.}=\sum_{k=1}^{t}X_{ijk},\quad i=1,2,\cdots,r;j=1,2,\cdots,s, $$

$$ T_{i..}=\sum_{j=1}^{s}\sum_{k=1}^{t}X_{ijk},\quad i=1,2,\cdots,r, $$

$$ T_{.j.}=\sum_{i=1}^{r}\sum_{k=1}^{t}X_{ijk},\quad j=1,2,\cdots,s. $$

我们可以按照下述(2.22)式来计算上表中的各个平方和.

$$ \left.\begin{aligned}&S_{T}=\sum_{i=1}^{r}\sum_{j=1}^{s}\sum_{k=1}^{t}X_{i j k}^{2}-\frac{T_{...\cdots}^{2}}{r s t},\\&S_{A}=\frac{1}{s t}\sum_{i=1}^{r}T_{i\cdots}^{2}.-\frac{T_{...\cdots}^{2}}{r s t},\\&S_{B}=\frac{1}{r t}\sum_{j=1}^{s}T_{\cdot j\cdot}^{2}.-\frac{T_{...\cdots}^{2}}{r s t},\\&S_{A\times B}=\Big(\frac{1}{t}\sum_{i=1}^{r}\sum_{j=1}^{s}T_{i j}^{2}.-\frac{T_{...\cdots}^{2}}{r s t}\Big)-S_{A}-S_{B},\\&S_{E}=S_{T}-S_{A}-S_{B}-S_{A\times B}.\\ \end{aligned}\right\} $$

例1 在上一节例3中，假设符合双因素方差分析模型所需的条件。试在显著性水平0.05下，检验不同燃料（因素A）、不同推进器（因素B）下的射程是否有显著差异？交互作用是否显著？

解 需检验假设 $ H_{01} $, $ H_{02} $, $ H_{03} $ (见(2.6)~(2.8)). $ T_{...} $, $ T_{ij} $, $ T_{i..} $, $ T_{.j} $. 的计算如表 9−10.

表中括弧内的数是 $ T_{ij} $. 现在 r=4, s=3, t=2, 故有

$$ S_{T}=(58.2^{2}+52.6^{2}+\cdots+41.4^{2})-\frac{1\ 319.8^{2}}{24}=2\ 638.298\ 33, $$

$$ S_{A}=\frac{1}{6}(334.3^{2}+296.5^{2}+342.4^{2}+346.6^{2})-\frac{1}{24}319.8^{2}=261.67500, $$

$$ S_{B}=\frac{1}{8}(468.4^{2}+455.3^{2}+396.1^{2})-\frac{1}{24}319.8^{2}=370.98083, $$

$$ S_{A\times B}=\frac{1}{2}(110.8^{2}+91.9^{2}+\cdots+90.1^{2})-\frac{1}{24}319.8^{2}-S_{A}-S_{B}=1768.69250, $$

$$ S_{E}=S_{T}-S_{A}-S_{B}-S_{A\times B}=236,950\ 00. $$

得方差分析表如下：

由于 $ F_{0.05}(3,12)=3.49

例2 在某种金属材料的生产过程中，对热处理温度（因素B）与时间（因素A）各取两个水平，产品强度的测定结果（相对值）如表9-12所示。在同一条件下每个试验重复两次。设各水平搭配下强度的总体服从正态分布且方差相同。各样本独立。问热处理温度、时间以及这两者的交互作用对产品强度是否有显著的影响（取 $ \alpha=0.05 $）？

解 按题意需检验假设(2.6)—(2.8)，作计算如下：

$$ S_{T}=(38.0^{2}+38.6^{2}+\cdots+40.8^{2})-\frac{340.4^{2}}{8}=71.82, $$

$$ S_{A}=\frac{1}{4}(168.4^{2}+172^{2})-\frac{340.4^{2}}{8}=1.62, $$

$$ S_{B}=\frac{1}{4}(165.4^{2}+175^{2})-\frac{340.4^{2}}{8}=11.52, $$

$$ S_{A\times B}=14\ 551.24-14\ 484.02-1.62-11.52=54.08, $$

$$ \begin{aligned}S_{E}&=S_{T}-S_{A}-S_{B}-S_{A\times B}\\&=71.82-1.62-11.52-54.08=4.6.\end{aligned} $$

得方差分析表如下：

由于 $ F_{0.05}(1,4)=7.71 $ ，所以认为时间对强度的影响不显著，而温度的影响显著，且交互作用的影响显著. ☐

（二） 双因素无重复试验的方差分析

在以上的讨论中，我们考虑了双因素试验中两个因素的交互作用。为要检验交互作用的效应是否显著，对于两个因素的每一组合 $ (A_{i}, B_{j}) $至少要做2次试验。这是因为在模型(2.5)中，若 $ k=1,\gamma_{ij}+\varepsilon_{ijk} $总以结合在一起的形式出现，这样就不能将交互作用与误差分离开来。如果在处理实际问题时，我们已经知道不存在交互作用，或已知交互作用对试验的指标影响很小，则可以不考虑交互作用。此时，即使k=1，也能对因素A、因素B的效应进行分析。现设对于两个因素的每一组合 $ (A_{i}, B_{j}) $只做一次试验，所得结果如下：

并设

$$ \begin{aligned}X_{ij}&\sim N(\mu_{ij},\sigma^{2}),\\ 各 X_{ij} 独立 ,\quad i=1,2,\cdots,r;j=1,2,\cdots,s,\end{aligned} $$

其中 $ \mu_{ij} $， $ \sigma^{2} $ 均为未知参数。或写成

$$ \begin{aligned}&\boldsymbol{X}_{ij}=\mu_{ij}+\boldsymbol{\varepsilon}_{ij},\quad i=1,2,\cdots,r;\text{}\\ &\left.\begin{aligned}\\ &j=1,2,\cdots,s,\\\boldsymbol{\varepsilon}_{ij}\sim N(0,\sigma^{2}),\\& 各 \boldsymbol{\varepsilon}_{ij} 独立 .\\ &\end{aligned}\right\}\\ \end{aligned} $$

沿用（一）中的记号，注意到现在假设不存在交互作用，此时 $ \gamma_{ij}=0,i=1,2,\cdots,r;i=1,2,\cdots,s $。故由（2.4）式知 $ u_{ii}=u+\alpha_{i}+\beta_{i} $。于是（2.23）可写成

$$ \begin{aligned}&\left.\begin{aligned}\\ &X_{ij}=\mu+\alpha_{i}+\beta_{j}+\varepsilon_{ij},\\&\varepsilon_{ij}\sim N(0,\sigma^{2}), 各 \varepsilon_{ij} 独立 ,\\&i=1,2,\cdots,r;j=1,2,\cdots,s,\\&\sum_{i=1}^{r}\alpha_{i}=0,\sum_{j=1}^{s}\beta_{j}=0.\\ &\end{aligned}\right\}\\ \end{aligned} $$

这就是现在要研究的方差分析的模型. 对这个模型我们所要检验的假设有以下两个：

$$ \begin{aligned}&\{\begin{aligned}H_{01}&:\alpha_{1}=\alpha_{2}=\cdots=\alpha_{r}=0,\\H_{11}&:\alpha_{1},\alpha_{2},\cdots,\alpha_{r} 不全为零 .\end{aligned}.\\&\{\begin{aligned}H_{02}&:\beta_{1}=\beta_{2}=\cdots=\beta_{s}=0,\\H_{12}&:\beta_{1},\beta_{2},\cdots,\beta_{s} 不全为零 .\end{aligned}.\end{aligned} $$

与在（一）中同样的讨论可得方差分析表如下：

取显著性水平为 $ \alpha $，得假设 $ H_{01}:\alpha_{1}=\alpha_{2}=\cdots=\alpha_{r}=0 $ 的拒绝域为

$$ F_{A}=\frac{\overline{S}_{A}}{\overline{S}_{E}}\geqslant F_{a}((r-1,(r-1)(s-1)). $$

假设 $ H_{02}:\beta_{1}=\beta_{2}=\cdots=\beta_{s}=0 $ 的拒绝域为

$$ F_{B}=\frac{\overline{S}_{B}}{\overline{S}_{E}}\geqslant F_{a}((s-1,(r-1)(s-1)). $$

表9—15中的平方和可按下述式子来计算：

$$ \left.\begin{aligned}{S_{T}}&{{}=\sum_{i=1}^{r}\sum_{j=1}^{s}X_{i j}^{2}-\frac{T_{*}^{2,*}}{r s},}\\ {S_{A}}&{{}=\frac{1}{s}\sum_{i=1}^{r}T_{i*}^{2}-\frac{T_{*}^{2,*}}{r s},}\\ {S_{B}}&{{}=\frac{1}{r}\sum_{j=1}^{s}T_{:j}^{2}-\frac{T_{*}^{2,*}}{r s},}\\ {S_{E}}&{{}=S_{T}-S_{A}-S_{B},}\\ \end{aligned}\right\} $$

其中 $ T_{..}=\sum_{i=1}^{r}\sum_{j=1}^{s}X_{ij},\quad T_{i.}=\sum_{j=1}^{s}X_{ij},\quad i=1,2,\cdots,r, $

$$ T_{\cdot j}=\sum_{i=1}^{r}X_{i j},\quad j=1,2,\cdots,s. $$

例3 下面给出了在某5个不同地点、不同时间空气中的颗粒状物（以mg/m $ ^{3} $计）的含量的数据：

设本题符合模型(2.24)中的条件. 试在显著性水平 $ \alpha=0.05 $下检验: 在不同时间下颗粒状物含量的均值有无显著差异，在不同地点下颗粒状物含量的均值有无显著差异.

解 按题意需检验假设(2.25)、(2.26)、 $ T_{i} $， $ T_{j} $ 的值已算出载于上表. 现在 r=4, s=5. 由(2.27)得到：

$$ S_{T}=76^{2}+67^{2}+\cdots+37^{2}-\frac{1\ 275^{2}}{20}=3\ 571.75, $$

$$ S_{A}=\frac{1}{5}(331^{2}+376^{2}+290^{2}+278^{2})-\frac{1\ 275^{2}}{20}=1\ 182.95, $$

$$ S_{B}=\frac{1}{4}(289^{2}+251^{2}+\cdots+200^{2})-\frac{1}{20}275^{2}=1\ 947.50, $$

$$ S_{E}=3\ 571.75-(1\ 182.95+1\ 947.50)=441.30. $$

得方差分析表如下：

由于 $ F_{0.05}(3,12)=3.49<10.72, F_{0.05}(4,12)=3.26<13.24 $ ，故拒绝 $ H_{01} $ 及 $ H_{02} $，即认为不同时间下颗粒状物含量的均值有显著差异，也认为不同地点下颗粒状物含量的均值有显著差异。即认为在本题中，时间和地点对颗粒状物的含量的影响均为显著。

§3 一元线性回归

在客观世界中普遍存在着变量之间的关系. 变量之间的关系一般来说可分为确定性的与非确定性的两种. 确定性关系是指变量之间的关系可以用函数关系来表达的. 另一种非确定性的关系即所谓相关关系. 例如人的身高与体重之间存在着关系, 一般来说, 人高一些, 体重要重一些, 但同样高度的人, 体重往往不相同. 人的血压与年龄之间也存在着关系, 但同年龄的人的血压往往不相同. 气象中的温度与湿度之间的关系也是这样. 这是因为我们涉及的变量(如体重、血压、湿度)是随机变量, 上面所说的变量关系是非确定性的. 回归分析是研究相关关系的一种数学工具. 它能帮助我们从一个变量取得的值去估计另一变量所取的值.

（一） 一元线性回归

设随机变量 Y 与 x 之间存在着某种相关关系. 这里, x 是可以控制或可以精确观察的变量, 如年龄、试验时的温度、施加的压力、电压与时间等. 换句话说我们可以随意指定 n 个值 $ x_{1}, x_{2}, \cdots, x_{n} $. 因此我们干脆不把 x 看成是随机变量, 而将它当作普通的变量. 本章中我们只讨论这种情况.

设随机变量 Y（因变量）与普通变量 x（自变量）之间存在着相关关系，由于 Y 是随机变量，对于 x 的各个确定值，Y 有它的分布（如图 9-1，图中 $ C_{1}, C_{2} $ 分别是 $ x_{1}, x_{2} $ 处 Y 的概率密度曲线）. 用 $ F(y \mid x) $ 表示当 x 取确定的 x 值时，所对应的 Y 的分布函数，如果我们掌握了 $ F(y \mid x) $ 随着 x 的取值而变化的规律，那么就能完全掌握 Y

与 x 之间的关系了. 然而这样做往往比较复杂. 作为一种近似, 我们转而去考察 Y 的数学期望, 若 Y 的数学期望 E(Y) 存在, 则其值随 x 的取值而定, 它是 x 的函数. 将这一函数记为 $ \mu_{Y|x} $ 或 $ \mu(x) $, 称为 Y 关于 x 的回归函数 (如图 9-1). 这样, 我们就将讨论 Y 与 x 的相关关系的问题转换为讨论 $ E(Y) = \mu(x) $ 与 x 的函数关系了.

我们知道，若 $ \eta $ 是一个随机变量，则 $ E\left[(\eta-c)^{2}\right] $ 作为 c 的函数，在 $ c=E(\eta) $ 时 $ E\left[(\eta-c)^{2}\right] $ 达到最小（参见第四章习题第17题）。这表明在一切 x 的函数中以回归函数 $ \mu(x) $ 作为 Y 的近似，其均方误差 $ E\left[(Y-\mu(x))^{2}\right] $ 为最小。因此，作为一种近似，为了研究 Y 与 x 的关系转而去研究 $ \mu(x) $ 与 x 的关系是合适的。

在实际问题中，回归函数 $ \mu(x) $ 一般是未知的，回归分析的任务是在根据试验数据去估计回归函数，讨论有关的点估计、区间估计、假设检验等问题。特别重要的是对随机变量 Y 的观察值作出点预测和区间预测。

我们对于 x 取定一组不完全相同的值 $ x_{1}, x_{2}, \cdots, x_{n} $，设 $ Y_{1}, Y_{2}, \cdots, Y_{n} $ 分别是在 $ x_{1}, x_{2}, \cdots, x_{n} $ 处对 Y 的独立观察结果，称

$$ (x_{1},Y_{1}),(x_{2},Y_{2}),\cdots,(x_{n},Y_{n}) $$

是一个样本 $ ^{①} $，对应的样本值记为

$$ (x_{1},y_{1}),(x_{2},y_{2}),\cdots,(x_{n},y_{n}). $$

我们首先要解决的问题是如何利用样本来估计 Y 关于 x 的回归函数 $ \mu(x) $. 为此, 首先需要推测 $ \mu(x) $ 的形式. 在一些问题中, 我们可以由专业知识知道 $ \mu(x) $ 的形式. 否则, 可将每对观察值 $ (x_{i}, y_{i}) $ 在直角坐标系中描出它的相应的点(如下例中的图 9-2), 这种图称为散点图. 散点图可以帮助我们粗略地看出 $ \mu(x) $ 的形式.

例1 为研究某一化学反应过程中，温度 x(℃) 对产品得率 Y(%) 的影响，测得数据如下.

这里自变量 x 是普通变量，Y 是随机变量。画出散点图如图 9-2 所示。由图大致看出 $ \mu(x) $ 具有线性函数 $ a + bx $ 的形式。

设Y关于x的回归函数为 $ \mu(x) $.利用样本来估计 $ \mu(x) $的问题称为求Y关于x的回归问题.特别,若 $ \mu(x) $为线性函数: $ \mu(x)=a+bx $,此时估计 $ \mu(x) $的问题称为求一元线性回归问题.本节只讨论这个问题.

我们假设对于 x（在某个区间内）的每一个值有

$$ Y\sim N(a+b x,\sigma^{2}), $$

其中 a, b 及 $ \sigma^{2} $ 都是不依赖于 x 的未知参数. 记 $ \varepsilon = Y - (a + bx) $，对 Y 作这样的正态假设，相当于假设

$$ Y=a+bx+\varepsilon,\quad\varepsilon\sim N(0,\sigma^{2}), $$

其中未知参数a,b及 $ \sigma^{2} $都不依赖于x.(3.2)称为一元线性回归模型，其中b称为回归系数.

（3.2）式表明，因变量Y由两部分组成，一部分是x的线性函数 $ a+bx $，另一部分 $ \varepsilon\sim N(0,\sigma^{2}) $是随机误差，是人们不可控制的.

（二） a,b的估计

取 x 的 n 个不全相同的值 $ x_{1}, x_{2}, \cdots, x_{n} $ 作独立试验，得到样本 $ (x_{1}, Y_{1}), (x_{2}, Y_{2}), \cdots, (x_{n}, Y_{n}) $。由 (3.2) 式

$$ Y_{i}=a+bx_{i}+\varepsilon_{i},\varepsilon_{i}\sim N(0,\sigma^{2}),\mathrm{ 各 }\varepsilon_{i}\mathrm{ 相互独立 }. $$

于是 $ Y_{i} \sim N(a + bx_{i}, \sigma^{2}), i = 1, 2, \cdots, n. $ 由 $ Y_{1}, Y_{2}, \cdots, Y_{n} $ 的独立性，知 $ Y_{1}, Y_{2}, \cdots, Y_{n} $ 的联合密度为

$$ \begin{align*}L&=\prod_{i=1}^{n}\frac{1}{\sigma\sqrt{2\pi}}\exp\Bigl[-\frac{1}{2\sigma^{2}}(y_{i}-a-bx_{i})^{2}\Bigr]\\&=\Bigl(\frac{1}{\sigma\sqrt{2\pi}}\Bigr)^{n}\exp\Bigl[-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(y_{i}-a-bx_{i})^{2}\Bigr].\end{align*} $$

现用最大似然估计法来估计未知参数 a, b. 对于任意一组观察值 $ y_{1}, y_{2}, \cdots, y_{n} $，(3.4) 式就是样本的似然函数. 显然，要 L 取最大值，只要 (3.4) 式右端方括弧中的平方和部分为最小，即只需函数

$$ Q(a,b)=\sum_{i=1}^{n}(y_{i}-a-bx_{i})^{2} $$

取最小值 $ ^{①} $.

取 Q 分别关于 a, b 的偏导数，并令它们等于零：

$$ \left.\begin{array}{l}\frac{\partial Q}{\partial a}=-2\displaystyle\sum_{i=1}^{n}(y_{i}-a-b x_{i})=0,\\ \frac{\partial Q}{\partial b}=-2\displaystyle\sum_{i=1}^{n}(y_{i}-a-b x_{i})x_{i}=0.\end{array}\right\} $$

得方程组

$$ \{\begin{aligned}na&+\big(\sum_{i=1}^{n}x_{i}\big)b=\sum_{i=1}^{n}y_{i},\\ \big(\sum_{i=1}^{n}x_{i}\big)a&+\big(\sum_{i=1}^{n}x_{i}^{2}\big)b=\sum_{i=1}^{n}x_{i}y_{i}.\end{aligned}. $$

（3.7）式称为正规方程组.

由于 $ x_{i} $ 不全相同，正规方程组的系数行列式

$$ \left|\begin{array}{c c}n&\displaystyle\sum_{i=1}^{n}x_{i}\\ \displaystyle\sum_{i=1}^{n}x_{i}&\displaystyle\sum_{i=1}^{n}x_{i}^{2}\end{array}\right|=n\sum_{i=1}^{n}x_{i}^{2}-\left(\sum_{i=1}^{n}x_{i}\right)^{2}=n\sum_{i=1}^{n}(x_{i}-\overline{x})^{2}\neq0. $$

故(3.7)有唯一的一组解. 解得 b, a 的最大似然估计值为

$$ \left.\begin{aligned}\hat{b}&=\frac{n\sum_{i=1}^{n}x_{i}y_{i}-\Big(\sum_{i=1}^{n}x_{i}\Big)\Big(\sum_{i=1}^{n}y_{i}\Big)}{n\sum_{i=1}^{n}x_{i}^{2}-\Big(\sum_{i=1}^{n}x_{i}\Big)^{2}}=\frac{\sum_{i=1}^{n}(x_{i}-\overline{x})(y_{i}-\overline{y})}{\sum_{i=1}^{n}(x_{i}-\overline{x})^{2}},\\ \hat{a}&=\frac{1}{n}\sum_{i=1}^{n}y_{i}-\frac{\hat{b}}{n}\sum_{i=1}^{n}x_{i}=\overline{y}-\hat{b}\overline{x},\end{aligned}\right\} $$

其中 $ \overline{x} = \frac{1}{n} \sum_{i=1}^{n} x_{i} $， $ \overline{y} = \frac{1}{n} \sum_{i=1}^{n} y_{i} $。

在得到 a, b 的估计 $ \hat{a}, \hat{b} $ 后，对于给定的 x，我们就取 $ \hat{a} + \hat{b}x $ 作为回归函数 $ \mu(x) = a + bx $ 的估计，即 $ \hat{\mu(x)} = \hat{a} + \hat{b}x $，称为 Y 关于 x 的经验回归函数。记 $ \hat{a} + \hat{b}x = \hat{y} $，方程

$$ \hat{y}=\hat{a}+\hat{b}x $$

称为 Y 关于 x 的经验回归方程，简称回归方程，其图形称为回归直线.

将(3.8)中 $ \hat{a} $的表达式代入(3.9)式，则回归方程可写成

$$ \hat{y}=\overline{y}+\hat{b}(x-\overline{x}). $$

(3.10)表明，对于样本值 $ \overline{(x_{1}, y_{1})}, (x_{2}, y_{2}) \cdots, (x_{n}, y_{n}) $，回归直线通过散点图的几何中心 $ (\overline{x}, \overline{y}) $.

今后我们将视方便而使用(3.9)或(3.10).

为了计算上的方便，我们引入下述记号：

$$ \{\begin{array}{l}S_{x x}=\displaystyle\sum_{i=1}^{n}(x_{i}-\overline{x})^{2}=\sum_{i=1}^{n}x_{i}^{2}-\frac{1}{n}\Big(\sum_{i=1}^{n}x_{i}\Big)^{2},\\S_{y y}=\displaystyle\sum_{i=1}^{n}(y_{i}-\overline{y})^{2}=\sum_{i=1}^{n}y_{i}^{2}-\frac{1}{n}\Big(\sum_{i=1}^{n}y_{i}\Big)^{2},\\S_{x y}=\displaystyle\sum_{i=1}^{n}(x_{i}-\overline{x})(y_{i}-\overline{y})=\sum_{i=1}^{n}x_{i}y_{i}-\frac{1}{n}\Big(\sum_{i=1}^{n}x_{i}\Big)\Big(\sum_{i=1}^{n}y_{i}\Big).\end{array}\} $$

这样，a,b 的估计值可写成

$$ \left.\begin{array}{r l}&{\hat{b}=\frac{S_{x y}}{S_{x x}},}\\ &{\hat{a}=\frac{1}{n}\sum_{i=1}^{n}y_{i}-\Big(\frac{1}{n}\sum_{i=1}^{n}x_{i}\Big)\hat{b}.}\end{array}\right\} $$

例2（续例1）设在例1中的随机变量Y符合（3.2）式所述的条件，求Y关于x的线性回归方程.

解 现在 n=10，为求线性回归方程，所需计算列表如下：

由表9-17得

$$ S_{xx}=218\ 500-\frac{1}{10}\times1\ 450^{2}=8\ 250, $$

$$ S_{xy}=101\ 570-\frac{1}{10}\times1\ 450\times673=3\ 985, $$

$$ \hat{b}=S_{x y}/S_{x x}=0.48303, $$

故得

$$ \hat{a}=\frac{1}{10}\times673-\frac{1}{10}\times1\ 450\times0.483\ 03=-2.739\ 35, $$

于是得到回归直线方程

$$ \hat{y}=-2.73935+0.48303x, $$

或写成

$$ \hat{y}=67.3+0.48303(x-145). $$

（三） $ \sigma^{2} $ 的估计

由(3.2)式，

$$ E\{[Y-(a+b x)]^{2}\}=E(\varepsilon^{2})=D(\varepsilon)+[E(\varepsilon)]^{2}=\sigma^{2}, $$

这表示 $ \sigma^{2} $ 愈小，以回归函数 $ \mu(x)=a+bx $ 作为 Y 的近似导致的均方误差就愈小。这样，利用回归函数 $ \mu(x)=a+bx $ 去研究随机变量 Y 与 x 的关系就愈有效。然而 $ \sigma^{2} $ 是未知的，因而我们需要利用样本去估计 $ \sigma^{2} $。为了估计 $ \sigma^{2} $，先引入下述残差平方和。

$$ \hat{y}_{i}=\hat{y}\mid_{x=x_{i}}=\hat{a}+\hat{b}x_{i}, $$

$ y_{i}-\hat{y}_{i} $ 为 $ x_{i} $ 处的残差. 平方和

$$ Q_{e}=\sum_{i=1}^{n}(y_{i}-\hat{y}_{i})^{2}=\sum_{i=1}^{n}(y_{i}-\hat{a}-\hat{b}x_{i})^{2} $$

称为残差平方和(图9-3). 它是经验回归函数在 $ x_{i} $ 处的函数值 $ \mu(x_{i}) = \hat{a} + \hat{b}x_{i} $ 与 $ x_{i} $ 处的观察值 $ y_{i} $ 的偏差的平方和. 为了计算 $ Q_{e} $，我们将 $ Q_{e} $ 作如下的分解：

$$ \begin{align*}\mathrm{Q}_{e}&=\sum_{i=1}^{n}(y_{i}-\hat{y}_{i})^{2}=\sum_{i=1}^{n}[y_{i}-\overline{y}-\hat{b}(x_{i}-\overline{x})]^{2}\\&=\sum_{i=1}^{n}(y_{i}-\overline{y})^{2}-2\hat{b}\sum_{i=1}^{n}(x_{i}-\overline{x})(y_{i}-\overline{y})\\&\quad+(\hat{b})^{2}\sum_{i=1}^{n}(x_{i}-\overline{x})^{2}=S_{yy}-2\hat{b}S_{xy}+(\hat{b})^{2}S_{xx}.\end{align*} $$

由(3.12)式 $ \hat{b} = S_{xy} / S_{xx} $ 得 $ Q_{e} $ 的一个分解式

$$ Q_{e}=S_{yy}-\hat{b}S_{xy}. $$

由(3.8)式知，b，a的估计量分别为 $ ^{①} $

$$ \left.\begin{aligned}\hat{b}&=\frac{\sum_{i=1}^{n}(x_{i}-\overline{x})(Y_{i}-\overline{Y})}{\sum_{i=1}^{n}(x_{i}-\overline{x})^{2}}=\frac{\sum_{i=1}^{n}(x_{i}-\overline{x})Y_{i}}{\sum_{i=1}^{n}(x_{i}-\overline{x})^{2}},\\ \hat{a}&=\frac{1}{n}\sum_{i=1}^{n}Y_{i}-\frac{\hat{b}}{n}\sum_{i=1}^{n}x_{i}=\overline{Y}-\hat{b}\overline{x},\end{aligned}\right\} $$

其中 $ \overline{Y}=\frac{1}{n}\sum_{i=1}^{n}Y_{i},\overline{x}=\frac{1}{n}\sum_{i=1}^{n}x_{i} $. 在 $ S_{yy},S_{xy} $ 的表达式(3.11)式中，将 $ y_{i} $ 改为 $ Y_{i} $ $ (i=1,2,\cdots,n) $，并把它们分别记为 $ S_{YY},S_{XY} $，即

$$ S_{Y Y}=\sum_{i=1}^{n}(Y_{i}-\overline{Y})^{2},S_{x Y}=\sum_{i=1}^{n}(x_{i}-\overline{x})(Y_{i}-\overline{Y}). $$

则(3.14)式中的残差平方和 $ Q_{e} $的相应的统计量（仍记为 $ Q_{e} $）为

$$ Q_{e}=S_{Y Y}-\hat{b}S_{x Y}. $$

残差平方和 $ Q_{e} $ 服从分布（见本章附录 4°）：

$$ \begin{array}{l}\frac{Q_{e}}{\sigma^{2}}\sim\chi^{2}(n-2),\\E\left(\frac{Q_{e}}{\sigma^{2}}\right)=n-2,\end{array} $$

于是

即知 $ E(Q_{e}/(n-2)) = \sigma^{2} $. 这样就得到了 $ \sigma^{2} $ 的无偏估计量：

$$ \widehat{\sigma^{2}}=\frac{Q_{e}}{n-2}=\frac{1}{n-2}(S_{YY}-\hat{b}S_{xY}). $$

在这里，还看到，只要算出表9-17中各栏的和，不但能算出 $ \hat{a},\hat{b} $，且能算出 $ \sigma^{2} $的估计值 $ \hat{\sigma}^{2} $.

例3（续例2）求例2中 $ \sigma^{2} $的无偏估计.

解 由表9-17，得

$$ S_{yy}=\sum_{i=1}^{n}y_{i}^{2}-\frac{1}{n}\left(\sum_{i=1}^{n}y_{i}\right)^{2}=47\ 225-\frac{1}{10}\times673^{2}=1\ 932.1. $$

又已知 $ S_{xy}=3\ 985,\hat{b}=0.483\ 03 $ , 即得

$$ \begin{align*}Q_{e}&=S_{yy}-\hat{b}S_{xy}=7.23,\\\widehat{\sigma^{2}}&=Q_{e}/(n-2)=7.23/8=0.90.\end{align*} $$

（四） 线性假设的显著性检验

在以上的讨论中，我们假定Y关于x的回归 $ \mu(x) $具有形式 $ a+bx $，在处理实际问题时， $ \mu(x) $是否为x的线性函数，首先要根据有关专业知识和实践来判断，其次就要根据实际观察得到的数据运用假设检验的方法来判断。这就是说，求得的线性回归方程是否具有实用价值，一般来说，需要经过假设检验才能确定。若线性假设（3.2）符合实际，则b不应为零，因为若b=0，则 $ E(Y)=\mu(x) $就不依赖于x了。因此我们需要检验假设

$$ \begin{aligned}&H_{0}:\quad b=0,\\&H_{1}:\quad b\neq0.\\ \end{aligned} $$

我们使用 t 检验法来进行检验. 我们有(见附录 $ 2^{\circ} $):

$$ \hat{b}\sim N(b,\sigma^{2}/S_{x}). $$

又由(3.17)式，(3.18)式知

$$ \frac{(n-2)\stackrel{\wedge}{\sigma^{2}}}{\sigma^{2}}=\frac{Q_{e}}{\sigma^{2}}\sim\chi^{2}(n-2), $$

且 $ \hat{b} $与 $ Q_{e} $独立（见附录 $ 5^{\circ} $）。故有

$$ \begin{align*}\frac{\hat{b}-b}{\sqrt{\sigma^{2}/S_{xx}}}\Bigg/\sqrt{\frac{(n-2)\widehat{\sigma^{2}}}{\sigma^{2}}}\Bigg/(n-2)&\sim t(n-2),\\\frac{\hat{b}-b}{\hat{\sigma}}\sqrt{S_{xx}}&\sim t(n-2).\end{align*} $$

即

这里 $ \hat{\sigma} = \sqrt{\hat{\sigma}_{2}} $.

当 $ H_{0} $为真时b=0，此时

$$ t=\frac{\hat{b}}{\hat{\sigma}}\sqrt{S_{x x}}\sim t(n-2), $$

且 $ E(\hat{b})=b=0 $，即得 $ H_{0} $的拒绝域为

$$ \left|t\right|=\frac{\left|\hat{b}\right|}{\hat{\sigma}}\sqrt{S_{x x}}\geqslant t_{a/2}(n-2), $$

此处 $ \alpha $ 为显著性水平.

当假设 $ H_{0}:b=0 $被拒绝时，认为回归效果是显著的，反之，就认为回归效果不显著。回归效果不显著的原因可能有如下几种：

$ 1^{\circ} $ 影响 Y 取值的，除 x 及随机误差外还有其他不可忽略的因素.

$ 2^{\circ}E(Y) $ 与 x 的关系不是线性的，而存在着其他的关系.

$ 3^{\circ} $ Y 与 x 不存在关系.

因此需要进一步的分析原因，分别处理。

例4（续例2）检验例2中的回归效果是否显著，取 $ \alpha=0.05 $。

解 由例2、例3已知 $ \hat{b}=0.483\ 03, S_{xx}=8\ 250, \hat{\sigma}^{2}=0.90 $ 。查表得 $ t_{0.05/2}(n-2)=t_{0.025}(8)=2.306 $ 。由(3.24)式，假设 $ H_{0}: b=0 $ 的拒绝域为

$$ \mid t\mid=\frac{\mid\hat{b}\mid}{\hat{\sigma}}\sqrt{S_{x x}}\geqslant2.3060. $$

现在

$$ |t|=\frac{0.48303}{\sqrt{0.90}}\times\sqrt{8250}=46.25>2.3060, $$

故拒绝 $ H_{0}: b = 0 $，认为回归效果是显著的。

（五） 系数 b 的置信区间

当回归效果显著时，我们常需要对系数 b 作区间估计。事实上，可由(3.22)式得到 b 的置信水平为 $ 1 - \alpha $ 的置信区间为

$$ \left(\hat{b}\pm t_{a/2}(n-2)\times\frac{\hat{\sigma}}{\sqrt{S_{x x}}}\right). $$

例如，例1中b的置信水平为0.95的置信区间为

$$ 0.48303\pm2.3060\times\sqrt{\frac{0.90}{8\ 250}}=(0.45894,0.50712). $$

（六） 回归函数 $ \mu(x)=a+bx $ 函数值的点估计和置信区间

设 $ x_{0} $ 是自变量 x 的某一指定值. 由 (3.9) 式可以用经验回归函数 $ \hat{y} = \mu\widehat{(x)} = \hat{a} + \hat{b}x $ 在 $ x_{0} $ 的函数值 $ \hat{y}_{0} = \mu\widehat{(x_{0})} = \hat{a} + \hat{b}x_{0} $ 作为 $ \mu(x_{0}) = a + bx_{0} $ 的点估计. 即

$$ \hat{y}_{0}=\mu(x_{0})=\hat{a}+\hat{b}x_{0}. $$

考虑相应的估计量

$$ \hat{Y}_{0}=\hat{a}+\hat{b}x_{0}, $$

由本章附录 $ 3^{\circ} $ 知， $ E(\hat{Y}_{0})=a+bx_{0} $，因此这一估计量是无偏的。下面来求 $ \mu(x_{0})=a+bx_{0} $ 的置信区间。由本章附录 $ 3^{\circ} $ 知

$$ \frac{\hat{Y}_{0}-(a+bx_{0})}{\sigma\sqrt{\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{x}}}\sim N(0,1).} $$

又由(3.17)式，(3.18)式知

$$ \frac{(n-2)\widehat{\sigma^{2}}}{\sigma^{2}}=\frac{Q_{e}}{\sigma^{2}}\sim\chi^{2}(n-2) $$

且由本章附录 $ 6^{\circ} $知 $ Q_{e},\hat{Y}_{0} $相互独立.于是

$$ \frac{\hat{Y}_{0}-(a+bx_{0})}{\sigma\sqrt{\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{xx}}}}\left|\sqrt{\frac{(n-2)\hat{\sigma}^{2}}{\sigma^{2}}}\right|(n-2)\sim t(n-2), $$

即

$$ \frac{\hat{Y}_{0}-(a+bx_{0})}{\hat{\sigma}\sqrt{\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{xx}}}}\sim t(n-2). $$

于是得到 $ \mu(x_{0})=a+bx_{0} $ 的置信水平为 1-a 的置信区间为

$$ \left(\hat{Y}_{0}\pm t_{\alpha/2}(n-2)\hat{\sigma}\sqrt{\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{x x}}}\right), $$

或即

$$ \left(\hat{a}+\hat{b}x_{0}\pm t_{a/2}(n-2)\hat{\sigma}\sqrt{\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{x}}}\right). $$

这一置信区间的长度是 $ x_{0} $ 的函数，它随 $ \left|x_{0}-\overrightarrow{x}\right| $ 的增加而增加，当 $ x_{0}=\overrightarrow{x} $ 时为最短.

（七） Y的观察值的点预测和预测区间

若我们对指定点 $ x = x_{0} $ 处因变量 Y 的观察值 $ Y_{0} $ 感兴趣，然而我们在 $ x = x_{0} $ 处并未进行观察或者暂时无法观察。经验回归函数的一个重要应用是，可利用它对因变量 Y 的新观察值 $ Y_{0} $ 进行点预测或区间预测。

若 $ Y_{0} $是在 $ x=x_{0} $处对Y的观察结果，由(3.2)式知它满足：

$$ Y_{0}=a+b x_{0}+\varepsilon_{0},\quad\varepsilon_{0}\sim N(0,\sigma^{2}). $$

随机误差 $ \varepsilon_{0} $可正也可负，其值无法预料，我们就用 $ x_{0} $处的经验回归函数值

$$ \hat{Y}_{0}=\mu\widehat{(x_{0})}=\hat{a}+\hat{b}x_{0} $$

作为 $ Y_{0}=a+bx_{0}+\varepsilon_{0} $ 的点预测. 下面来求 $ Y_{0} $ 的预测区间.

囚 $ Y_{0} $ 是将要做的一次独立试验的结果，因此它与已经得到的试验的结果 $ Y_{1}, Y_{2}, \cdots, Y_{n} $ 相互独立。由（3.15）式知 $ \hat{b} $ 是 $ Y_{1}, Y_{2}, \cdots, Y_{n} $ 的线性组合，故 $ \hat{Y}_{0} = \overline{Y} + \hat{b}(x_{0} - \overline{x}) $ 是 $ Y_{1}, Y_{2}, \cdots, Y_{n} $ 的线性组合，故 $ Y_{0} $ 与 $ \hat{Y}_{0} $ 相互独立。由（3.30）式和本章附 $ 3^{\circ} $ 得

$$ \begin{aligned}&\hat{Y}_{0}-Y_{0}\sim N\Big(0,[1+\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{x x}}]\sigma^{2}\Big),\\&\frac{\hat{Y}_{0}-Y_{0}}{\sigma\sqrt{1+\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{x x}}}}\sim N(0,1).\\ \end{aligned} $$

即

再由(3.28)式、(3.31)式及 $ Y_{0} $， $ \hat{Y}_{0} $，Q，的相互独立性（附录6°）知

$$ \frac{\hat{Y}_{0}-Y_{0}}{\sigma\sqrt{1+\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{x r}}}}\Bigg/\sqrt{\frac{(n-2)\hat{\sigma}^{2}}{\sigma^{2}}/(n-2)}\sim t(n-2), $$

即

$$ \frac{\hat{Y}_{0}-Y_{0}}{\hat{\sigma}\sqrt{1+\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{x x}}}}\sim t(n-2). $$

于是对于给定的置信水平1- $ \alpha $有

$$ P\{\frac{|\hat{Y}_{0}-Y_{0}|}{\hat{\sigma}\sqrt{1+\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{xx}}}}\leqslant t_{a/2}(n-2)\}=1-\alpha, $$

或

$$ \begin{aligned}&P\Big\{\hat{Y}_{0}-t_{\alpha/2}(n-2)\hat{\sigma}\sqrt{1+\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{x x}}}

区间

$$ \left(\hat{Y}_{0}\pm t_{\alpha/2}(n-2)\hat{\sigma}\sqrt{1+\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{x}}}\right), $$

即

$$ \left(\hat{a}+\hat{b}x_{0}\pm t_{a/2}(n-2)\hat{\sigma}\sqrt{1+\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{xx}}}\right) $$

称为 $ Y_{0} $的置信水平为 $ 1-\alpha $的预测区间 $ ^{①} $.这一预测区间的长度是 $ x_{0} $的函数,它随 $ \left|x_{0}-\overline{x}\right| $的增加而增加.当 $ x_{0}=\overline{x} $时为最短.将(3.32)式与(3.29)式比较,知道在相同的置信水平下,回归函数值 $ \mu(x_{0}) $的置信区间要比 $ Y_{0} $的预测区间要短.这是因为 $ Y_{0}=a+bx_{0}+\varepsilon_{0} $比 $ \mu(x_{0})=a+bx_{0} $多了一项 $ \varepsilon_{0} $的缘故.

例5(续例2) (1) 求回归函数 $ \mu(x) $ 在 x = 125 处的值 $ \mu(125) $ 的置信水平为 0.95 的置信区间，求在 x = 125 处 Y 的新观察值 $ Y_{0} $ 的置信水平为 0.95 的预测区间；(2) 求在 $ x = x_{0} $ 处 Y 的新观察值 $ Y_{0} $ 的置信水平为 0.95 预测区间.

解 （1）由例2，例3已知 $ \hat{b}=0.48303 $， $ \hat{a}=-2.73935 $， $ S_{xx}=8250 $， $ \hat{\sigma}^{2}=0.90 $， $ \overline{x}=145 $，查表得 $ t_{0.05/2}(8)=2.3060 $，即得

$$ \hat{Y}_{0}=\hat{Y}\mid_{x=125}=[-2.73935+0.48303x]_{x=125}=57.64, $$

$$ \begin{aligned}&t_{a/2}(n-2)\hat{\sigma}\sqrt{\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{xx}}}\\&=2.306\;0\times\sqrt{0.90}\times\sqrt{\frac{1}{10}+\frac{(125-145)^{2}}{8\;250}}=0.84，\\ \end{aligned} $$

$$ t_{a/2}(n-2)\hat{\sigma}\sqrt{1+\frac{1}{n}+\frac{(x_{0}-\overline{x})^{2}}{S_{x x}}}=2.34 $$

得回归函数 $ \mu(x) $ 在 x=125 处的值 $ \mu(125) $ 的一个置信水平为 0.95 的置信区间为

$$ (57,64\pm0,84). $$

又得 $ x_{0}=125 $ 处得率 $ Y_{0} $ 的置信水平为 0.95 的预测区间为

$$ (57,64\pm2,34). $$

（2）在 $ x = x_{0} $ 处 Y 的新观察值 $ Y_{0} $ 的一个置信水平为 0.95 的预测区间为

$$ \left(\hat{Y}\mid_{x=x_{0}}\pm t_{0.025}(8)\hat{\sigma}\sqrt{1+\frac{1}{10}+\frac{(x_{0}-145)^{2}}{8\ 250}}\right). $$

取 $ x_{0} $ 为不同的值，得到各点处对应的 Y 的新观察值 $ Y_{0} $ 的预测区间（置信水平为 0.95）如下：

将这些区间的下端点联结起来，又将这些区间的上端点联结起来，得到两条曲线 $ L_{1} $和 $ L_{2} $，回归直线位于由 $ L_{1} $， $ L_{2} $所围成的带域的中心线上.

（八） 可化为一元线性回归的例子

以上讨论了一元线性回归问题，在实际中常会遇到更为复杂的回归问题，但在某些情况下，可以通过适当的变量变换，可以将它化成一元线性回归来处理。下面介绍几种常见的可转化为一元线性回归的模型。

$$ 1^{\circ}\quad Y=\alpha\mathrm{e}^{\beta x}\cdot\varepsilon,\quad\ln\varepsilon\sim N(0,\sigma^{2}), $$

其中 $ \alpha,\beta,\sigma^{2} $ 是与 x 无关的未知参数. 将 $ Y=\alpha e^{\beta x}\cdot\varepsilon $ 两边取对数, 得

$$ \ln Y=\ln\alpha+\beta x+\ln\varepsilon. $$

令 $ \ln Y = Y' $, $ \ln \alpha = a $, $ \beta = b $, $ x = x' $, $ \ln \varepsilon = \varepsilon' $, (3.33) 式可转化为一元线性回归模型

$$ Y^{\prime}=a+bx^{\prime}+\varepsilon^{\prime},\quad\varepsilon^{\prime}\sim N(0,\sigma^{2}). $$

$$ 2^{\circ}\quad Y=\alpha x^{\beta}\cdot\varepsilon,\quad\ln\varepsilon\sim N(0,\sigma^{2}), $$

其中 $ \alpha,\beta,\sigma^{2} $ 是与 x 无关的未知参数. 将 $ Y=\alpha x^{\beta}\cdot\varepsilon $ 两边取对数, 得

$$ \ln Y=\ln\alpha+\beta\ln x+\ln\varepsilon. $$

令 $ \ln Y = Y' $, $ \ln a = a $, $ \beta = b $, $ \ln x = x' $, $ \ln \varepsilon = \varepsilon' $, (3.35) 式可转化为一元线性回归模型

$$ Y^{\prime}=a+bx^{\prime}+\varepsilon^{\prime},\quad\varepsilon^{\prime}\sim N(0,\sigma^{2}). $$

$$ 3^{\circ}\quad Y=\alpha+\beta h\left(x\right)+\varepsilon,\quad\varepsilon\sim N(0,\sigma^{2}), $$

其中 $ \alpha,\beta,\sigma^{2} $ 是与 x 无关的未知参数. $ h(x) $ 是 x 的已知函数, 令 $ \alpha=a,\beta=b,h(x)=x^{\prime} $, (3.37) 式可转化为一元线性回归模型

$$ Y=a+bx^{\prime}+\varepsilon,\quad\varepsilon\sim N(0,\sigma^{2}). $$

若在原模型下，例如在原模型(3.37)下，对于 $ (x,Y) $有样本 $ (x_{1},y_{1}) $， $ (x_{2},y_{2}) $， $ \cdots $， $ (x_{n},y_{n}) $就相当于在新模型(3.38)下有样本 $ (x_{1}^{\prime},y_{1}) $， $ (x_{2}^{\prime},y_{2}) $， $ \cdots $， $ (x_{n}^{\prime},y_{n}) $，其中 $ x_{i}^{\prime}=h(x_{i}) $。于是就能利用上节的方法来估计a，b或对b作假设检验，或对Y进行预测。在得到Y关于 $ x^{\prime} $的回归方程后，再将原自变量x代回，就得到Y关于x的回归方程，它的图形是一条曲线，也称为曲线回归方程。

例 6 下表是 1957 年美国旧轿车价格的调查资料，今以 x 表示轿车的使用年数，Y 表示相应的平均价格，求 Y 关于 x 的回归方程.

解 作散点图如图9-4，看起来Y与x呈指数关系，于是采用模型(3.33)，即

$$ Y=\alpha\mathrm{e}^{\beta\varepsilon}\cdot\varepsilon,\qquad\ln\varepsilon\sim N(0,\sigma^{2}). $$

经变量变换后就转化为(3.34)式.

$ Y' = a + bx' + \varepsilon', \varepsilon' \sim N(0, \sigma^{2}) $

其中 $ Y' = \ln Y, a = \ln \alpha, b = \beta, x' = x, \varepsilon' = \ln \varepsilon. $ 数据经变换后得到

经计算得

$$ \hat{b}=-0.297\ 68,\quad\hat{a}=8.164\ 585, $$

从而有

$$ \hat{y}^{\prime}=8.164585-0.29768x. $$

又可求得

$$ \mid t\mid=\frac{\hat{b}}{\hat{\sigma}}\sqrt{S_{x x}}=32.3693>t_{0.05/2}(8)=2.3060, $$

即知线性回归效果是高度显著的。代回原变量，得曲线回归方程

$$ \hat{y}=\exp(\hat{y}^{\prime})=3\mathrm{~514.26e^{-0.29768x}}. $$

上面所讨论的一元线性回归模型是

$$ Y=a+b x+\varepsilon,\quad\varepsilon\sim N(0,\sigma^{2}). $$

一般情况，一元回归模型为

$$ Y=\mu(x;\theta_{1},\theta_{2},\cdots,\theta_{p})+\varepsilon,\quad\varepsilon\sim N(0,\sigma^{2}), $$

其中 $ \theta_{1},\theta_{2},\cdots,\theta_{p},\sigma^{2} $ 是与 x 无关的未知参数.

如果回归函数 $ \mu(x;\theta_{1},\theta_{2},\cdots,\theta_{p}) $ 是参数 $ \theta_{1},\theta_{2},\cdots,\theta_{p} $ 的线性函数（不必是 x 的线性函数），则称（3.39）为线性回归模型；若 $ \mu(x;\theta_{1},\theta_{2},\cdots,\theta_{p}) $ 是 $ \theta_{1},\theta_{2},\cdots,\theta_{p} $ 的非线性函数，则称为非线性回归模型。上述模型（3.37）是线性回归模型，而模型（3.33），（3.35）都不是线性回归模型，但是它们都能经过变量变换转化为线性回归模型。又如

$$ Y=\theta_{1}\mathrm{e}^{\theta_{2}x}+\epsilon,\quad\epsilon\sim N(0,\sigma^{2}). $$

它是非线性回归模型. 它不能经过变量变换将它转化为线性回归模型 $ ^{①} $, 称为本质的非线性回归模型, 又如

$$ \begin{aligned}&Y=(\theta_{1}+\theta_{2}x+\theta_{3}x^{2})^{-1}+\varepsilon\quad(Holliday 模型 )\\&Y=\frac{\theta_{1}}{1+\exp(\theta_{2}-\theta_{3}^{x})}+\varepsilon\quad(Logistic 模型 ),\\ \end{aligned} $$

都是本质的非线性回归模型。非线性回归模型的解法参见《近代非线性回归分析》（韦博成，南京：东南大学出版社，1989）。

§4 多元线性回归

在实际问题中，随机变量Y往往与多个普通变量 $ x_{1}, x_{2}, \cdots, x_{p} $ ( $ p > 1 $)有

$$ \begin{align*}\ln Y&=\ln(\theta_{1}\mathrm{e}^{\theta_{2}x}+\varepsilon)=\ln\left[\theta_{1}\mathrm{e}^{\theta_{2}x}(1+\frac{\varepsilon}{\theta_{1}}\mathrm{e}^{-\theta_{2}x})\right]\\&=\ln\theta_{1}+\theta_{2}x+\ln\left(1+\frac{\varepsilon}{\theta_{1}}\mathrm{e}^{-\theta_{2}x}\right).\end{align*} $$

令 $ \ln Y = Y' $, $ \ln \theta_{1} = a $, $ \theta_{2} = b $, $ \ln \left(1 + \frac{\varepsilon}{\theta_{1}} e^{-\theta_{2} x}\right) = \varepsilon' $, 则有

$$ Y^{\prime}=a+bx+\varepsilon^{\prime}. $$

从形式上看，上式好像是线性回归模型。但因误差项 $ \varepsilon^{\prime} $中包含未知参数 $ \theta_{1},\theta_{2} $，甚至包含自变量x。这在线性回归模型中是不允许的。

关. 对于自变量 $ x_{1}, x_{2}, \cdots, x_{p} $ 的一组确定的值，Y 有它的分布。若 Y 的数学期望存在，则它是 $ x_{1}, x_{2}, \cdots, x_{p} $ 的函数，记为 $ \mu_{Y|x_{1}, x_{2}, \cdots, x_{p}} $ 或 $ \mu(x_{1}, x_{2}, \cdots, x_{p}) $，它就是 Y 关于 x 的回归函数。我们感兴趣的是 $ \mu(x_{1}, x_{2}, \cdots, x_{p}) $ 是 $ x_{1}, x_{2}, \cdots, x_{p} $ 的线性函数的情况。在这里，仅讨论下述多元线性回归模型：

$$ Y=b_{0}+b_{1}x_{1}+\cdots+b_{p}x_{p}+\varepsilon,\varepsilon\sim N(0,\sigma^{2}), $$

其中 $ b_{0}, b_{1}, \cdots, b_{p}, \sigma^{2} $ 都是与 $ x_{1}, x_{2}, \cdots, x_{p} $ 无关的未知参数.

设

$$ (x_{11},x_{12},\cdots,x_{1p},y_{1}),\cdots,(x_{n1},x_{n2},\cdots,x_{np},y_{n}) $$

是一个样本. 和一元线性回归的情况一样, 我们用最大似然估计法来估计参数.

即取 $ \hat{b}_{0}, \hat{b}_{1}, \cdots, \hat{b}_{p} $ 使当 $ b_{0} = \hat{b}_{0}, b_{1} = \hat{b}_{1}, \cdots, b_{p} = \hat{b}_{p} $ 时

$$ Q=\sum_{i=1}^{n}(y_{i}-b_{0}-b_{1}x_{i1}-\cdots-b_{p}x_{ip})^{2} $$

达到最小.

求 Q 分别关于 $ b_{0}, b_{1}, \cdots, b_{p} $ 的偏导数，并令它们等于零，得

$$ \left.\begin{aligned}\frac{\partial Q}{\partial b_{0}}=&-2\sum_{i=1}^{n}(y_{i}-b_{0}-b_{1}x_{i1}-\cdots-b_{p}x_{i p})=0,\\ \frac{\partial Q}{\partial b_{j}}=&-2\sum_{i=1}^{n}(y_{i}-b_{0}-b_{1}x_{i1}-\cdots-b_{p}x_{i p})x_{i j}=0,\\ &\quad j=1,2,\cdots,p.\end{aligned}\right\} $$

化简（4.4）式得

$$ \left.\begin{aligned}&b_{0}n+b_{1}\sum_{i=1}^{n}x_{i1}+b_{2}\sum_{i=1}^{n}x_{i2}+\cdots+b_{p}\sum_{i=1}^{n}x_{ip}=\sum_{i=1}^{n}y_{i},\\&b_{0}\sum_{i=1}^{n}x_{i1}+b_{1}\sum_{i=1}^{n}x_{i1}^{2}+b_{2}\sum_{i=1}^{n}x_{i1}x_{i2}+\cdots+b_{p}\sum_{i=1}^{n}x_{i1}x_{ip}=\sum_{i=1}^{n}x_{i1}y_{i},\\&\quad\vdots\\&b_{0}\sum_{i=1}^{n}x_{ip}+b_{1}\sum_{i=1}^{n}x_{ip}x_{i1}+b_{2}\sum_{i=1}^{n}x_{ip}x_{i2}+\cdots+b_{p}\sum_{i=1}^{n}x_{ip}^{2}=\sum_{i=1}^{n}x_{ip}y_{i}.\end{aligned}\right\} $$

（4.5）式称为正规方程组. 为了求解的方便，将（4.5）式写成矩阵的形式. 为此，引入矩阵

$$ \mathbf{X}=\begin{pmatrix}1&x_{11}&x_{12}&\cdots&x_{1p}\\1&x_{21}&x_{22}&\cdots&x_{2p}\\\vdots&\vdots&\vdots&&\vdots\\1&x_{n1}&x_{n2}&\cdots&x_{np}\end{pmatrix},\mathbf{Y}=\begin{pmatrix}y_{1}\\y_{2}\\\vdots\\y_{n}\end{pmatrix},\mathbf{B}=\begin{pmatrix}b_{0}\\b_{1}\\\vdots\\b_{p}\end{pmatrix}. $$

因

$$ \begin{aligned}\boldsymbol{X}^{\mathrm{T}}\boldsymbol{X}&=\begin{pmatrix}1&1&\cdots&1\\x_{11}&x_{21}&\cdots&x_{n1}\\\vdots&\vdots&&\vdots\\x_{1p}&x_{2p}&\cdots&x_{np}\end{pmatrix}\begin{pmatrix}1&x_{11}&x_{12}&\cdots&x_{1p}\\1&x_{21}&x_{22}&\cdots&x_{2p}\\\vdots&\vdots&\vdots&&\vdots\\1&x_{n1}&x_{n2}&\cdots&x_{np}\end{pmatrix}\\&=\begin{pmatrix}n&\displaystyle\sum_{i=1}^{n}x_{i1}&\cdots&\displaystyle\sum_{i=1}^{n}x_{ip}\\\displaystyle\sum_{i=1}^{n}x_{i1}&\displaystyle\sum_{i=1}^{n}x_{i1}^{2}&\cdots&\displaystyle\sum_{i=1}^{n}x_{i1}x_{ip}\\\vdots&\vdots&&\vdots\\\displaystyle\sum_{i=1}^{n}x_{ip}&\displaystyle\sum_{i=1}^{n}x_{ip}x_{i1}&\cdots&\displaystyle\sum_{i=1}^{n}x_{ip}^{2}\end{pmatrix},\end{aligned} $$

$$ \begin{aligned}\boldsymbol{X}^{\mathrm{T}}\boldsymbol{Y}&=\begin{pmatrix}1&1&\cdots&1\\x_{11}&x_{21}&\cdots&x_{n1}\\\vdots&\vdots&&\vdots\\x_{1p}&x_{2p}&\cdots&x_{np}\end{pmatrix}\begin{pmatrix}y_{1}\\y_{2}\\\vdots\\y_{n}\end{pmatrix}=\begin{pmatrix}\displaystyle\sum_{i=1}^{n}y_{i}\\\displaystyle\sum_{i=1}^{n}x_{i1}y_{i}\\\vdots\\\displaystyle\sum_{i=1}^{n}x_{ip}y_{i}\end{pmatrix}.\end{aligned} $$

于是(4.5)式即可写成

$$ \boldsymbol{X}^{\mathrm{T}}\boldsymbol{X}\boldsymbol{B}=\boldsymbol{X}^{\mathrm{T}}\boldsymbol{Y}, $$

这就是正规方程组的矩阵形式. 在(4.5)′式两边左乘 $ X^{T}X $的逆矩阵( $ X^{T}X $)^{-1}(设 $ (\mathbf{X}^{\mathrm{T}}\mathbf{X})^{-1} $存在)得到(4.5)′的解

$$ \begin{aligned}\hat{\boldsymbol{B}}&=\begin{pmatrix}\hat{b}_{0}\\\hat{b}_{1}\\\vdots\\\hat{b}_{p}\end{pmatrix}=(\boldsymbol{X}^{\mathrm{T}}\boldsymbol{X})^{-1}\boldsymbol{X}^{\mathrm{T}}\boldsymbol{Y},\end{aligned} $$

这就是我们需要求的 $ (b_{0},b_{1},\cdots,b_{p})^{\mathrm{T}} $ 的最大似然估计. 我们取

$$ \hat{b}_{0}+\hat{b}_{1}x_{1}+\cdots+\hat{b}_{p}x_{p}\xlongequal{ 记成 }\hat{y} $$

作为 $ \mu(x_{1},x_{2},\cdots,x_{p})=b_{0}+b_{1}x_{1}+\cdots+b_{p}x_{p} $ 的估计. 方程

$$ \hat{y}=\hat{b}_{0}+\hat{b}_{1}x_{1}+\cdots+\hat{b}_{p}x_{p} $$

称为 p 元经验线性回归方程，简称回归方程.

例 下面给出了某种产品每件平均单价 Y（元）与批量 x（件）之间的关系的一组数据

画出散点图如图9-5所示. 我们选取模型

$$ Y=b_{0}+b_{1}x+b_{2}x^{2}+\varepsilon,\varepsilon\sim N(0,\sigma^{2}) $$

来拟合它，现在来求回归方程.

令 $ x_{1}=x,x_{2}=x^{2} $，则(4.8)式可写成

$$ Y=b_{0}+b_{1}x_{1}+b_{2}x_{2}+\varepsilon,\quad\varepsilon\sim N(0,\sigma^{2}), $$

这是一个二元线性回归模型，现在

$$ \mathbf{X}=\begin{pmatrix}1&20&400\\1&25&625\\1&30&900\\1&35&1\ 225\\1&40&1\ 600\\1&50&2\ 500\\1&60&3\ 600\\1&65&4\ 225\\1&70&4\ 900\\1&75&5\ 625\\1&80&6\ 400\\1&90&8\ 100\end{pmatrix},\mathbf{Y}=\begin{pmatrix}1.81\\1.70\\1.65\\1.55\\1.48\\1.40\\1.30\\1.26\\1.24\\1.21\\1.20\\1.18\end{pmatrix},\mathbf{B}=\begin{pmatrix}b_{0}\\b_{1}\\b_{2}\end{pmatrix}. $$

经计算

$$ \mathbf{X}^{\mathrm{T}}\mathbf{X}=\left(\begin{array}{c c c}{12}&{640}&{40100}\\ {640}&{40100}&{2779000}\\ {40100}&{2779000}&{204702500}\end{array}\right), $$

$$ (\mathbf{X}^{\mathrm{T}}\mathbf{X})^{-1}=\frac{1}{\Delta}\left(\begin{matrix}{4.857~292~5\times10^{11}}&{-1.957~17\times10^{10}}&{170~550~000}\\ {-1.957~17\times10^{10}}&{848~420~000}&{-7~684~000}\\ {170~550~000}&{-7~684~000}&{71~600}\\ \end{matrix}\right), $$

$ \Delta=1.419\ 18\times10^{11} $. 即得正规方程组的解为

$$ \hat{\mathbf{B}}=\left(\begin{matrix}{\hat{b}_{0}}\\ {\hat{b}_{1}}\\ {\hat{b}_{2}}\\ \end{matrix}\right)=(\mathbf{X}^{\mathrm{T}}\mathbf{X})^{-1}\mathbf{X}^{\mathrm{T}}\mathbf{Y}=(\mathbf{X}^{\mathrm{T}}\mathbf{X})^{-1}\left(\begin{matrix}{16.98}\\ {851.3}\\ {51~162}\\ \end{matrix}\right) $$

$$ =\left(\begin{matrix}{2.198~266~29}\\ {-0.022~522~36}\\ {0.000~125~07}\\ \end{matrix}\right). $$

于是得到回归方程为

$$ y=2.19826629-0.02252236x+0.00012507x^{2} $$

像一元线性回归一样，模型(4.1)往往是一种假定，为了考察这一假定是否符合实际观察结果，还需进行以下的假设检验：

$$ H_{0}:\quad b_{1}=b_{2}=\cdots=b_{p}=0, $$

$ H_{1} $: $ b_{i} $ 不全为零.

若在显著性水平 $ \alpha $ 下拒绝 $ H_{0} $. 我们就认为回归效果是显著的.

另外，也与一元线性回归一样，多元线性回归方程的一个重要应用是确定给定点 $ (x_{01},x_{02},\cdots,x_{0p}) $处对应的Y的观察值的预测区间.

最后我们指出，在实际问题中，与 Y 有关的因素往往很多，如果将它们都取作自变量必然会导致所得到的回归方程很庞大。实际上，有些自变量对 Y 的影响很小，如果将这些自变量剔除，不但能使回归方程较为简洁，便于应用，且能明确哪些因素（即自变量）的改变对 Y 有显著的影响，从而使人们对事物有进一步的认识。通常可用逐步回归法达到这一目的。上述关于模型的线性假设的检验、观察值的预测区间、逐步回归等内容，读者可参阅华东师范大学出版社出版的《回归分析及其试验设计》一书。

在实际中，需要考虑的影响 Y 的因素较多，即自变量的个数较多。因此要求解一个多元线性回归的问题，计算工作量是相当大的，这就需要借助于计算机来进行计算。

小结

本章介绍了两种用途广泛的统计模型：方差分析模型和回归分析模型。

在实际中试验的指标往往要受到一种或多种因素的影响。方差分析就是通过对试验数据进行分析，检验方差相同的多个（多于两个）正态总体的均值是否相等，用以判断各因素对试验指标的影响是否显著。方差分析按影响试验指标的因素的个数分为单因素方差分析、双因素方差分析和多因素方差分析，本章只介绍前面两种。

考虑单因素方差分析的情况. 观察到的数据总是参差不齐的，我们用总偏差平方和 $ S_{T} = \sum_{j=1}^{s} \sum_{i=1}^{n_{j}} (X_{ij} - \overline{X})^{2} $ 来度量数据间总的变异（即离散程度），将它分解为可追溯到来源的部分变异（也用平方和来度量） $ S_{E} = \sum_{j=1}^{s} \sum_{i=1}^{n_{j}} (X_{ij} - \overline{X}_{.j})^{2} $（它是由随机误差引起的）与 $ S_{A} = \sum_{j=1}^{s} \sum_{i=1}^{n_{j}} (X_{.j} - \overline{X})^{2} $（它是由各水平效应的差异及随机误差引起的）之和. 若后者较前者大得

多，则有理由认为因素的各个水平对应的试验结果有显著差异，从而拒绝因素各水平对应的正态总体的均值相等这一原假设。这就是单因素方差分析法的基本思想。双因素方差分析的基本思想类似。

“方差分析”事实上不是真正分析方差，而是分析用偏差平方和度量的数据的变异。Snedecor说过：“它是从可比组的数据中分解出可追溯到某些指定来源的变异的一种技巧。”

双因素方差分析分考虑交互作用的与不考虑交互作用的两种情况，读者需分辨清楚。

单因素方差分析表和双因素方差分析表分别记录了单因素和双因素方差分析的全部结果，读者应很好掌握.

回归分析是研究自变量为一般变量（非随机变量），因变量为随机变量时两者之间的相关关系的统计分析方法。设随机变量Y（因变量）与自变量x（一般变量）存在着相关关系，为了研究这种关系，作为一种近似转而去研究Y的数学期望 $ E(Y)=\mu(x) $与x的确定性关系，即函数关系，这里 $ \mu(x) $叫做Y关于x的回归函数。一元线性回归是研究 $ \mu(x) $为x的线性函数 $ \mu(x)=a+bx $的情况。一元线性回归模型为

$$ Y=a+b x+\varepsilon,\quad\varepsilon\sim N(0,\sigma^{2}), $$

其中 a, b 及 $ \sigma $ 都不依赖于 x，且 a, b, $ \sigma^{2} $ 均未知.

我们要讨论的问题是：

$ 1^{\circ} $ 利用样本值 $ (x_{1},y_{1}),(x_{2},y_{2}),\cdots,(x_{n},y_{n}) $ 来估计 a,b,从而得到 $ \mu(x) $ 的最大似然估计 $ \hat{\mu}(x)=\hat{a}+\hat{b}x $，记 $ \hat{y}=\hat{a}+\hat{b}x $，我们称 $ \hat{y}=\hat{a}+\hat{b}x $ 为回归方程，其图形称为回归直线.

$ 2^{\circ} $ 求出误差 $ \varepsilon $ 的方差 $ D(\varepsilon)=\sigma^{2} $ 的无偏估计：

$$ \widehat{\sigma^{2}}=\frac{Q_{e}}{n-2}, $$

其中 $ Q_{e}=\sum_{i=1}^{n}(y_{i}-\hat{a}-\hat{b}x_{i})^{2}=S_{yy}-\hat{b}S_{xy} $ 为残差平方和.

$ 3^{\circ} $ 作线性假设： $ H_{0}:b=0,H_{1}:b\neq0 $ 的显著性检验. $ H_{0} $ 的拒绝域为

$$ t=\frac{\hat{b}}{\hat{\sigma}}\sqrt{S_{xx}}\geqslant t_{a/2}(n-2)\quad(\alpha 为显著性水平 ) $$

如果拒绝 $ H_{0} $，认为回归效果是显著的；否则，则认为回归效果不显著，此时不宜用线性回归模型，需另行研究.

$ 4^{\circ} $ 求出回归系数 b 的置信水平为 $ 1-\alpha $ 的置信区间为

$$ \left(\hat{b}\pm t_{a/2}(n-2)\frac{\hat{\sigma}}{\sqrt{S_{xx}}}\right). $$

$ 5^{\circ} $ 求出回归函数 $ \mu(x) $ 在点 $ x_{0} $ 处的函数值 $ \mu(x_{0}) $ 的置信水平为 $ 1-\alpha $ 的置信区间

$$ \left(\hat{a}+\hat{b}_{0}x_{0}\pm t_{a/2}(n-2)\hat{\sigma}\sqrt{1/n+\left(x_{0}-\overline{x}\right)^{2}/S_{x r}}\right). $$

$ 6^{\circ} $ 以 $ x_{0} $ 处的回归值 $ \hat{y}_{0} = a + bx_{0} $ 作为 Y 在 $ x_{0} $ 处的观察值 $ Y_{0} = a + bx_{0} + \varepsilon_{0} $ 的预测值，求出 $ Y_{0} $ 的置信水平为 1 - a 的预测区间为

$$ \left(\hat{a}+\hat{b}x_{0}\pm t_{a/2}(n-2)\hat{\sigma}\sqrt{1+1/n+\left(x_{0}-\overline{x}\right)^{2}/S_{x}}\right). $$

对随机变量 Y 的观察值进行预测是回归方程最重要的应用.