第十三章 马尔可夫链

第十三章 马尔可夫链

1. 从数 1,2, $ \cdots $,N 中任取一数，记为 $ X_{1} $; 再从 1,2, $ \cdots $, $ X_{1} $ 中任取一数，记为 $ X_{2} $; 如此继续，从 1,2, $ \cdots $, $ X_{n-1} $ 中任取一数，记为 $ X_{n} $. 说明 $ \{X_{n}, n \geqslant 1\} $ 构成一齐次马氏链，并写出它的状态空间和一步转移概率矩阵.

解 随机序列 $ \{X_{n}, n \geqslant 1\} $ 的状态空间 $ I = \{1, 2, \cdots, N\} $. $ X_{n} $ 在 1, 2, $ \cdots $, $ X_{n-1} $ 中均匀取值. 对于任意整数 $ 1 \leqslant a_{n-1} \leqslant \cdots \leqslant a_{2} \leqslant a_{1} \leqslant N $, 有

$$ \begin{aligned}P&\{X_{n}=a_{n}\mid X_{n-1}=a_{n-1},X_{n-2}=a_{n-2},\cdots,X_{2}=a_{2},X_{1}=a_{1}\}\\&=\{\begin{aligned}&\frac{1}{a_{n-1}},&a_{n}=1,2,\cdots,a_{n-1},\\&0,&a_{n} 为其他值 \end{aligned}.\\&=P\{X_{n}=a_{n}\mid X_{n-1}=a_{n-1}\},\end{aligned} $$

故 $ \{X_{n},n\geqslant1\} $具有无后效性，即它是一个马氏链.

按题意一步转移概率

$$ p_{ij}=P\{X_{m+1}=j\mid X_{m}=i\}=\{\begin{matrix}\frac{1}{i},&1\leqslant j\leqslant i,\\ 0,&j>i,\end{matrix}.i=1,2,\cdots,N. $$

它们都只与 i, j 有关而与起始时刻 m 无关，因此 $ \{X_{n}, n \geqslant 1\} $ 是齐次马氏链，且它的一步转移概率矩阵为

$$ \mathbf{P}=\begin{matrix}{1}&{2}&{\cdots}&{i}&{\cdots}&{N}\\ {1}\\ {2[\begin{matrix}{1}&{}&{}&{}&{}&{}\\ {\frac{1}{2}}&{\frac{1}{2}}&{}&{}&{}&{}\\ {\vdots}&{\vdots}&{\ddots}&{}&{}&{}\\ {\frac{1}{i}}&{\frac{1}{i}}&{\cdots}&{\frac{1}{i}}&{}&{}\\ {\vdots}&{\vdots}&{}&{\vdots}&{\ddots}&{}\\ {N[\begin{matrix}{1}&{2}\\ {N}&{\frac{1}{N}}&{\cdots}&{\frac{1}{N}}&{\cdots}&{\frac{1}{N}}\\ \end{matrix}]}\\ \end{matrix} }$$

注：n步转移是由相继的n次一步转移而完成的，所以只要一步转移概率与起始时刻m无关（那么，n步转移概率也一定与m无关），马氏链就必定是齐次的.

1. 说明第十二章§1例5中的随机过程都是齐次马氏链，并写出它们的状态空间和一步转移概率矩阵.

解 （1）抛掷一颗骰子出现的点数记为 X，其分布律为 $ P\{X=i\}=\frac{1}{6} $， $ i=1,2,\cdots,6 $。今 $ \{X_{n}, n \geqslant 1\} $ 是一个独立且与 X 同分布的随机序列。由独立性知，第 n 次抛掷出现的点数的概率分布不依赖于先前抛掷出现的点数，所以是一个马氏链。又

$$ \begin{aligned}\boldsymbol{p}_{ij}=&\boldsymbol{P}\{\boldsymbol{X}_{m+1}=\boldsymbol{j}\mid\boldsymbol{X}_{m}=\boldsymbol{i}\}=\boldsymbol{P}\{\boldsymbol{X}_{m+1}=\boldsymbol{j}\}\\=&\boldsymbol{P}\{\boldsymbol{X}=\boldsymbol{j}\}=\frac{1}{6},\quad\boldsymbol{i},\boldsymbol{j}=1,2,\cdots,6,\end{aligned} $$

即一步转移概率与起始时刻 m 无关，因此， $ \{X_{n}, n \geqslant 1\} $ 是齐次马氏链.

状态空间为 $ I=\{1,2,\cdots,6\} $，一步转移概率矩阵为

$$ P=\begin{bmatrix}1&\frac{1}{6}&\frac{1}{6}&\cdots&\frac{1}{6}\\ 2&\frac{1}{6}&\frac{1}{6}&\cdots&\frac{1}{6}\\ 3&\frac{1}{6}&\frac{1}{6}&\cdots&\frac{1}{6}\\ \vdots&\vdots&\vdots&&\vdots\\ 6&\frac{1}{6}&\frac{1}{6}&\cdots&=\frac{1}{6}\end{bmatrix}. $$

(2) $ X_{n} $ 是第 n 次抛掷出现的点数，以 $ Y_{n} $ 记前 n 次抛掷中出现的最大点数，即 $ Y_{n}=\max_{1\leq i\leq n}\{X_{1},X_{2},\cdots,X_{n}\} $， $ Y_{n} $ 也可写成 $ Y_{n}=\max\{Y_{n-1},X_{n}\} $。可知在 $ Y_{n-1} $ 给定的条件下， $ Y_{n} $ 的取值仅依赖于 $ X_{n} $，此时， $ Y_{n} $ 的取值与 $ (Y_{1},Y_{2},\cdots,Y_{n-2}) $ 的取值相互独立，所以 $ \{Y_{n},n\geqslant1\} $ 具有无后效性，即它是一个马氏链，又，一步转移概率为

$$ p_{ij}=P\{Y_{m+1}=j\mid Y_{m}=i\}=\{\begin{aligned}&\frac{1}{6},&j&>i,\\&\frac{i}{6},&j&=i,\\&0,&j&

它们都只与 i, j 有关而与起始时刻 m 无关，因此， $ \{X_{n}, n \geqslant 1\} $ 是齐次的马氏链，状态空间为 $ I = \{1, 2, \cdots, 6\} $，一步转移概率矩阵为

$$ \begin{aligned}&\begin{bmatrix} \\{{{1}}}&{{{2}}}&{{{3}}}&{{{4}}}&{{{5}}}&{{{6}}} \\{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}} \\{{{2}}}&{{{\frac{2}{6}}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}} \\{{{3}}}&{{{3}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}} \\{{{4}}}&{{{0}}}&{{{\frac{4}{6}}}}&{{{\frac{1}{6}}}}&{{{\frac{1}{6}}}} \\{{{5}}}&{{{5}}}&{{{\frac{5}{6}}}}&{{{\frac{1}{6}}}} \\{{{6}}}&{{{1}}} \\\end{bmatrix}\\ \end{aligned} $$

1. 设 $ X_{0}=1, X_{1}, X_{2}, \cdots, X_{n} $，…是相互独立且都以概率 $ p (0 < p < 1) $ 取值 1，以概率 q=1-p 取值 0 的随机变量序列，令 $ S_{n}=\sum_{k=0}^{n}X_{k} $，证明 $ \{S_{n}, n \geqslant 0\} $ 构成一马氏链，并写出它的状态空间和一步转移概率矩阵.

解 $ S_{n}=\sum_{k=0}^{n}X_{k} $，于是 $ S_{n}=S_{n-1}+X_{n} $，由此可知，在 $ S_{n-1} $ 给定的条件下， $ S_{n} $ 的取值仅依赖于 $ X_{n} $，此时 $ S_{n} $ 的取值与 $ (S_{1},S_{2},\cdots,S_{n-2}) $ 的取值相互独立，即对于任意整数 $ 1\leqslant i_{1}\leqslant i_{2}\leqslant\cdots\leqslant i_{n} $，有

$$ \begin{aligned}P&\{S_{n}=i_{n}\mid S_{n-1}=i_{n-1},S_{n-2}=i_{n-2},\cdots,S_{1}=i_{1}\}\\&=P\{S_{n-1}+X_{n}=i_{n}\mid S_{n-1}=i_{n-1},S_{n-2}=i_{n-2},\cdots,S_{1}=i_{1}\}\\&=P\{X_{n}=i_{n}-i_{n-1}\mid\dot{S}_{n-1}=i_{n-1},S_{n-2}=i_{n-2},\cdots,S_{1}=i_{1}\}\\&=P\{X_{n}=i_{n}-i_{n-1}\mid S_{n-1}=i_{n-1}\}\\&\quad( 由于 X_{n} 与 X_{n-2},X_{n-3},\cdots,X_{1} 相互独立 , 故 X_{n} 与 (S_{n-2},S_{n-3},\cdots,S_{1}) 相互独立 )\\&=P\{X_{n}+S_{n-1}=(i_{n}-i_{n-1})+i_{n-1}\mid S_{n-1}=i_{n-1}\}\\&=P\{S_{n}=i_{n}\mid S_{n-1}=i_{n-1}\},\end{aligned} $$

所以 $ \{S_{n}, n \geqslant 0\} $ 是一个马氏链. 状态空间为 $ I = \{1, 2, \cdots\} $，又由 $ X_{1}, X_{2}, \cdots $ 的独立性知一步转移概率为

$$ \begin{aligned}p_{ij}=&P\{S_{m+1}=j\mid S_{m}=i\}=P\{S_{m}+X_{m+1}=j\mid S_{m}=i\}\\=&P\{X_{m+1}=j-i\mid S_{m}=i\}=P\{X_{m+1}=j-i\}\\=&\begin{cases}p,&j=i+1,\\q,&j=i,\\0,& 其他 ,\end{cases}\end{aligned} $$

因 $ p_{ij} $ 只与 i, j 有关而与起始时刻 m 无关，因此，它是齐次马氏链。一步转移概率

矩阵为

$$ \mathbf{P}=\begin{bmatrix}1&2&3&\cdots&\\ 1&1&1&\cdots&\\ 1&1&1&\cdots&\\ 2&1&1&\cdots&\\ 3&1&1&\cdots&\\ \vdots&\vdots&\vdots&\cdots&\vdots\end{bmatrix}. $$

4.（传染模型）有N个人及某种传染病，假设

（1）在每个单位时间内此 N 个人中恰有两人互相接触，且一切成对的接触是等可能的.

（2）当健康者与患病者接触时，被传染上病的概率为 $ \alpha $。

（3）患病者康复的概率是0，健康者如果不与患病者接触，得病的概率也为0.

现以 $ X_{n} $ 表示第 n 个单位时间内的患病人数。试说明这种传染过程，即 $ \{X_{n}, n \geqslant 0\} $ 是一马氏链，并写出它的状态空间及一步转移概率矩阵。

解 $ \{X_{n}, n \geqslant 0\} $ 的状态空间 $ I = \{0, 1, 2, \cdots, N\} $， $ X_{n} $ 的取值仅与 $ X_{n-1} $ 的取值以及第 n 个单位时间内的人群的成对接触情况有关，所以 $ \{X_{n}, n \geqslant 0\} $ 是一个马氏链。

由假设(3)，一旦患病的人数(状态)为0或N，则患病人数不会再改变，用相应的转移概率可表示为

$$ p_{00}=P\{X_{m+1}=0\mid X_{m}=0\}=1, $$

$$ p_{0j}=P\{X_{m+1}=j\mid X_{m}=0\}=0,\quad j\neq0, $$

$$ p_{NN}=P\{X_{m+1}=N|X_{m}=N\}=1, $$

$$ p_{Nj}=P\{X_{m+1}=j\mid X_{m}=N\}=0,j\neq N. $$

对其他任意一个状态 $ i=1,2,\cdots,N-1 $，转移概率 $ P\{X_{m+1}=i+1\mid X_{m}=i\} $ 表示在时刻 m 恰有 i 个人患病的条件下，在第 $ m+1 $ 个单位时间，随机接触的两个人（共 $ \binom{N}{2} $ 种方式）恰为一人是健康者，一人是患病者（共 $ \binom{i}{1}\binom{N-i}{1} $ 种方式），且健康者被传染上病的概率为

$$ \begin{align*}P\{X_{m+1}=i+1\mid X_{m}=i\}&=\frac{\binom{i}{1}\binom{N-i}{1}}{\binom{N}{2}}\cdot\alpha\\&=\frac{2\alpha i(N-i)}{N(N-1)},\end{align*} $$

将上式右边记为 $ \alpha_{i} $，于是，转移概率

$$ \begin{aligned}\boldsymbol{p}_{i,i+1}=&\boldsymbol{P}\{\boldsymbol{X}_{m+1}=i+1|\boldsymbol{X}_{m}=i\}=\alpha_{i},\\\boldsymbol{p}_{ii}=&\boldsymbol{P}\{\boldsymbol{X}_{m+1}=i|\boldsymbol{X}_{m}=i\}=1-\alpha_{i},\end{aligned} $$

$$ p_{ij}=P\{X_{m+1}=j\mid X_{m}=i\}=0,\quad j\neq i,i+1. $$

由于上述所有转移概率都仅与 $ i, j $ 有关而与起始时刻 $ m $ 无关，所以传染模型 $ \{X_n, n \geq 0\} $ 是一个齐次马氏链，且它的一步转移概率矩阵为

$$ \mathbf{P}=\begin{pmatrix}0&1&2&3&\cdots&N-1&N\\0&1&\alpha_{1}&\alpha_{1}&\cdots&0&0\\1&0&1-\alpha_{1}&\alpha_{1}&\cdots&0&0\\2&0&1-\alpha_{2}&\alpha_{2}&\cdots&0&0\\\vdots&\vdots&\vdots&\vdots&&\vdots&\vdots\\N-1&0&0&0&\cdots&1-\alpha_{N-1}&\alpha_{N-1}\\N&0&0&0&\cdots&0&1\end{pmatrix}. $$

1. 设马氏链 $ \{X_{n}, n \geqslant 0\} $ 的状态空间为 $ I = \{1, 2, 3\} $，初始分布为 $ p_{1}(0) = \frac{1}{4} $， $ p_{2}(0) = \frac{1}{2} $， $ p_{3}(0) = \frac{1}{4} $，一步转移概率矩阵为

$$ \mathbf{P}=2\left[\begin{array}{ccc}\frac{1}{4}&\frac{3}{4}&0\\\frac{1}{3}&\frac{1}{3}&\frac{1}{3}\\0&\frac{1}{4}&\frac{3}{4}\end{array}\right]. $$

(1) 计算 $ P\{X_{0}=1, X_{1}=2, X_{2}=2\} $.

(2) 证明 $ P\{X_1=2, X_2=2 \mid X_0=1\}=p_{12}p_{22} $.

(3) 计算 $ P_{12}(2) = P\{X_2 = 2 \mid X_0 = 1\} $.

(4) 计算 $ p_{2}(2)=P\{X_{2}=2\} $

解 先计算二步转移概率矩阵

$$ \binom{V}{s} $$

$$ \mathbf{P}(2)=\mathbf{P}^{2}=2\begin{bmatrix}1&\frac{5}{16}&\frac{7}{16}&\frac{4}{16}\\ \frac{7}{36}&\frac{16}{36}&\frac{13}{36}\\ 3&\frac{4}{48}&\frac{13}{48}&\frac{31}{48}\end{bmatrix}. $$

（1）因 $ p_{1}(0)=P\{X_{0}=1\} $，即有

$$ \begin{aligned}&P\{X_{0}=1,X_{1}=2,X_{2}=2\}=P\{X_{0}=1\}\\ &\quad\times P\{X_{1}=2|X_{0}=1\}P\{X_{2}=2|X_{0}=1,X_{1}=2\}\\ &=P\{X_{0}=1\}P\{X_{1}=2|X_{0}=1\}P\{X_{2}=2|X_{1}=2\}\\ \end{aligned} $$

$$ p_{1}(0)p_{12}p_{22}=\frac{1}{4}\times\frac{3}{4}\times\frac{1}{3}=\frac{1}{16}. $$

(2)

$$ \begin{aligned}P&\{X_{1}=2,X_{2}=2\mid X_{0}=1\}\\&=P\{X_{0}=1,X_{1}=2,X_{2}=2\}/P\{X_{0}=1\}\\&\xlongequal{ 由 (1)}p_{12}p_{22}．\end{aligned} $$

（3）由 C-K 方程，

$$ \begin{aligned}p_{12}(2)&=p_{11}p_{12}+p_{12}p_{22}+p_{13}p_{32}\\&=\frac{1}{4}\times\frac{3}{4}+\frac{3}{4}\times\frac{1}{3}+0\times\frac{1}{4}=\frac{7}{16}.\end{aligned} $$

$ p_{12} $ (2)也可以直接从二步转移概率矩阵获得.

(4)

$$ \begin{aligned}p_{2}(2)&=P\{X_{2}=2\}\\&=P\{X_{2}=2\mid X_{0}=1\}P\{X_{0}=1\}\\&\quad+P\{X_{2}=2\mid X_{0}=2\}P\{X_{0}=2\}\\&\quad+P\{X_{2}=2\mid X_{0}=3\}P\{X_{0}=3\}\\&=p_{12}(2)p_{1}(0)+p_{22}(2)p_{2}(0)+p_{32}(2)p_{3}(0)\\&=\frac{7}{16}\times\frac{1}{4}+\frac{16}{36}\times\frac{1}{2}+\frac{13}{48}\times\frac{1}{4}=\frac{115}{288}=0.3993.\end{aligned} $$

1. 证明 §2 中公式(2.5).

解法(i) 为求矩阵 $ P(n)=P^{n} $，先作矩阵 P 的相似变换，今

$$ \mathbf{P}=\begin{bmatrix}1-a&a\\ b&1-b\end{bmatrix}(0

令 $ \det(\lambda I - P) = 0 $，得

$$ [\lambda-(1-a)][\lambda-(1-b)]-ab=0, $$

解得特征根 $ \lambda=1 $ 或 1-a-b.

当 $ \lambda=1 $ 时，由 $ (\boldsymbol{I}-\boldsymbol{P})\begin{bmatrix}x_{1}\\ x_{2}\end{bmatrix}=\boldsymbol{0} $，即 $ \begin{bmatrix}a & -a \\ -b & b\end{bmatrix}\begin{bmatrix}x_{1} \\ x_{2}\end{bmatrix}=\boldsymbol{0} $，得一特征向量 $ \boldsymbol{\varepsilon}_{1}=\begin{bmatrix}1 \\ 1\end{bmatrix} $

当 $ \lambda=1-a-b $ 时，由 $ \left[(1-a-b)I-P\right]\begin{bmatrix}x_{1}\\ x_{2}\end{bmatrix}=0 $ ，即 $ \begin{bmatrix}-b&-a\\ -b&-a\end{bmatrix}\begin{bmatrix}x_{1}\\ x_{2}\end{bmatrix}=0 $ ，得

一特征向量 $ \varepsilon_{2}=\begin{bmatrix}-a\\ b\end{bmatrix} $，于是

$$ \mathbf{H}=\begin{bmatrix}1&-a\\ 1&b\end{bmatrix},\quad\mathbf{H}^{-1}=\frac{1}{a+b}\begin{bmatrix}b&a\\ -1&1\end{bmatrix} $$

因而，人顶，态处的天 $ P=H\left[\begin{array}{cc}1 & 0 \\ 0 & 1-a-b\end{array}\right]H^{-1} $， $ \frac{1}{S} $ 站，科事亚亚县从而

$$ \begin{aligned}\mathbf{P}^{n}=&\mathbf{H}\left[\begin{matrix}1&0\\ 0&1-a-b\end{matrix}\right]^{n}\mathbf{H}^{-1}=\mathbf{H}\left[\begin{matrix}1&0\\ 0&(1-a-b)^{n}\end{matrix}\right]\mathbf{H}\\=&\mathbf{H}\left(\left[\begin{matrix}1&0\\ 0&0\end{matrix}\right]+\left[\begin{matrix}0&0\\ 0&(1-a-b)^{n}\end{matrix}\right]\right)\mathbf{H}^{-1}\\=&\left[\begin{matrix}1&-a\\ 1&b\end{matrix}\right]\left[\begin{matrix}1&0\\ 0&0\end{matrix}\right]\cdot\frac{1}{a+b}\left[\begin{matrix}b&a\\ -1&1\end{matrix}\right]\\&+\left[\begin{matrix}1&-a\\ 1&b\end{matrix}\right]\left[\begin{matrix}0&0\\ 0&(1-a-b)^{n}\end{matrix}\right]\frac{1}{a+b}\left[\begin{matrix}b&a\\ -1&1\end{matrix}\right]\\=&\frac{1}{a+b}\left[\begin{matrix}b&a\\ b&a\end{matrix}\right]+\frac{(1-a-b)^{n}}{a+b}\left[\begin{matrix}a&-a\\ -b&b\end{matrix}\right],\end{aligned} $$

解法(ii) 因已有结果，故可用归纳法证明之，n=1时，

$$ \begin{align*}\boldsymbol{P}(1)=&\frac{1}{a+b}\Big[^{b}_{b-a}\Big]+\frac{(1-a-b)}{a+b}\Big[^{a}_{-b-b}^{a-a}\Big]\\=&\Big[^{1-a}_{b-a-b}\Big]=\boldsymbol{P},\end{align*} $$

即当 n=1 时，公式(2.5)成立。今假设 n-1 时公式(2.5)成立，现计算

$$ \begin{aligned}\mathbf{P}(n)&=\mathbf{P}(n-1)\mathbf{P}\\&=\{\frac{1}{a+b}[\begin{matrix}{{{b}}}&{{{a}}} \\{{{b}}}&{{{a}}}\end{matrix}]+\frac{(1-a-b)^{n-1}}{a+b}[\begin{matrix}{{{a}}}&{{{-a}}} \\{{{-b}}}&{{{b}}}\end{matrix}]\}\times[\begin{matrix}{{{1-a}}}&{{{a}}} \\{{{b}}}&{{{1-b}}}\end{matrix}]\\&=\frac{1}{a+b}[\begin{matrix}{{{b}}}&{{{a}}} \\{{{b}}}&{{{a}}}\end{matrix}][\begin{matrix}{{{1-a}}}&{{{a}}} \\{{{b}}}&{{{1-b}}}\end{matrix}]\\&\quad+\frac{(1-a-b)^{n-1}}{a+b}[\begin{matrix}{{{a}}}&{{{-a}}} \\{{{-b}}}&{{{b}}}\end{matrix}][\begin{matrix}{{{1-a}}}&{{{a}}} \\{{{b}}}&{{{1-b}}}\end{matrix}]\\&=\frac{1}{a+b}[\begin{matrix}{{{b}}}&{{{a}}} \\{{{b}}}&{{{a}}}\end{matrix}]+\frac{(1-a-b)^{n}}{a+b}[\begin{matrix}{{{a}}}&{{{-a}}} \\{{{-b}}}&{{{b}}}\end{matrix}],\end{aligned} $$

即公式(2.5)当 n 时也成立. 由归纳法, 公式(2.5)对一切正整数都成立.

1. 设任意相继的两天中，雨天转晴天的概率为 $ \frac{1}{3} $，晴天转雨天的概率为 $ \frac{1}{2} $，任一天晴或雨是互为逆事件。以 0 表示晴天状态，以 1 表示雨天状态， $ X_{n} $ 表示第 n 天的状态（0 或 1）。试写出马氏链 $ \{X_{n}, n \geqslant 1\} $ 的一步转移概率矩阵。又若已知 5 月 1 日为晴天，问 5 月 3 日为晴天，5 月 5 日为雨天的概率各等于多少？

解 0 表示晴天，1 表示雨天，已知 $ p_{01}=\frac{1}{2} $， $ p_{10}=\frac{1}{3} $，且已知任一天是晴或雨是互逆事件，故 $ p_{00}=\frac{1}{2} $， $ p_{11}=\frac{2}{3} $，于是，若以 $ X_{n} $ 表示第 n 天的状态，则 $ \{X_{n}, n \geqslant 1\} $ 的一步转移概率矩阵为

$$ \mathbf{P}=\begin{bmatrix}0&1\\ 0&\frac{1}{2}\\ 1&\frac{1}{3}\end{bmatrix}, $$

又已知5月1日为晴天，则5月3日为晴天的概率为 $ p_{00}(2) $，而5月5日为雨天的概率为 $ p_{01}(4) $，今求得

$$ \begin{array}{l} 0 \quad 1 \quad 4 \quad 0\\ \hline 1 \end{array} $$

$$ \mathbf{P}^{2}=.\begin{array}{l l}{\frac{5}{12}}&{\frac{7}{12}}\\ {1|\frac{7}{18}}&{\frac{11}{18}}\end{array}|,\qquad\mathbf{P}^{4}=.\begin{array}{l l}{*}&{\frac{5}{12}\cdot\frac{7}{12}+\frac{7}{12}\cdot\frac{11}{18}}\\ {*}&{*}\end{array}], $$

故

$$ p_{00}(2)=\frac{5}{12}=0.4167, $$

$$ p_{01}(4)=\frac{5}{12}\times\frac{7}{12}+\frac{7}{12}\times\frac{11}{18}=\frac{259}{432}=0.5995 $$

1. 在一计算系统中，每一循环具有误差的概率取决于先前一个循环是否有误差. 以0表示误差状态，以1表示无误差状态. 设状态的一步转移概率矩阵为

$$ \mathbf{P}=\begin{bmatrix}0.75&0.25\\ 1&0.5&0.5\end{bmatrix}. $$

试证明相应齐次马氏链是遍历的，并求其极限分布（平稳分布）.

(1) 用定义解.

（2）利用遍历性定理解.

解 已知齐次马氏链的一步转移概率矩阵为

$$ \mathbf{P}=\begin{bmatrix}0.75&0.25\\ 1&0.5\end{bmatrix}. $$

（1）在此应用公式(2.5)，现在a=0.25,b=0.5，即有

$$ n)=\mathbf{P}^{n}=\begin{pmatrix}1&0&0\\0&0&0\\0&0&0\end{pmatrix}+\frac{(1-0.25-0.5)^{n}}{0.75}\begin{bmatrix}0.25&-0.25\\-0.5&0.5\end{bmatrix},\quad n=1,2,\cdots. $$

在上式中令 $ n \to +\infty $，得到

$$ \lim_{n\to+\infty}\mathbf{P}(n)=\frac{1}{0.75}\left[\begin{matrix}0.5&0.25\\ 0.5&0.25\end{matrix}\right]=\left[\begin{matrix}\frac{2}{3}&\frac{1}{3}\\ \frac{2}{3}&\frac{1}{3}\end{matrix}\right]. $$

由定义知此齐次马氏链是遍历的，其极限分布为 $ \pi=\left(\frac{2}{3},\frac{1}{3}\right) $

（2）因存在 m=1，使对于所有 i,j,P_{ij}(1)=p_{ij}>0（即 P(1) 无零元），按定理知相应的马氏链是遍历的，其极限分布 $ \pi=(\pi_{1},\pi_{2}) $ 满足方程组

$$ \pi=\pi P $$

即

$$ \begin{aligned}(\boldsymbol{\pi}_{1},\boldsymbol{\pi}_{2})&=(\boldsymbol{\pi}_{1},\boldsymbol{\pi}_{2})\begin{bmatrix}0.75&0.25\\ 0.5&0.5\end{bmatrix}\\&=(0.75\boldsymbol{\pi}_{1}+0.5\boldsymbol{\pi}_{2},0.25\boldsymbol{\pi}_{1}+0.5\boldsymbol{\pi}_{2}),\end{aligned} $$

且有 $ \pi_{1}+\pi_{2}=1 $，由此得方程组

$$ \pi_{1}=0.75\pi_{1}+0.5\pi_{2},\quad\pi_{2}=0.25\pi_{1}+0.5\pi_{2},\quad\pi_{1}+\pi_{2}=1. $$

解此方程组得 $ \pi_{1}=\frac{2}{3},\pi_{2}=\frac{1}{3} $，即得极限分布为

$$ \pi=\left(\frac{2}{3},\frac{1}{3}\right). $$

1. 试证第5题中的马氏链具有遍历性，并求其极限分布.

解 在第5题中已算得 $ \boldsymbol{P}(2)=\boldsymbol{P}^{2} $ （即 m=2 时）无零元，由§3定理知该链具有遍历性，且其极限分布 $ \pi=(\pi_{1},\pi_{2},\pi_{3}) $ 满足方程组

$$ \pi=\pi P, $$

或即

$$ \{\begin{aligned}\pi_{1}=&\frac{1}{4}\pi_{1}+\frac{1}{3}\pi_{2},\\\pi_{2}=&\frac{3}{4}\pi_{1}+\frac{1}{3}\pi_{2}+\frac{1}{4}\pi_{3},\\\pi_{3}=&\frac{1}{3}\pi_{2}+\frac{3}{4}\pi_{3},\end{aligned}. $$

且满足条件 $ \pi_{1}+\pi_{2}+\pi_{3}=1 $ 。由此可解得极限分布为

$$ \pi=\left(\frac{4}{25},\frac{9}{25},\frac{12}{25}\right). $$

1. 设齐次马氏链的一步转移概率矩阵为

$$ \mathbf{P}=\begin{bmatrix}q&p&0\\ q&0&p\\ 0&q&p\end{bmatrix},\quad q=1-p,0

$$ \mathrm{q}=\mathrm{(n)} \mathrm{q} $$

试证明此链具有遍历性，并求其平稳分布.

解 已知齐次马氏链的一步转移概率矩阵为

$$ \mathbf{P}=\begin{bmatrix}q&p&0\\ q&0&p\\ 0&q&p\end{bmatrix},\quad q=1-p,0

即有

$$ \mathbf{P}^{2}=\begin{bmatrix}q&pq&p^{2}\\ q^{2}&2pq&p^{2}\\ q^{2}&pq&p\end{bmatrix}, $$

$ \mathbf{P}(2)=\mathbf{P}^{2} $ （即 m=2 时）无零元，按 S3 定理知此链具有遍历性，且其极限分布 $ \pi=(\pi_{1},\pi_{2},\pi_{3}) $ 由方程组

$$ \boldsymbol{\pi}=\pi\mathbf{P},\quad\pi_{1}+\pi_{2}+\pi_{3}=1 $$

$$ J=(\kappa)_{_{ 空 }}^{q}m i l $$

确定，亦即满足方程组

$$ \begin{cases}\pi_{1}=q\pi_{1}+q\pi_{2},\\\pi_{2}=p\pi_{1}+q\pi_{3},\\\pi_{3}=p\pi_{2}+p\pi_{3},\\\pi_{1}+\pi_{2}+\pi_{3}=1.\end{cases} $$

$$ ,U=\left(v\right), 记 \lim_{x\to+\infty} $$

方程组可改写成

$$ p\pi_{1}=q\pi_{2},\quad q\pi_{3}=p\pi_{2},\quad\pi_{1}+\pi_{2}+\pi_{3}=1. $$

由此得极限分布

$$ \pi=\left(\frac{q^{2}}{1-pq},\frac{pq}{1-pq},\frac{p^{2}}{1-pq}\right). $$

若经适当恒等变形, $ \pi_{j} $也可写成

$$ \pi_{j}=\frac{1-\frac{p}{q}}{1-\left(\frac{p}{q}\right)^{3}}\cdot\left(\frac{p}{q}\right)^{j-1},\quad j=1,2,3. $$

1. 设马氏链的一步转移概率矩阵为

$$ \mathbf{P}=\left[\begin{array}{l l l}{\frac{1}{2}}&{\frac{1}{2}}&{0}\\ {\frac{1}{2}}&{\frac{1}{2}}&{0}\\ {0}&{0}&{1}\end{array}\right], $$

试证此链不是遍历的.

证 这一马氏链的一步转移概率矩阵可写成对角块矩阵：

$$ \mathbf { P } = \begin{bmatrix} { 1 } & { 2 } & { 3 } \\ { 1 } & { \frac { 1 } { 2 } } & { 0 } \\ { 2 } & { \frac { 1 } { 2 } } & { 0 } \\ { 3 } & { 0 } & { 1 } \end{bmatrix} = \begin{bmatrix} { \mathbf { M } } \\ { 1 } \end{bmatrix}, $$

其中 $ M=\begin{bmatrix}\frac{1}{2}&\frac{1}{2}\\ \frac{1}{2}&\frac{1}{2}\end{bmatrix} $. 故对于任意正整数 n，有

$$ \boldsymbol{P}^{n}=\begin{bmatrix}\boldsymbol{M}^{n}&&\\ &1\end{bmatrix}, $$

得到 $ P_{13}(n)=P_{23}(n)=0, P_{33}(n)=1 $ ，因此对于固定的 j=3 ，有： $ \lim_{n\to+\infty}P_{1j}(n)= $ $ \lim_{n\to+\infty}P_{2j}(n)=0 $ ，而 $ \lim_{n\to+\infty}P_{3j}(n)=1 $ ，这表示 $ P_{ij}(n) $ 的极限与 i 有关，故此链不是遍历的.

或者这样做，经计算知 $ P(2)=P^{2}=P $，即可知 $ P(n)=P $。由此， $ \lim_{n\to+\infty}P_{13}(n)=\lim_{n\to+\infty}P_{23}(n)=0 $， $ \lim_{n\to+\infty}P_{33}(n)=1 $，即对于固定的 j=3，极限 $ \lim_{n\to+\infty}P_{ij}(n) $ 与 i 有关，根据定义此链不是遍历的。

$$ \mathrm{x}=(\frac{1-\mathrm{bd}}{4},\frac{1-\mathrm{bd}}{4},\frac{1-\mathrm{bd}}{4}) $$

$$ \therefore\beta_{1},1=1,\cdots,\left(\frac{\alpha}{p}\right)^{*}\frac{p}{z}\frac{p^{2}}{(\frac{\alpha}{x})} $$

古科登率册赫特是—由独丹吕货.11

$$ ↳\begin{array}{r} \left[\begin{array}{cc} a & \frac{1}{n}-\frac{1}{n^{2}} \end{array} \right] \\ 0\quad\frac{1}{n}\quad\frac{1}{S} \\ 1 \end{array}, \quad \mathbf{q}=⋰ $$

帕瓦豪县不排出班

：简武从南楼加辽西都报率附息辞达一帕月臣一玄亚

$$ \begin{array}{r l r}{\lambda}&{{}}&{\lambda\quad\mathrm{~i~s~e~.~}}\\ {\lambda\quad\mathrm{~i~s~e~},}&{{}}&{\lambda\quad\mathrm{~i~s~e~},}\\ {\lambda\quad\mathrm{~i~s~e~},}&{{}}&{\lambda\quad\mathrm{~i~s~e~},}\\ {\lambda\quad\mathrm{~i~s~e~},}&{{}}&{\lambda\quad\mathrm{~i~s~e~},}\\ {\lambda\quad\mathrm{~i~s~e~},}&{{}}&{\lambda\quad\mathrm{~i~s~e~},}\\ {\lambda\quad\mathrm{~i~s~e~},}&{{}}&{\lambda\quad\mathrm{~i~s~e~},}\end{array} $$