应用随机过程 第五章课后习题

第五章 马尔可夫过程初步

课后习题

1. 将一颗骰子扔很多次，记 X_{n} 为第 n 次扔正面出现的点数，问 \{X_{n},n=1,2,\cdots\} 是马尔可夫链吗？如果是，试写出一步转移概率矩阵。又记 Y_{n} 为前 n 次扔正面出现点数的总和，问 \{Y_{n},n=1,2,\cdots\} 是马尔可夫链吗？如果是，试写出一步转移概率矩阵。

解：扔骰子实验每次实验都是独立的，所以对 \forall m 个非负整数 n_{1},n_{2},\cdots,n_{m}~(0\leq n_{1}<n_{2}<\cdots<n_{m}) 和任意自然数 k 以及任意 i_{1},i_{2},\cdots,i_{m}\in \{1,2,\cdots\} ，满足：

\begin{array}{**lf**}&P\{X(n_{m}+k)=j|X(n_{1})=i_{1},X(n_{2})=i_{2},\cdots,X(n_{m})=i_{m}\}\\= &P\{X(n_{m}+k)=j\}\\=&P\{X(n_{m}+k)=j|X(n_{m})=i_{m}\}\end{array}

因此， \{X_{n},n=1,2,\cdots\} 是马尔可夫链。

根据上面的式子，易得其一步转移概率矩阵 P=[p_{ij}]_{6\times 6},~p_{ij}=\frac{1}{6},\forall i,j\in\{1,2,\cdots,6\} 。

\{Y_{n},n=1,2,\cdots\} 是马尔可夫链，因为在任意 m 时刻之后的 Y_{n},~n>m 的基础上加之后所扔骰子正面出现的点数，与 Y_{m} 之前的状态无关。设 Y_{m}=i ，则 Y_{m+1} 的可能的取值为 i+1,i+2,\cdots,i+6 ，结合上述分析其一步转移概率矩阵 P=[p_{ij}],~i,j\in\{1,2,\cdots\} 其中：

p_{ij} =\left\{\begin{array}{**lf**} \frac{1}{6},& 1\leq j-i\leq 6 \\ 0,& 其它 \end{array}\right.

2. 一个质点在直线上做随机游动，一步向右的概率为 p(0<p<1) ，一步向左的概率为 q ， q=1-p 。在 x=0 和 x=a 处放置吸收壁。记 X(n) 为第 n 步质点的位置，它的可能值是 0,1,2,\cdots ，试写出一步转移概率矩阵。

解：一步转移概率矩阵 P=[p_{ij}],~i,j\in\{0,1,2,\cdots\} 其中：

p_{ij} =\left\{\begin{array}{**lf**} 0,& i=0~{\rm and}~j\neq 0 \\ 0,& i=a~{\rm and}~j\neq a \\ p,& i+1=j \\ q,& i-1=j \\ 0,& i+1\neq j~{\rm or}~i-1\neq j \\ 0,& i>a \end{array}\right.

3. 做一列独立的伯努利实验，其中每一次出现“成功”的概率为 p(0<p<1) ，出现“失败”的概率为 q ， q=1-p 。如果第 n 次实验出现“失败”认为 X(n) 取数值零；如果第 n 次实验出现“成功”，且接连着前面 k 次实验都出现“成功”，而第 n-k 次实验出现“失败”，认为 X(n) 取数值 k ，问 \{X(n),n=1,2,\cdots\} 是马尔可夫链吗？试写出其一步转移概率矩阵。

解： \{X(n),n=1,2,\cdots\} 是马尔可夫链，一步转移概率矩阵为 P=[p_{ij}] ，其中：

p_{ij} =\left\{\begin{array}{**lf**} q,& j=0 \\ p,& j=1~{\rm and} ~i=0 \\ q,& j=i+1~{\rm and} ~i\neq 0 \\0,& 其它 \end{array}\right.

4. 随机地扔两枚分币，每枚分币的面有“国徽”和“分值”之分，X(n) 表示两枚分币扔 n 次后正面出现“国徽”的总个数，试问 X(n) 是否为马尔可夫链？试写出一步转移概率矩阵。

解： X(n) 是马尔可夫链，一步转移概率矩阵为 P=[p_{ij}] ，其中：

p_{ij} =\left\{\begin{array}{**lf**} \frac{1}{4},& j=i \\ \frac{1}{2},& j=i+1 \\ \frac{1}{4},& j=i+2 \\0,&其它 \end{array}\right.

5. 扔一颗骰子，如果前 n 次扔出点数的最大值为 j ，就说 X(n) 的值等于 j ，试问 \{X(n),n=1,2,\cdots\} 是不是马尔可夫链？并写出一步转移概率矩阵。

解： X(n) 是马尔可夫链，一步转移概率矩阵为 P=[p_{ij}] ，其中：

p_{ij} =\left\{\begin{array}{**lf**} \frac{i}{6},& j=i \\ \frac{j-i}{6},& j>i \\ 0,&其它 \end{array}\right.

6. 设马尔可夫链的一步转移概率矩阵为 P=\left[\begin{array}{**lf**}\frac{1}{2} & \frac{1}{3} & \frac{1}{6} \\ \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \\ \frac{1}{3} & \frac{1}{2} & \frac{1}{6} \end{array}\right]试求二步转移概率矩阵。

解：由C-K方程 p^{(m+n)}=p^{(m)}p^{(n)} 且 p^{(n)}=p^{n} 。

P^{2}=P\cdot P=\left[\begin{array}{**lf**}\frac{5}{12} & \frac{13}{36} & \frac{2}{9} \\ \frac{7}{18} & \frac{7}{18} & \frac{2}{9} \\ \frac{7}{18} & \frac{13}{36} & \frac{1}{4} \end{array}\right]

7. 设马尔可夫链的一步转移概率矩阵为 P=\left(\begin{array}{**lf**}p&q\\q&p\end{array}\right) ，其中 p>0,~q>0,~p+q=1 。试求二步转移概率矩阵和三步转移概率矩阵，并用数学归纳法证明一般 n 步转移概率矩阵为

P=\frac{1}{2}\left[\begin{array}{**lf**}1+(p-q)^{n}&1-(p-q)^{n}\\1-(p-q)^{n}&1+(p-q)^{n}\end{array}\right]

解：

二步转移概率矩阵为：（只需将矩阵中的 1 写成 p+q 就可证明）

P^{(2)}=P\cdot P=\frac{1}{2}\left[\begin{array}{**lf**}1+(p-q)^{2}&1-(p-q)^{2}\\1-(p-q)^{2}&1+(p-q)^{2}\end{array}\right]

三步转移概率矩阵为：

P^{(3)}=P^{(2)}\cdot P=\frac{1}{2}\left[\begin{array}{**lf**}1+(p-q)^{3}&1-(p-q)^{3}\\1-(p-q)^{3}&1+(p-q)^{3}\end{array}\right]

假设 k 步转移概率矩阵为：

P^{(k)}=\frac{1}{2}\left[\begin{array}{**lf**}1+(p-q)^{k}&1-(p-q)^{k}\\1-(p-q)^{k}&1+(p-q)^{k}\end{array}\right]

k+1 步转移概率矩阵为：

P^{(k+1)}=P^{(k)}\cdot P=\frac{1}{2}\left[\begin{array}{**lf**}p+p(p-q)^{k}+q-q(p-q)^{k}&q+q(p-q)^{k}+p-p(p-q)^{k}\\p-p(p-q)^{k}+q+q(p-q)^{k}&q-q(p-q)^{k}+p+p(p-q)^{k}\end{array}\right]

矩阵中按照 p+q=1 进行合并，可得：

P^{(k+1)}=\frac{1}{2}\left[\begin{array}{**lf**}1+(p-q)^{k+1}&1-(p-q)^{k+1}\\1-(p-q)^{k+1}&1+(p-q)^{k+1}\end{array}\right]

由数学归纳法可得，一般 n 步转移概率矩阵为

P^{(n)}=\frac{1}{2}\left[\begin{array}{**lf**}1+(p-q)^{n}&1-(p-q)^{n}\\1-(p-q)^{n}&1+(p-q)^{n}\end{array}\right]

8. 在第6题的马尔可夫链中，转移概率的极限 \lim\limits_{n\rightarrow +\infty}p_{ij}^{(n)} 是否存在，此链是否遍历？并求极限分布。

解：

P=\left[\begin{array}{**lf**}\frac{1}{2} & \frac{1}{3} & \frac{1}{6} \\ \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \\ \frac{1}{3} & \frac{1}{2} & \frac{1}{6} \end{array}\right]=\frac{1}{6}\left[\begin{array}{**lf**}3 & 2 & 1 \\ 2 & 2 & 2 \\ 2 & 3 & 1 \end{array}\right]=\frac{1}{6}A

其特征值为 \lambda_{1}=-1,~\lambda_{2}=1,~\lambda_{3}=6 ，对应的特征向量分别为： \xi_{1}=(1,-6,8)^{T},~\xi_{2}=(-3,2,2)^{T},~\xi_{3}=(1,1,1)^{T}

令 B=\left[\begin{array}{**lf**}~~~1 & -3 & 1 \\ -6 & ~~~2 & 1 \\ ~~~ 8 & ~~~2 & 1 \end{array}\right]~B^{-1}=\left[\begin{array}{**lf**}~~~~0 & -\frac{1}{14} & \frac{1}{14} \\ -\frac{1}{5} & ~~~\frac{1}{10} & \frac{1}{10} \\ ~~~ \frac{2}{5} & ~~~\frac{13}{35} & \frac{8}{35} \end{array}\right]

因此，有 B^{-1}AB=diag\{-1,1,6\} ， B^{-1}PB=diag\{-\frac{1}{6},\frac{1}{6},1\} ， P=B\cdot diag\{-\frac{1}{6},\frac{1}{6},1\}\cdot B^{-1} 。

因此 P^{(n)}=P^{n}=B\cdot diag\{-\frac{1}{6^{n}},\frac{1}{6^{n}},1^{n}\}\cdot B^{-1} ，则有

\lim\limits_{n\rightarrow +\infty}P^{(n)}=B\cdot diag\{0,0,1\}\cdot B^{-1}=\left[\begin{array}{**lf**}\frac{2}{5} & \frac{13}{35} & \frac{8}{35} \\ \frac{2}{5} & \frac{13}{35} & \frac{8}{35} \\ \frac{2}{5} & \frac{13}{35} & \frac{8}{35} \end{array}\right]

因此， \lim\limits_{n\rightarrow +\infty}p_{ij}^{(n)} 是存在，此链遍历。极限分布为 \{\pi_{1}=\frac{2}{5},~\pi_{2}=\frac{13}{35},~\pi_{3}=\frac{8}{35}\} 。

9. 在第7题的马尔可夫链中，取初始概率分布 p_{1}^{(0)}=\alpha,~p_{2}^{(0)}=\beta ，其中 \alpha\geq0,~\beta\geq 0,~\alpha+\beta=1 。

（1）利用第7题的结果计算转移概率的极限 \lim\limits_{n\rightarrow +\infty}p_{ij}^{(n)} ；

（2）利用遍历性定理求转移概率的极限 \lim\limits_{n\rightarrow +\infty}p_{ij}^{(n)} ；

（3）计算第 n 时刻的绝对概率分布 p_{1}^{(n)},~p_{2}^{(n)} ；

（4）求绝对概率的极限分布 \lim\limits_{n\rightarrow +\infty}p_{j}^{(n)} ；

解：

（1） \lim\limits_{n\rightarrow +\infty}p^{n}=\lim\limits_{n\rightarrow +\infty}\frac{1}{2}\left[\begin{array}{**lf**}1+(p-q)^{n}&1-(p-q)^{n}\\1-(p-q)^{n}&1+(p-q)^{n}\end{array}\right]=\left[\begin{array}{**lf**}\frac{1}{2}&\frac{1}{2}\\\frac{1}{2}&\frac{1}{2}\end{array}\right]

（2）

f_{11}^{(1)}=p,~f_{11}^{(2)}=q^{2},~f_{11}^{(3)}=q\cdot p\cdot q,\cdots~f_{11}^{(n)}=q\cdot p^{n-2}\cdot q

f_{22}^{(1)}=p,~f_{22}^{(2)}=q^{2},~f_{22}^{(3)}=q\cdot p\cdot q,\cdots~f_{22}^{(n)}=q\cdot p^{n-2}\cdot q

则有 \mu_{1}=\mu_{2}=p+\sum\limits_{i=2}^{+\infty}if_{11}^{(i)}=p+\sum\limits_{i=2}^{+\infty}iq\cdot p^{i-2}\cdot q=2 ，由遍历性定理得，

\lim\limits_{n\rightarrow +\infty}p^{n}=\left[\begin{array}{**lf**}\frac{1}{\mu_{1}}&\frac{1}{\mu_{2}}\\\frac{1}{\mu_{1}}&\frac{1}{\mu_{2}}\end{array}\right]=\left[\begin{array}{**lf**}\frac{1}{2}&\frac{1}{2}\\\frac{1}{2}&\frac{1}{2}\end{array}\right]

（3）由7题的结论可知知， n 时刻的绝对概率分布为 \{\frac{1}{2}+\frac{1}{2}(\alpha -\beta)(p-q)^{n},~\frac{1}{2}-\frac{1}{2}(\alpha -\beta)(p-q)^{n}\}

（4）由（3）知，绝对概率的极限分布 \{\frac{1}{2},\frac{1}{2}\}

10. 在直线上的一维随机游动，一步向右和向左的概率分别为 p 和 q ，且 q=1-p ， 0<p<1 ，在 x=0 和 x=a 处置完全反射壁。记 X(n) 为第 n 步质点所处位置，它可能取的值为 0,1,2,\cdots,a 。试写出此马尔可夫链的一步转移概率矩阵，并求它的平稳分布。

解：一步转移概率矩阵为 P=[p_{ij}]_{(a+1)\times(a+1)} ，其中：

p_{ij} =\left\{\begin{array}{**lf**} 1,& i=0~{\rm and }~j=1 \\ 1,& i=a~{\rm and }~j=a-1 \\ q,& i\neq 0~{\rm and}~i\neq a~{\rm and}~j=i-1 \\p,& i\neq 0~{\rm and}~i\neq a~{\rm and}~j=i+1 \\0,&其它 \end{array}\right.

P=\left[\begin{array}{**lf**}0 & 1 & 0 & \cdots & 0&0&0 \\ q & 0 & p & \cdots & 0&0&0 \\ 0 & q & 0 & \cdots & 0&0&0 \\ \vdots & \vdots & \vdots & \ddots & \vdots&\vdots&\vdots \\ 0 & 0 & 0 & \cdots & q&0&p \\ 0 & 0 & 0 & \cdots & 0&1&0 \\ \end{array}\right]~~~P^{T}=\left[\begin{array}{**lf**}0 & q & 0 & \cdots & 0&0&0 \\ 1 & 0 & q & \cdots & 0&0&0 \\ 0 & p & 0 & \cdots & 0&0&0 \\ \vdots & \vdots & \vdots & \ddots & \vdots&\vdots&\vdots \\ 0 & 0 & 0 & \cdots & p&0&1 \\ 0 & 0 & 0 & \cdots & 0&p&0 \\ \end{array}\right]

设平稳分布为 \pi=\{\pi_{0},\pi_{1},\cdots,\pi_{a}\}^{T} ，由平稳分布的定义 \pi_{j}=\sum\limits_{i=1}^{+\infty}\pi_{i}p_{ij},j\in S

可得： P^{T}\pi=\pi ，解之得：

\pi_{0}=\big(\frac{1-p}{p}\big)^{a-1}\pi_{a},~\pi_{1}=\frac{1}{p}\big(\frac{1-p}{p}\big)^{a-2}\pi_{a},~\pi_{2}=\frac{1}{p}\big(\frac{1-p}{p}\big)^{a-3}\pi_{a},\cdots,,~\pi_{a-1}=\frac{1}{p}\big(\frac{1-p}{p}\big)^{0}\pi_{a}

由因为 \pi_{0}+\pi_{1}+\cdots +\pi_{a}=1 。因此 \pi_{a}=\frac{2p^{a}-p^{a-1}}{2p^{a}-q^{a}}