信息论与编码第三章曹雪虹习题答案

第三章

2133123.1 设二元对称信道的传递矩阵为33

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；

解： 1)

3311H(X)p(xi)(log2log2)0.811 bit/symbol4444iH(Y/X)p(xi)p(yj/xi)logp(yj/xi)ij322311111122 (lglglglg)log210433433433433 0.918 bit/symbol32110.583343433112p(y2)p(x1y2)p(x2y2)p(x1)p(y2/x1)p(x2)p(y2/x2)0.41674343H(Y)p(yj)(0.5833log20.58330.4167log20.4167)0.980 bit/symbolp(y1)p(x1y1)p(x2y1)p(x1)p(y1/x1)p(x2)p(y1/x2)jI(X;Y)H(X)H(X/Y)H(Y)H(Y/X)H(X/Y)H(X)H(Y)H(Y/X)0.8110.9800.9180.749 bit/symbolI(X;Y)H(X)H(X/Y)0.8110.7490.062 bit/symbol 2)

1122CmaxI(X;Y)log2mHmilog22(lglg)log2100.082 bit/symbol33331其最佳输入分布为p(xi)

23-2某信源发送端有2个符号，xi，i＝1，2；p(xi)a，每秒发出一个符号。接受端有3

1/21/20种符号yi，j＝1，2，3，转移概率矩阵为P。

1/21/41/4（1） 计算接受端的平均不确定度；

没文化，真可怕！！！

相信我，没错的！！！

（2） 计算由于噪声产生的不确定度H(Y|X)；

（3） 计算信道容量。

1/21/20

1/21/41/4联合概率p(xi,yj)

解：PX Y y1 y2 y3 0 x1 x2 则Y的概率分布为 Y a/2 (1a)/2 y1 a/2 (1a)/4 (1a)/4 y2 y3 (1a)/4 (1a)/4 1/2 11+a41a4（1）H(Y)log2 loglog241a41a1116a1a log2loglog2241a41a1111a1a log2log16loglog2441a241a311a1a log2loglog2241a41a取2为底

311a1aH(Y)(log2log)bit 22241a41a1a11a11a11a1alogloglog （2）H(Y|X)loglog22222444423(1a)alog2log2

23alog2

2取2为底

H(Y|X)3abit 211a1aacmaxI(X;Y)maxH(Y)H(Y|X)maxlog2loglogp(xi)p(xi)p(xi)41a241a2a11a1a(ln2lnln)241a41a 取e为底2a112a11aa11ln2ln() 2241a41a41a1a1a11aa2ln2ln 22(1a2)41a41a2没文化，真可怕！！！

相信我，没错的！！！

111a ln2ln241a= 0

1a1 1a43a

51311131clog2loglog 9254125454312531log2loglog 104162043153log2loglog2 10241015log 24

3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。

解：

由题意可知该二元信道的转移概率矩阵为：

0.990.01 P0.010.99为一个BSC信道

所以由BSC信道的信道容量计算公式得到：

ClogsH(P)log2pilogi1210.92bit/signpi1CtC1000C920bit/sect

3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当=0和1/2时的信道

容量C的大小。

X 0

1 1－

Y 0

1 1

2

1－

2

没文化，真可怕！！！

相信我，没错的！！！

001,此信道为非奇异矩阵,又r=s,可利用方程组求解

e解: 信道矩阵P=01ee1－e033

j1P(bj|ai)j=

j11P(bj|ai)logP(bj|ai) (i=1,2,3) 0)log(1(1)(12)23(1log)log(1(113)0 (13log

)log(1)log

)解得

2所以 C=log

j2j=log[20+2×2(1-)]=log[1+2

)log(1-)+

log]

]

=log[1+21-H((1)(1)P(b1)21C2C112(1)(1)C1121)H()P(b2)22P(b3)3(1)12(1)(123CP(b2)

而 P(bj)i1P(ai)P(bj|ai) (j=1,2,3)

P(b1)得P(b2)P(a1)P(a3) P(a3)(1)112(1)(1P(b3))P(a2)(1P(a2))P(b3)所以

P(a1)=P(b1)=

P(a2)P(a3)P(b2)(1)12(1)(1)

当=0时,此信道为一一对应信道,得

C=log3, P(a1)P(a2)P(a3)1 31,P(a2)2P(a3)1 4当=1/2时,得 C=log2, P(a1)

没文化，真可怕！！！

相信我，没错的！！！

3.5 求下列二个信道的信道容量，并加以比较 pp2pp （2）（1）pppp2其中p+p=1

200 2

解：

（1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集 由于集列所组

成的矩阵ppp2,而这两个子矩阵满足对称性，因此可直接利用准对p22称信道的信道容量公式进行计算。 C1=logr-H(p1’ p2’ p3’)-

NklogMk

k1其中r=2,N1=M1=1-2 N2=2 M2=4 所以 C1=log2-H(p,p-ε,2ε)-(1-2)log(1-2)-2log4

=log2+(p)log(p)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε =log2-2εlog2-(1-2ε)log(1-2ε)+(p)log(p)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+(p)log(p)+(p-)log(p-) 输入等概率分布时达到信道容量。

（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信

道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子

集列所组成的矩阵为pp2p2，p00这两矩阵为对称矩阵 其中2r=2,N1=M1=1-2 N2=M2=2，所以 C=logr-H(p-,p-ε,2ε,0)-

NklogMk

k1=log2+(p-)log(p-)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε =log2-(1-2ε)log(1-2ε)+( p-)log(p-)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+2εlog2+(p-)log(p-)+(p-ε)log(p-ε) =C1+2εlog2

输入等概率分布（P（a1）=P（a2）=1/2）时达到此信道容量。比较此两信道容量，可得C2=C1+2εlog2

没文化，真可怕！！！

相信我，没错的！！！

3-6 设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。

X1/21/21/21/21/21/21/2Y1/2图3-17

00011022 解：1100221100221212对称信道

ClogmH(Y|ai)

1log42log2

2取2为底 C1bit/符号

3-7 (1)

条件概率 ，联合概率，后验概率

111p(y0) ， p(y1) ，p(y2)

326

（2） H(Y/X)=

没文化，真可怕！！！

相信我，没错的！！！

（3）

当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：

P(x1/y2)=，P(x2/y2)=，P(x3/y2)=

555113其中错误概率为： Pe=P(x1/y2)+P(x3/y2)=（4）平均错误概率为

（5）仍为0.733 （6）此信道不好

原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重 x3-y3的概率0 完全失真 （7）

H(X/Y)=

16Log(2)110Log(5)115Log21351515LogLog(5)LogLog(10)Log1.301

10102152103303515350.8

3. 8 设加性高斯白噪声信道中，信道带宽3kHz，又设{(信号功率+噪声功率)/

噪声功率}=10dB。试计算该信道的最大信息传输速率Ct。

解：

3. 9 在图片传输中，每帧约有2.25106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。

解：

Hlog2nlog2164 bit/symbolINH2.2510649106 bit10I9106Ct1.5105 bit/st60

没文化，真可怕！！！

相信我，没错的！！！

PXCtWlog1PNCt1.5105W15049 HzPXlog2(11000)log1PN

3-10 一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。 （1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；

（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？

（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？ 解：（1）CWlog2(1SNR)

6 110log2(110)

3.159Mbps

（2）C2W2log2(15)3.459Mbps

W23.159M1.338MHZ

log26'（3）C3W3log2(1SNR)3.459Mbps

log2(1SNR')3.459 0.5SNR120

没文化，真可怕！！！