《信息论与编码理论》王育民李晖梁传甲课后习题答案高等教育出版社docx.docx
- 文档编号:23138446
- 上传时间:2023-05-08
- 格式:DOCX
- 页数:30
- 大小:110.06KB
《信息论与编码理论》王育民李晖梁传甲课后习题答案高等教育出版社docx.docx
《《信息论与编码理论》王育民李晖梁传甲课后习题答案高等教育出版社docx.docx》由会员分享,可在线阅读,更多相关《《信息论与编码理论》王育民李晖梁传甲课后习题答案高等教育出版社docx.docx(30页珍藏版)》请在冰豆网上搜索。
《信息论与编码理论》王育民李晖梁传甲课后习题答案高等教育出版社docx
信息论与编码理论习题解
第二章-信息量和熵
2.1解:
平均每个符号长为:
20.2-0.4二兰秒
3315
每个符号的熵为-log-1Iog3=0.9183比特/符号
323
所以信息速率为0.91833.444比特/秒
4
2.2解:
同步信号均相同不含信息,其余认为等概,
每个码字的信息量为3*2=6比特;
所以信息速率为61000=6000比特/秒
2.3
2.4
解:
(a)—对骰子总点数为7的概率是-
36
所以得到的信息量为Iog2(~6)=2.585比特
36
(b)一对骰子总点数为12的概率是1
36
所以得到的信息量为Iog2丄=5.17比特
36
解:
(a)任一特定排列的概率为古,所以给出的信息量为
1
-Iog2225.58比特
52!
(b)从中任取13张牌,所给出的点数都不相同的概率为
13!
413413
a13C13
A52C52
C13
所以得到的信息量为log2C⅛=13.21比特.
4
2.5解:
易证每次出现i点的概率为丄,所以
21
I(^i^-log2-,i=1,2,3,4,5,6
21
I(x=1)=4.392比特
I(x=2)=3.392比特
I(x=3)=2.807比特
I(x=4)=2.392比特
I(x=5)=2.070比特
I(x=6)=1.807比特
6・
H(X)ilog2i2.398比特
i42121
2.6解:
可能有的排列总数为
27720
3!
4!
5!
没有两棵梧桐树相邻的排列数可如下图求得,
YXYXYXYXYXYXYXY
一(7\一
图中X表示白杨或白桦,它有7种排法,Y表示梧桐树可以栽
(8\df八
种的位置,它有8种排法,所以共有8*=佃60种排法保证没有
I5丿&八3丿
两棵梧桐树相邻,因此若告诉你没有两棵梧桐树相邻时,得到关于树
排列的信息为Iog227720-Iog21960=3.822比特
2.7解:
X=0表示未录取,X=I表示录取;
Y=0表示本市,Y=I表示外地;
Z=O表示学过英语,Z=I表示未学过英语,由此得
31
P(X=O),P(X=I),
44
1131
=—X—+—×—
42410
14
p(y=1)=1-
55
P(Z=O)=P(^O)P(Z
1440
=+X:
55100
1312
P(Z=I)=1-
2525
p(y=O)=P(X=O)P(y=Ox=0)十P(X=I)P(y=OX=1)
—J
5
=Oy=O)p(y=1)p(z=0y=1)
_13
_25,
131
/-1045
111
P(X=Iy=O)=p(y=0x=1)p(x=1)∕p(y=0)=—-/-=
245
P(X=Oy=0)P(X=Iy=0)
p(x=1y=O)log2-
P(X=O)P(X=I)
3
385
4
=0.4512
5
8log2θ
4
比特
(b)P(X=OZ=O)
=(p(z=Oy=O,x=O)p(y=Ox=O)+p(z=Oy=1,x=O)p(y=1x=O))p(x=O)∕p(z=O)
3,1369
194
=(———)-/
1O1O1O4251O4
P(X=IZ=O)
35
=(P(Z=Oy=O,x=1)p(y=0x=1)+p(z=Oy=1,x=1)p(y=1x=1))p(x=1)/P(Z=O)=(1.1Z)1虎一—
225425104
P(X=IZ=O)log2P(X(1ZO)
P(X=I)
P(X=OZ=0)
I(X;z=O)=P(X=OZ=O)log2+
P(X=O)
6935
単og2马4亜g马4
1042310421
44
=0.02698比特
341
(C)H(X)=log23Jog24=0∙8113比特
H(YX)=P(X=O)p(y=OX=0)l0g2p(y=Ox=0)十p(x=O)p(y=1X=O)log2p(y=1x=0)十
P(X=I)P(y=Ox=1)log2p(y=Ox=1)+p(x=1)p(y=1X=1)l0g2p(y=1X=1)
3139101111
=——log2103—log2——1log22一一log22
41041094242
比特
("xtx七X)HH(Z)H
93r06。
一PP霄代L6。
一代l-g代豊6。
矗)L9Cog9Co寸9Coco9CoCxlL
CXl
FxtX)HH(A)H
989&"
9⅛oHPX)HH(X)H⅛MYgH(MX)HH(QX)HH(LX)HWzx+XHZ.QXtXHA=XHX⅛-<
ZL&od6&
d0b+eb
(d0.0—9.0)
z6oκ∙0H(d)⅛
(d0.0Igo)⅛o(d0.0Igo)—(d0.0+Bo)Z6o(d0∙o+e∙0)Ig∙0Z6ogb+0.0Z60o∙oH
(g⅛o(dlL)0d
+0z6o(dIL)g∙0+"⅛o(dILb.o+gz6od0∙o+-Z6ode.o十0⅛o-dg∙oτdo⅛o0.0—(d0.0—g∙0)⅛o(d0.0—9.0)—(d0∙o+e∙0)⅛o(d0.0+COYH
(X一A}H—(>hh(>x)一H(d)_
00H(M)d-dQO—goH(ZI)d≡叵d0∙o+BOH(dIH+dg∙0H(巴dmH)d+(<)d( ≡u-ir>~8<+"x令諾« co & 9L 9LCXI 6。 一愷+21 9L9LCXI (AZZ)H丄Z)HH (AXN)H丄Z)H"ZAx= 6寸ZeoH寸寸卜ZG0669.2H(XN)H丄Z)H"Zx=989&W669WH("X)H丄Z)HH(AN)H丄Z)HH(ZA)一908寸寸Hid+ss√H(AXn)h+(λ/X)HH(AZZX)H 989&"a∕z)h>>axn)h SS√H989&+寸寸卜Z61089ZH(XlOH-I-(A)I-HX)HH(AZX)H寸寸卜ZW¾xtX)HH(xn)h989Z⅛X)HH(AZZ)H 26690H F6。 一9$F6。 一9/f9R9LCXI卜cxi9lcxigcxl9LcxlLCXI J9LCXI9;9LCXICO9LCXI;9LF6。 一TT對+自9勺6。 J)“ =1.0143比特 l(Y;Z/X)=H(Z/X)-H(Z/XY) =H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =0 2.10解: 设系统输出10个数字X等概,接收数字为Y, 9i9i 显然w(j)Q(i)p(ji)yp(ji)- 7IOy10 H(Y)=log10 H(YX)=-ΣΣp(x,y)log2P(y∣x)1迟∑p(x,y)l0g2P(y∣x)yXZ偶yX=奇 =0-、P(X)P(XX)IOg2P(XX)M二p(x)p(yx)l0g2P(yx)iZ奇y=x,奇XZ奇 1111 =5Iog22■54Iog28 102108 =1比特 所以 I(X;Y)=log210-1=2.3219比特 2.11解: (a)接收前一个数字为0的概率 8 w(0)八q(Ui)p(0Ui)=1 i∑0 p(0∣u1)1-PI I(u√O)=IOg2-log211l0g2Cp)bits w(0)2 8 (b)同理W(Oo)-'q(ui)p(00ui)=4 i =O 8 (C)同理w(000)»q(ui)p(000ui)=1 iz0 8 (d)同理w(0000)八q(Ui)p(0000ui)=8((1-P)66p2(1一p)2p4) i=0 2.12解: 见2.9 2.13解: (b) =H(Y/X)H(Z/XY) H(Z∕XY)='∖P(Xy)X XyZ p(z/xy)log 1 P(z/xy) ≤ΣΣ Xy P(XyrP(z/xy)log Z 1 P(z/x) (由第二基本不等式) (C) =H(Z/X) H(Z/XY)一H(Z/X)=[p(Xy): P(Z/xy)log冇 1 二二P(Xyrp(z/xy)log— XyZP(z/x) (由第一基 八'P(xy)'p(z∕xy)logP(Z XyZP(z/xy) -X'P(xy)'p(z∕xy)loge(P(Z/x)1) XyZP(z/xy) =0 本不等式) 所以 H(Z/XY)乞H(Z/X) ⑻ H(Y∕X)H(Z∕X)_H(Y/X)H(Z∕XY)=H(YZ/X) 等号成立的条件为p(z∕xy)=p(z∕x),对所有x∙X,rY,ZZ,即在给定X条件下Y与Z相互独立。 2.14解: (a)H(X∕Y)H(Y∕Z)_H(X/YZ)H(Y∕Z)=H(XY∕Z)_H(X∕Z) (b) H(X∕Y)H(Y/Z)_H(X/Y)H(Y∕Z) H(XY)H(YZ)^H(Y)H(X∕Y)H(Y)H(Z∕Y) H(X∕Y)H(Y∕Z) ≥+ H(Y)H(X∕Y)H(Z∕Y)H(Y)H(Z∕Y)H(X∕Y)H(X∕Y)+H(Y∕Z) ^H(Y)H(X∕Y)H(Z∕Y) H(X∕Y)H(Y∕Z) 一H(YZ)H(X/Y) H(X∕Y)+H(Y/Z) ^H(X/Y)H(Y/Z)H(Z) H(X∕Y)H(Y/Z)_H(X∕Z)_0,H(Z)_0 H(X∕Y)H(Y/Z)_ H(XY)H(YZ)一 H(X/Y)H(Y∕Z) H(X/Y)H(Y∕Z)H(Z) H(X∕Z) 一H(X∕Z)H(Z) H(X/Z) -H(XZ) 注: aι a -a20,bOra1b_a2bra1ba1a2-a2ba1a2“ ≥a2 aIba2b 2.15 d(X,X)=H(X∕X)H(X∕X)=O d(X,Y)=H(X∕Y)H(Y/X)_0 (b) d(X,Y)=H(X∕Y)H(Y∕X)=H(Y∕X)H(X∕Y^d(Y,X) (C) d(X,Y)d(Y,Z)=H(X∕Y)H(Y∕X)H(Y∕Z)H(Z/Y)H(X∕Y)H(Y∕Z)_H(X∕YZ)H(Y∕Z)=H(XY∕Z)_H(X∕Z)同理H(Z∕Y)H(Y∕X)_H(Z∕X) .d(X,Y)d(Y,Z)_H(X∕Z)H(Z∕X)=d(X,Z) 2.16解: I(X,Y)=H(X)H(Y)-H(XY)EH(X)H(Y)-H(XY)H(X/Y)H(Y∕X)二H(XY) s(χ,Y)=∣(x,Y)叮 H(XY) 又由互信息的非负性,即l(X;Y)_0 有S(X;Y)_0,所以 (b)S(XlX)= ∣(x,x) H(XX) H(X)-H(X/X) H(XX) H(X) H(X) 0乞S(X;Y)乞1 (C)当且仅当X和Y独立时,I(X;Y)=0,所以当且仅当X和Y独立时,S(XiY)=HX+0。 2.23解: '1兰X≤≡1 PX(X)I0,其它 1 HC(X)一2log;dx=1比特 (b)令y=χ2 dx1 =; dy^y Pγ(y)=2丄y,心 0,其它 2-⅛ HC(X)=-,Pv(y)∣ogpγ(y)dy log77‰dy 2y =I-IOg2e --0.443比特 (C) 令^x3,IdX=IZ4 PZ(Z)=PX(X)半 dz 12 I—Z, Z ≤1 K6 0,其它 3H HC(X)PZ(Z)IOgPZ(Z)dz 01 1二21JM Z3log(6z3)dzZ3log(6z3)dz 」606 =log26-2log2e --0.3比特 2.28解: (a)由已知, p(y.x』=« 2,-3wy≤1 0,其它 2,τ 0,其它 w(y)八PXy(Xy)=嘉PX(X)PyIχ(yx) XX HPX(X=-1)PyX(yx一1)PX(X=I)Py|X(yx=1) <^-1 4,-: : y_11,1: : y—30,其它 (b) J13 H(Y)8log28dy4∣og24dy;log28dy J3二1 二2.5bits 13 H(YX)=∙2HIog24dy+∙2J4log24dy 2δ. -2bits.I(X;Y)=H(Y)-H(Y/X)=0.5bit (C)由 ι,y1 v=<0,—1兰y≤ι 、、τ,y<τ 可求得V的分布为 第二章离散信源无失真编码 3.1解: 长为n码字的数目为Dn,因此长为N的D元不等长码至多有: D(DN-1) 3.2解: (a)长为100的事件序列中含有两个和更少个a∣的序列数目为 M=CIO)OG100CI^=11004950=5051 因此在二元等长编码下所需码长为 N=log25051=12.3=13 (b)误组率为长为100的事件序列中含有三个a1的序列出现的概率,因此有 Pe=1-G0000.99610°-C11000.996990.004-0.99620.0042 =7.75510j3 3.3解: 3.4解: (a)码A中,任一码字不是其它码字的字头,是异字头码.码B不是异字头码 但码A和码B均是唯一可译码. (b)对码A p(aJl)1 l(aj)=log2-Iog21.32bit P(aι)p(a-) 对码B 1/八IP(a-∣1)Ip(a-)CJ I(a1;1)=log2=log2=0bit P(a-)p(aj (C)UJG1,a2,a3,a4f对码代 4p(ak1) I(U⑴八p@1)log21.32bit 心p(ak) 对码B l(U;1)=∑p(ak1)log2p(akI)=Obit 心p(ak) 3.5解: (a)二元HUffman编码 10 H(U)=-'p(ak)l0g2p(aj=3.234bits 心 平均码长 _10 n="p(aQnk=3.26 k- 编码效率 (b)三元HUffman编码 注意: K=10为偶数,需要添一个概率为零的虚假符号 平均码长 (b) H(U2)=H(U1U2)=2H(U)=2.97bits 平均码长 n2='p(ak)nk=3.0 k4 编码效率 2 =H(UK_2H(U)J*97=99% Rn2log2D3.0 9 H(U3)=H(U1U2U3)=3H(U)=4.455bits 平均码长 _27 门3八p(aQnk=4.487 kA 编码效率 H(U3) R 3H(U) n3log2D 4.455 4.487 =99.32% 3.6解: 二元HUffman编码 (a)二元HUffman编码 (C) 3.10傅P186【5.11】 3.11解: 3.12解: 3.13解: ⑻根据唯一可译码的判断方法可知,输出二元码字为异字头码,所以它是唯一可译码。 H(U)=-0.9Iog2θ∙9-0.1log2O∙l=0.469比特 (b)因为信源是二元无记忆信源,所以有 P(S)=P(S1)P(S2)…P(Sin) 其中Si=(S1,S2,…,Sn)Sl,Si2,-,Sj{θ,l} So=1,h,o=1,P(SO)=0.1 S=1,∣1,1=1,P(S)=0.09 52=1,∣1,2=1,p(S2^0.081 53=1,∣1,3=1,p(S3)=0.729 54=1,l1,4=1,P(S4)=0.06561 55=1,l1,5=1,P(S5)=0.059049 56=1,l1,6=1,P(S6)=0.0531441 57“,I”=1,p(S7)=0.04782969 Sδ=1,h,8=1,P(S8)=0.43046721 可计算每个中间数字相应的信源数字的平均长度 _8 L1=ΣP(Si)h,i=5.6953信源符号冲间数字 i=0 (C)根据表有 l2,0=l2,1=l2,2=l2,3=l2,4=l2,5=l2,6=l2,7=4,l2,8=1 可计算每个中间数字所对应的平均长度 —8 L2=ΣP(Si)∣2j=2.7086二元码冲间数字 i=0 由三=0.4756二元码/信源符号 L1 编码效率为0.4756/0.469=98.6% 精选题 1傅P191【5.15] 2傅P192【5.16] 信道及其容量 作业: 4.14.34.54.84.94.104.124.14 4.1解: (a)对称信道 (b)对称信道 (C)和信道(课堂教学例题)! 4.3解: (a): 可先假设一种分布,利用信道其容量的充要条件来计算(课堂教学例题) (b): 准对称信道! 4.5解: 课堂教学例题 4.8解: 该题概率有误,应把1/32改为1/64。 每个符号的熵为 8 H(S)-PiIog2Pi=2bits iZi 采样频率FS为 Fs=2W=8000HZ 所以信息速率R为 R=FSH(S)=80002=1.6104bps 4.9解: 每象点8电平量化认为各级出现的概率相等,即H(U)=3bits 所以信息速率R为 R=30500600=2.7107bps 4.10解: S W=3KHz,30dB=1000,T=360s N S C=WlOg2 (1)=3000log2(11000)=29.9kb/s 所以,3分钟可能传送话音信息为 6 29.91000360=5.38210bits 4.12解: W=8KHz,—=31 N 高斯信道的信道容量为 S4 C高斯=WlOg2 (1)=8000log2(131)=410bps 54 R=10bps410bps=C高斯 所以,如该信道是高斯信道,不可实现。 如该信道不是高斯信道,因此时信道容量C大于高斯信道的信道容量,即C4104bps但无法判定R与信道容量C的大小关系,故无法判定是否能实现如R=3104bps,则一定可以实现,因R.C高斯乞CO 4.14解: 第五章离散信道编码定理 习题5.1 解: DMC信道 2 1P= 6 1 1 3 1 2 1 .36 6 1 3 1 2 Q(XI)=1,Q(X2)=Q(X3)=1 24 W(y)J11(1∙1)=3 11 心)=23 1(1 42 I)= 1224638 11Z 3224 因为 P(X1y1) P(XI)P(y1X1)_12 w(yj P(X1y2) P(>⅞)p(y2G w(y2) PD P(X2y3) P(XI)P(y3X1)_2首_2 w(y3)27 p(X2)p(y3X2),舟_2 w(y3)召7 P(X3y3) p(χ3)p(y3X3) w(y3) 7 24 所以 最大后验概率译码为: *和y2判为X1,y3判为X3 译码错误概率为: Pe=Q(X1)P(y3X1)Q(X2)Q(X3)(I-PW3X3)) 11IlII (1) 26442 11 ^24 若按最大似然译码准则译码为: y1判为x1,y2判为x2,y3判为X3 译码错误概率为: Pe=Q(X1)(1—P(y1为))+Q(X2)(1—P(y2∣X2))+Q(X3)(1—P(y3X3)) 1(1一1) 42 1111 =—X—+—X— 2242 可见,最大似然译码的译码错误概率大于最大后验概率译码的译码错误概率 第七章信道编码 1.设(7,3)码的生成矩阵为 1011100 G=O11O11O .0OO1111一 (1)写出该码的一致校验矩阵H; (2)写出该码的所有许用码字; (3)•写出该码的“译码表”---标准译码表或简化(伴随式)译码表; (4)写出接收矢量R=1000001的错误图样,并译相应的许用码字; ⑸写出该码在BSC(错误转移概率为P)中传输的(平均)正确译码 概率PC的表达式; ⑹写出该码在BSC(错误转移概率为P)中传输的漏检概率Pud(也 称不可检测错误概率)的表达式. 解: (1)G不为系统码形式,我们通过初等行变换变为系统码形式 - 1 0 1 1 1 0 0' [ 1 0111 0 01 G= 0 1 1 0 1 1 0 1 1010 1 0 0 0 0 1 1 1 1 II 0 0 011 1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论与编码理论 信息论 编码 理论 王育民李晖梁传甲 课后 习题 答案 高等教育出版社 docx