信息论编码模拟试题一及参考答案.docx
- 文档编号:10724464
- 上传时间:2023-02-22
- 格式:DOCX
- 页数:10
- 大小:1.67MB
信息论编码模拟试题一及参考答案.docx
《信息论编码模拟试题一及参考答案.docx》由会员分享,可在线阅读,更多相关《信息论编码模拟试题一及参考答案.docx(10页珍藏版)》请在冰豆网上搜索。
信息论编码模拟试题一及参考答案
CompanyDocumentnumber:
WTUT-WT88Y-W8BBGB-BWYTT-19998
信息论编码模拟试题一及参考答案
模拟试题一
一、概念简答题(共10题,每题5分)
1.简述离散信源和连续信源的最大熵定理。
2.什么是平均自信息(信息熵)什么是平均互信息比较一下两个概念的异同之处。
3.解释等长信源编码定理和无失真变长信源编码定理,说明对于等长码和变长码,最佳码的每符号平均码长最小为多少编码效率最高可达多少
4.解释最小错误概率译码准则,最大似然译码准则和最小距离译码准则,说明三者的关系。
5.设某二元码字C={111000,001011,010110,101110},
①假设码字等概率分布,计算此码的编码效率
②采用最小距离译码准则,当接收序列为110110时,应译成什么码字
6.一平稳二元信源,它在任意时间,不论以前发出过什么符号,都按
发出符号,求
和平均符号熵
7.分别说明信源的概率分布和信道转移概率对平均互信息的影响,说明平均互信息与信道容量的关系。
8.二元无记忆信源,有
求:
(1)某一信源序列由100个二元符号组成,其中有m个“1”,求其自信息量?
(2)求100个符号构成的信源序列的熵。
9.求以下三个信道的信道容量:
,
,
10.已知一(3,1,3)卷积码编码器,输入输出关系为:
试给出其编码原理框图。
二、综合题(共5题,每题10分)
1.二元平稳马氏链,已知P(0/0)=,P(1/1)=,求:
(1)求该马氏信源的符号熵。
(2)每三个符号合成一个来编二进制Huffman码,试建立新信源的模型,给出编码结果。
(3)求每符号对应的平均码长和编码效率。
2.设有一离散信道,其信道矩阵为
,求:
(1)最佳概率分布?
(2)当
,
时,求平均互信息
信道疑义度
(3)输入为等概率分布时,试写出一译码规则,使平均译码错误率
最小,并求此
3.设线性分组码的生成矩阵为
,求:
(1)此(n,k)码的n=k=,写出此(n,k)码的所有码字。
(2)求其对应的一致校验矩阵H。
(3)确定最小码距,问此码能纠几位错列出其能纠错的所有错误图样和对应的伴随式。
(4)若接收码字为000110,用伴随式法求译码结果。
4.二元对称信道的信道矩阵为
,信道传输速度为1500二元符号/秒,设信源为等概率分布,信源消息序列共有13000个二元符号,问:
(1)试计算能否在10秒内将信源消息序列无失真传送完?
(2)若信源概率分布为
,求无失真传送以上信源消息序列至少需要多长时间
5.已知(7,4)循环码的生成多项式
,求:
(1)求该码的编码效率?
(2)求其对应的一致校验多项式
(3)写出该码的生成矩阵,校验矩阵。
(4)若消息码式为
,求其码字。
模拟试题一答案
一、概念简答题(共10题,每题5分)
1.答:
离散无记忆信源,等概率分布时熵最大。
连续信源,峰值功率受限时,均匀分布的熵最大。
平均功率受限时,高斯分布的熵最大。
均值受限时,指数分布的熵最大。
2.答:
平均自信息为
表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。
平均互信息为
表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。
3.答:
等长信源编码定理:
对于任意
,只要
,则当L足够长时必可使译码差错
。
变长信源编码定理:
只要
,一定存在一种无失真编码。
等长码和变长码的最小平均码长均为
,编码效率最高可达100%。
4.答:
最小错误概率译码准则下,将接收序列译为后验概率最大时所对应的码字。
最大似然译码准则下,将接收序列译为信道传递概率最大时所对应的码字。
最小距离译码准则下,将接收序列译为与其距离最小的码字。
三者关系为:
输入为等概率分布时,最大似然译码准则等效于最小错误概率译码准则。
在二元对称无记忆信道中,最小距离译码准则等效于最大似然译码准则。
5.答:
1)
2)令接收序列为
,则有
,
,
,
,故接收序列应译为010110。
6.答:
7.答:
平均互信息相对于信源概率分布为上凸函数,相对于信道传递概率分布为下凹函数。
平均互信息的最大值为信道容量。
8.答:
1)
2)
9.答:
P1为一一对应确定信道,因此有
。
P2为具有归并性能的信道,因此有
。
P3为具有发散性能的信道,因此有
。
10.答:
二、综合题(共5题,每题10分)
1.答:
1)由
得极限概率:
则符号熵为
2)新信源共8个序列,各序列的概率为
信源模型为
一种编码结果(依信源模型中的序列次序)为0,11,1001,1010,1011,10000,100010,100011
3)
2.答:
1)是准对称信道,因此其最佳输入概率分布为
。
2)当
,
时,有
则
3)此时可用最大似然译码准则,译码规则为
且有
3.答:
1)n=6,k=3,由C=mG可得所有码字为:
000000,001011,010110,011101,100101,101110,110011,111000
2)此码是系统码,由G知,
,则
3)由H可知,其任意2列线性无关,而有3列线性相关,故有
,能纠一位错。
错误图样E 伴随式
100000 101
010000 110
001000 011
000100 100
000010 010
000001 001
4)由
知E=010000,则
4.答:
1)信道容量为
信源序列信息量为
而10秒内信道能传递的信息量为
故不能无失真地传送完。
2)此时信源序列信息量为
信息传输率为
则
5.答:
1)
2)
3)
,而
4)
6.答:
1)无错传输时,有
即
则
2)在
时,最大熵
对应的输入概率密度函数为
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 模拟 试题 参考答案