信息论与编码陈运第二版答案.docx
- 文档编号:30033146
- 上传时间:2023-08-04
- 格式:DOCX
- 页数:20
- 大小:23.11KB
信息论与编码陈运第二版答案.docx
《信息论与编码陈运第二版答案.docx》由会员分享,可在线阅读,更多相关《信息论与编码陈运第二版答案.docx(20页珍藏版)》请在冰豆网上搜索。
信息论与编码陈运第二版答案
信息论与编码陈运第二版答案
【篇一:
信息论与编码第4章】
s=txt>(2课时)
主要内容:
(1)平均失真和信息率失真函数
(2)离散信源和连续信源的r(d)计算重点:
失真函数、平均失真、信息率失真函数r(d)、信息率失真函数的计算。
难点:
信息率失真函数r(d)、信息率失真函数的计算。
作业:
4、1。
说明:
本堂课推导内容较多,枯燥平淡,不易激发学生兴趣,要注意多讨论用途。
另外,注意,解题方法。
多加一些内容丰富知识和理解。
4-1引言
(一)引入限失真的必要性:
失真在传输中是不可避免的;
接收者(信宿)无论是人还是机器设备,都有一定的分辨能力与灵敏度,超过分辨能力与灵敏度的信息传送过程是毫无意义的;
即使信宿能分辨、能判别,但对通信质量的影响不大,也可以称它为允许范围内的失真;
我们的目的就是研究不同的类型的客观信源与信宿,在给定的qos要求下的最大允许(容忍)失真d,及其相应的信源最小信息率r(d)。
对限失真信源,应该传送的最小信息率是r(d),而不是无失真情况下的信源熵h(u).显然h(u)≥r(d).
当且仅当d=0时,等号成立;
为了定量度量d,必须建立信源的客观失真度量,并与d建立定量关系;r(d)函数是限失真信源信息处理的理论基础;
(二)r(d)函数的定义
?
信源与信宿联合空间上失真测度的定义:
d(uivj):
u?
v?
r[0,?
)
其中:
ui?
u(单消息信源空间)vj?
v(单消息信宿空间)则有
d?
?
?
ui
vj
p(uivj)d(uivj)
称d为统计平均失真,它在信号空间中可以看作一类“距离”,它有性质1〉d(uivj)?
0,当ui?
vj2〉
ui?
u,vj?
v
mind(uv
i
j
)?
0
47
3〉0?
d(uivj)?
?
对离散信源:
i=j=1,2……..n,d(uivj)?
dij,则有:
?
0,当i?
j(无失真)
dij?
?
0,当i?
j(有失真)?
〉
若取dij为汉明距离,则有:
?
0,当i?
j(无失真)
dij?
?
?
1,当i?
j(有失真)
对连续信源,失真可用二元函数d(u,v)表示。
则有:
d(u,v)?
(u?
v)?
?
u?
v
2
推而广之,d(u,v)可表示任何用v表达u时所引进的失真,误差,损失,风险,甚至是主观感觉上的差异等等。
进一步定义允许失真d为平均失真的上界:
d?
d?
?
?
i
j
p(ui,vj)d(ui,vj)?
?
?
i
j
pipjidij--对离散
在讨论信息率失真函数时,考虑到信源与信宿之间有一个无失真信道,称它为试验信道,对离散信源可记为pji,对限失真信源这一试验信道集合可定义为:
?
pd?
?
pji:
d?
d?
?
?
?
i
j
?
pipjidij?
?
根据前面在互信息中已讨论过的性质:
?
i(u;v)
i(ip;jip
且互信息是pi的上凸函数,其极限值存在且为信道容量:
c?
maxi(pi;pji)
pi
这里,我们给出其对偶定义:
r(d)?
miniu(v?
;
d
pj?
ip
p?
)
ji
p
miinpjac4i
d
即互信息是pji的下凸函数。
其极限值存在且为信息率失真函数。
它还存在下列等效定义:
?
d(r)?
mind?
d?
?
?
pipjidijpji?
pr?
ij
?
?
pr?
?
pji:
i(u;v)?
r(给定速率)?
?
称d(r)为失真信息率函数,是r(d)的逆函数,它是求在允许最大速率情况下的最大失真d。
至此,我们已给定r(d)函数一个初步描述。
48
h(u)
由定义,r(d)函数是在限定失真为最大允许失真为d时信源最小信息速率,它是通过改变试验信道pji特性(实际上是信源编码)来达到的。
所以r(d)是表示不同d值时对应的理论上最小信息速率值。
然而对于不同的实际信源,存在着不同类型的信源编码,即不同的试验信道特性pji并可以求解出不同的信息率失真r’(d)函数,它与理论上最佳的r(d)之间存在着差异,它反映了不同方式信源编码性能的优劣,这也正是r(d)函数的理论价值所在。
特别对于连续信源,无失真是毫无意义的,这时r(d)函数具有更大的价值。
例:
若有一个离散、等概率单消息(或无记忆)二元信源:
p(u0)?
p(u1)?
?
?
0,?
?
1,
当ui?
uj当ui?
uj
12
d
且采用
汉明距离作为失真度量标准:
即dij?
?
若有一具体信源编码方案为:
n个
码元中允许错一个码元,实现时n个码元仅送n-1个,剩下一个不送,在接收端用随机方式决定(为掷硬币方式)。
此时,速率r’及平均失真d相应为:
r?
d?
?
n?
1n1n?
12?
1?
?
12n1n,1n
?
1?
2?
12n
?
1?
2d
1
b/符号
r(d)?
1?
若已知这一类信源理论上的r(d)?
h()?
h(d)(后面将进一步给出计算),则有
2
阴影范围表示实际信源编码方案与理论值间的差距,我们完全可以找到更好,即更靠近理论值,缩小阴影范围的信源编码,这就是工程界寻找好的信源编码的方向和任务。
49
1/2
d
4-2r(d)函数的性质
讨论r(d)性质以前先简要介绍r(d)的定义域。
对离散:
?
0,dmax?
对应r(d)值:
r(0)?
maxr(d)?
h(p)
r(dmax)?
minr(d),即当r?
0时d值。
对连续:
?
dmin,dmax?
r(dmin)?
hc(p)?
?
r(dmax)?
minr(d),
即当r?
0时d值
r(d)函数性质可用下列定理总结:
定理4-2-1:
对离散、单个消息限定失真信源,其r(d)函数满足下列性质:
(1)r(d)是d的下凸(
?
)函数;
(2)r(d)是d的单调非增函数;(3)r(d)是d的连续函数;(4)r(d?
0)?
h(p);
证明:
(1)证明思路:
根据r(d)函数定义,与下凸函数定义,只需证明:
r[d?
?
?
d?
(1?
?
)d]?
?
r(d)?
(1?
?
)r(d)
?
?
表示达到r(d)与?
与pji首先证pji?
pd?
,再利用互信息对pji的下凸性。
即:
若用pji
?
r(d)时的条件分布,且pji?
?
pji?
(1?
?
)pji
?
则有:
d(pji)?
?
?
?
i
j
pipjidij?
?
?
?
i
j
?
?
(1?
?
)pji?
?
]dijpi[?
pji
?
?
?
?
j
?
jid?
pip(1?
?
?
)ij
i
?
j
p?
?
pdiji
ij
i
?
)?
(?
?
?
d(p1?
jid)?
?
p(?
?
)ji
?
d?
?
(1?
d)d
?
?
)?
d,d(pji?
?
)?
d这里d(pji
?
?
?
由pd?
?
{pji:
d(pji)?
d}可得pji?
pd?
再利用互信息对pji的下凸性,有r(d)?
mini(pi;pji)?
pji?
p
d
?
?
?
?
?
i(pi;pji)
?
)?
(1?
?
)i(pi;pji?
?
)?
?
i(pi;pji
?
?
r(d)?
(1?
?
)r(d)
?
50
(2)设d2?
d1则pd?
pd1
2
?
?
pji?
pd
mini(pi;pji)?
mini(pi;pji)
2
pji?
pd
1
r(d2)?
r(d1)
即r(d)是d的单调非增函数。
(3)设d?
d?
?
当?
?
0
d?
d。
由pd定义,有pd?
pd。
同时,由于i(pi;pji)是pji连续函数。
即当?
pji?
0,有i(pi;pji?
?
pji)?
i(pi;pji)
r(d)是d?
r(d)?
mini(pi;pji?
?
pji)?
r(d)?
mini(pi;pji)即r(d)?
r(d),
pji?
pd
pji?
pd
的连续函数。
(4)当d?
0,即无失真时,ui?
vj,一一对应?
1,
pji?
?
ij?
?
?
0,?
r(0)?
i(pi;pji)
?
i(pi;?
ij)?
?
i?
j时,
i?
j时,
?
?
i
j
pi?
ijlog
1pi
?
ijpi
?
i?
j
pilog
?
h(p)
4-3离散信源r(d)函数计算:
r(d)?
miinpi(pj;i
d
pj?
ip
可见,求解r(d)实质上是求解互信息的条件极值,可采用拉氏乘子法求解。
但是,在一般情况下只能求得用参量迭代运算。
由信道容量c与r(d)数
c?
maxi(x;y)
pi
(r(d)的斜率s)来描述的参量表达式,并借助计算机进行
r(d)?
mini(u;v)
pji?
pd
其迭代运算与求信道容量迭代运算相仿的。
在正式讨论r(d)迭代运算前,这里,我们先介绍特殊情况下的r(d)计算。
具有等概率、对称失真信源的r(d)计算:
例1:
有一个二元等概率平稳无记忆信源u,且失真函数为:
51
【篇二:
第二章信源熵_习题答案_lgy】
少倍?
解:
四进制脉冲可以表示4个不同的消息,例如:
{0,1,2,3}
八进制脉冲可以表示8个不同的消息,例如:
{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息,例如:
{0,1}假设每个消息的发出都是等概率的,则:
四进制脉冲的平均信息量h(x1)?
logn?
log4?
2bit/symbol八进制脉冲的平均信息量h(x2)?
logn?
log8?
3bit/symbol二进制脉冲的平均信息量h(x0)?
logn?
log2?
1bit/symbol所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2一副充分洗乱了的牌(含52张牌),试问
(1)任一特定排列所给出的信息量是多少?
(2)若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?
解:
(1)52张牌共有52!
种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:
p(xi)?
152!
i(xi)?
?
logp(xi)?
log52!
?
225.581bit
(2)52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:
413p(xi)?
13
c52
i(xi)?
?
logp(xi)?
?
log
4
13
2.3居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
解:
设随机变量x代表女孩子学历
xx1(是大学生)x2(不是大学生)p(x)0.250.75
设随机变量y代表女孩子身高
yy1(身高160cm)y2(身高160cm)p(y)0.50.5
已知:
在女大学生中有75%是身高160厘米以上的即:
p(y1/x1)?
0.75bit
求:
身高160厘米以上的某女孩是大学生的信息量即:
i(x1/y1)?
?
logp(x1/y1)?
?
log
p(x1)p(y1/x1)0.25?
0.75
?
?
log?
1.415bit
p(y1)0.5
?
x?
?
x1?
0x2?
1x3?
2x4?
3?
2.4设离散无记忆信源?
?
?
?
,其发出的信息为?
1/41/41/8?
?
p(x)?
?
3/8(202120130213001203210110321010021032011223210),求
(1)此消息的自信息量是多少?
(2)此消息中平均每符号携带的信息量是多少?
解:
(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:
?
3?
?
1?
?
1?
p?
?
?
?
?
?
?
?
?
?
8?
?
4?
?
8?
bit此消息的信息量是:
i?
?
logp?
87.811
(2)此消息中平均每符号携带的信息量是:
i/n?
87.811/45?
1.951bit
14256
2.5从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:
“你是否是色盲?
”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?
如果问一位女士,则答案中含有的平均自信息量是多少?
解:
男士:
p(xy)?
7%
i(xy)?
?
logp(xy)?
?
log0.07?
3.837bitp(xn)?
93%
i(xn)?
?
logp(xn)?
?
log0.93?
0.105bit
h(x)?
?
?
p(xi)logp(xi)?
?
(0.07log0.07?
0.93log0.93)?
0.366bit/symbol
i2
女士:
h(x)?
?
?
p(xi)logp(xi)?
?
(0.005log0.005?
0.995log0.995)?
0.045bit/symbol
i
2
x2x3x4x5x6?
?
x?
?
x12.6设信源?
?
?
?
,求这个信源的熵,并解释为什么?
?
p(x)?
?
0.20.190.180.170.160.17?
h(x)log6不满足信源熵的极值性。
解:
h(x)?
?
?
p(xi)logp(xi)
i
6
?
?
(0.2log0.2?
0.19log0.19?
0.18log0.18?
0.17log0.17?
0.16log0.16?
0.17log0.17)?
2.657bit/symbolh(x)?
log26?
2.585
6
不满足极值性的原因是
?
p(xi
)?
1.07?
1。
i
2.7同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:
(1)“3和5同时出现”这事件的自信息;
(2)“两个1同时出现”这事件的自信息;
(3)两个点数的各种组合(无序)对的熵或平均信息量;(4)两个点数之和(即2,3,?
12构成的子集)的熵;(5)两个点数中至少有一个是1的自信息量。
解:
(1)
p(x)?
11111
i6?
6?
6?
6?
18
i(x?
logp(xlog1
i)?
i)?
?
18
?
4.170bit
(2)
p(x?
111
i)6?
6?
36
i(xi)?
?
logp(xi)?
?
log
1
36
?
5.170bit(3)
两个点数的排列如下:
111213141516212223242526313233343536414243444546515253545556616263646566
共有21种组合:
其中11,22,33,44,55,66的概率是1116?
6?
36
其他15个组合的概率是2?
1116?
6?
18
h(x)?
?
?
p(xlogp(x?
1111?
i)i)?
?
?
6?
log?
15?
log?
?
i
?
36361818?
4.337bit/symbol
(4)
参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
23456789101112?
?
x?
?
?
1?
1111151511?
?
?
?
p(x)?
?
?
?
?
3618129366369121836?
?
h(x)?
?
?
p(xi)logp(xi)
i
111111115511?
?
?
?
?
2?
log?
2?
log?
2?
log?
2?
log?
2?
log?
log?
361818121299363666?
?
36
?
3.274bit/symbol
(5)
1111p(xi)?
?
?
11?
6636i(xi)?
?
logp(xi)?
?
log
11
?
1.710bit36
2.8证明:
h(x1x2。
。
。
xn)≤h(x1)+h(x2)+?
+h(xn)。
证明:
h(x1x2...xn)?
h(x1)?
h(x2/x1)?
h(x3/x1x2)?
...?
h(xn/x1x2...xn?
1)i(x2;x1)?
0?
h(x2)?
h(x2/x1)i(x3;x1x2)?
0?
h(x3)?
h(x3/x1x2)...
i(xn;x1x2...xn?
1)?
0?
h(xn)?
h(xn/x1x2...xn?
1)
?
h(x1x2...xn)?
h(x1)?
h(x2)?
h(x3)?
...?
h(xn)
2.9证明:
h(x3/x1x2)≤h(x3/x1),并说明当x1,x2,x3是马氏链时等式成立。
证明:
h(x3/x1x2)?
h(x3/x1)
?
?
?
?
?
p(xi1xi2xi3)logp(xi3/xi1xi2)?
?
?
p(xi1xi3)logp(xi3/xi1)
i1
i2
i3
i1
i3
?
?
?
?
?
p(xi1xi2xi3)logp(xi3/xi1xi2)?
?
?
?
p(xi1xi2xi3)logp(xi3/xi1)
i1
i2
i3
i1
i2
i3
?
?
?
?
p(xi1xi2xi3)log
i1
i2
i3
p(xi3/xi1)
p(xi3/xi1xi2)
?
p(xi3/xi1)?
?
?
?
?
p(xi1xi2xi3)?
?
1?
p(x/xx)?
?
log2ei1i2i3i3i1i2?
?
?
?
?
?
?
?
?
p(xi1xi2)p(xi3/xi1)?
?
?
?
p(xi1xi2xi3)?
log2e
i1i2i3?
i1i2i3?
?
?
?
?
?
?
?
p(xx)p(x/x)i1i2?
?
i3i1?
?
1?
log2e?
?
?
?
i3?
?
?
i1i2
?
0
?
h(x3/x1x2)?
h(x3/x1)当
p(xi3/xi1)
?
1?
0时等式成立
p(xi3/xi1xi2)
?
p(xi3/xi1)?
p(xi3/xi1xi2)
?
p(xi1xi2)p(xi3/xi1)?
p(xi3/xi1xi2)p(xi1xi2)?
p(xi1)p(xi2/xi1)p(xi3/xi1)?
p(xi1xi2xi3)?
p(xi2/xi1)p(xi3/xi1)?
p(xi2xi3/xi1)?
等式成立的条件是x1,x2,x3是马_氏链
2.10对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,调查结果得联合出现的相对频度如下:
冷12
晴
晴
冷8
暖8
忙
冷27
雨
雨
闲
暖15
冷5
暖16
暖12
若把这些频度看作概率测度,求:
(1)忙闲的无条件熵;
(2)天气状态和气温状态已知时忙闲的条件熵;(3)从天气状态和气温状态获得的关于忙闲的信息。
解:
(1)
根据忙闲的频率,得到忙闲的概率分布如下:
x忙x2闲?
?
x?
?
?
1?
?
6340?
?
?
p(x)?
?
?
?
?
103103?
?
2
634040?
?
63h(x)?
?
?
p(xi)logp(xi)?
?
?
log?
log?
?
0.964bit/symbol
?
103103103103?
i
(2)
设忙闲为随机变量x,天气状态为随机变量y,气温状态为随机变量z
【篇三:
2信息论与编码结课论文】
>题目:
费诺编码的原理及探究院系:
数学系专业:
信息与计算科学姓名:
吴桂贤学号:
090504401017指导教师:
冉茂虎
填写日期:
2012年6月12日
摘要
经过一个学期的信息论与编码学习后,使我对这门课程有了更多的了解,促进了我对信息论的认识与学习,让我有了更大的收获。
随着以计算机技术、通信技术和网络技术为代表的信息技术的快速发展,信息技术以成为当今社会应用范围最广的高新技术之一,而信息论是信息技术的主要理论基础之一。
信息论是在信息可以度量的情况下,研究有效地,可靠地,安全地传递信息的科学,信息的可度量性是建立信息论的基础;编码是把消息变换成信号的措施,编码器又把适合信道的信号传输出去。
编码理论是信息论的一个重要分支,而编码的目的则是优化通信系统。
本文着重从编码出发,研究费诺编码的基本原理,以及费诺编码的编写方法和步骤,使用例题的方法了解信源平均码长和编码效率。
从而对本书有更进一步的认识。
关键字:
信息论,编码,费诺编码。
摘要?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
i一、主要内容?
?
?
?
?
?
?
?
?
?
?
?
?
?
1
1、信息论与编码的问题描述?
?
?
?
?
?
?
?
?
?
?
?
?
12、费诺编码的原理?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
1
二、主要任务?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
1
1、费诺编码的设计与编写?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
22、计算费诺编码的平均码长和编码效率?
?
?
?
?
?
?
?
?
2
三、基本要求?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
3
1、突出重点、文字通顺?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
42、编码和计算正确无误?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
4
四、小结?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
5五、主要参考文献?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
5
一、主要内容
1、信源编码的问题描述
信源编码是对新源输出的原始符号按照一定的数学规则进行变换,使得传输每个信源符号所要求的平均比特数较小,也即是同样多的信息用较少的码来传送,从而使单位时间内传送的平均信息量较大,最终提高了通信的有效性。
2、费诺编码的原理
费诺编码属于统计匹配码,其原理如下:
(1)将信源消息(符号)按其出现的概率有大到小依次排列;
(2)将依次排列的信源符号按概率值分为两大组,使每个组的概率之和近于相同,并对各组分别赋予一个二进制码元“0”和“1”;
(3)将没一大组的信源符号进一步在分成两组,使划分后的两
个组的概率之和近于相同,并又分别赋予一个二进制码元“0”和“1”
(4)如此重复,直至每个组只剩下一个信源符号为止;(5)信源符号所对应的码字即为费诺码。
二、主要任务
1、费诺编码的设计与编写
(1)设有一单符号离散无记忆信源:
?
x?
?
x1x2x3x4x5?
?
p(x)?
?
?
0.40.30.20.050.05?
进行费诺编码。
?
?
?
?
解:
该信源的熵为
h(x)=-?
p(xi)log2p(x)=1.95(bit/sign)
i
5
1
编码过程如下表:
该费诺码的平均码长为:
k?
?
p(x)k
i
i?
15
i
?
0.4?
1+0.3?
2+0.2?
3+0.05?
4+0.05?
4
=2.0(bit/sign)编码效率为?
?
(2)设有如下离散无记忆信源:
h(x)1.95
?
?
97.52.0k
?
x?
?
x1x2x3x4x5x6x7x8?
并求出?
p(x)?
?
?
0.40.180.10.1.0070.060.050.04?
对此信源进行费诺编码,?
?
?
?
编码效率解:
该信源的熵为
h(x)=-?
p(xi)log2p(x)=2.55(bit/sign)
i
8
i?
1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 第二 答案