2.2-多符号离散平稳信源的熵PPT文件格式下载.ppt
- 文档编号:13200882
- 上传时间:2022-10-08
- 格式:PPT
- 页数:85
- 大小:894.50KB
2.2-多符号离散平稳信源的熵PPT文件格式下载.ppt
《2.2-多符号离散平稳信源的熵PPT文件格式下载.ppt》由会员分享,可在线阅读,更多相关《2.2-多符号离散平稳信源的熵PPT文件格式下载.ppt(85页珍藏版)》请在冰豆网上搜索。
同样在一般情况下,它也是时间t的函数,所以以上所叙述的是一般随机序列的情况,它比较复杂。
下面只讨论离散无记忆序列信源和两种比较简单的离散有记忆序列信源:
平稳序列信源齐次遍历马氏链信源,2.2.1离散无记忆的N次扩展信源的熵,如果有一个离散无记忆信源X,取值于集合a1,a2,an,其输出消息序列可用一组长度为N的序列来表示即等效于一个新的信源。
新信源每次输出的是长度为N的消息序列,用N维离散随机矢量来描述Xi(i=1,2,N),其中每个分量Xi都是随机变量,它们都取值于同一集合a1,a2,an,且分量之间统计独立,则由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。
这种信源在不同时刻发出的符号之间是无依赖的,彼此统计独立的。
例:
若X=a1,a2=0,1,n=2,则二元无记忆信源的二次扩展信源为:
X2=00,01,10,11,N=2(符号组的长度,扩展次数),q=22=4.二元无记忆信源的三次扩展信源为:
X3=000,001,010,011,111,100,110,101,N=3,q=23=8.二元无记忆信源的N次扩展信源为:
新信源具有q=2N个符号。
n元无记忆信源的N次扩展信源为:
新信源具有q=nN个符号。
理解,若单符号离散信源的数学模型为:
则信源X的N次扩展信源用XN来表示,该新信源有nN个元素(消息序列),其数学模型为:
其中q=nN,每个符号i对应于某个由N个xi组成的序列,而i的概率p(i)是对应的N个ai的概率组成的概率序列,考虑到信源是无记忆的,故消息序列的概率为,则N次扩展信源的熵(消息信息的熵)为:
理解,因为是离散无记忆信源,符号序列概率:
设离散信源是由n个符号消息组成的集合X=a1,a2,an若离散信源所发出的消息是集合X中N个符号组成的符号序列XN=(a1,a2,aq),其中aiai1,ai2,ain,则XN称为X的N次扩展,N称为符号序列的长度。
注意:
ai1,ai2,ain可以在a1,a2,an中重复选取。
X的N次扩展的不同的符号序列共有nN个。
【例】X=a1,a2X2=a1a1,a1a2,a2a1,a2a1X3=a1a1a1,a1a1a2,a1a1a2,a1a2a1,x2a2a21符号序列概率P(XN)=P(a1a2aq)=P(a1)P(a2/a1)P(a3/a1a2)P(aq/a1a2,aq-1)2当信源无记忆时P(XN)=P(a1a2,aq)=P(a1)P(a2)P(a3)P(aq)二、无记忆信源的序列熵例:
X=a1,a2,p(a1)=0.2,p(a2)=0.8则H(X)=0.2log20.20.8log20.8=0.464+0.258=0.722bit/符号,X2=a1a1,a1a2,a2a1,a2a1=1,2,3,4p
(1)=p(a1a1)=p(a1)p(a1)=0.04p
(2)=p(a1a2)=p(a1)p(a2)=0.16p(3)=p(a2a1)=p(a2)p(a1)=0.16p(4)=p(a2a2)=p(a2)p(a2)=0.64H(X2)=0.186+0.423+0.423+0.412=1.444=2H(X)或H(X2)=-p(a1)p(a1)logp(a1)p(a1)+p(a1)p(a2)logp(a1)p(a2)+p(a2)p(a1)logp(a1)p(a2)+p(a2)p(a2)logp(a2)p(a2)=-2p(a1)p(a1)+2p(a1)p(a2)logp(a1)+2p(a1)p(a2)+2p(a2)p(a2)logp(a2)=-2p(a1)logp(a1)+p(a2)logp(a2)=2H(X)因p(a1)+p(a2)=1,p(x1)=0.2,p(x2)=0.8,离散无记忆信源X,其信源熵为H(X)。
1.则离散无记忆信源的序列熵:
记为H(XN)H(XN)=NH(X)序列熵的单位:
bit/序列消息或bit/每N个消息2.序列的平均每个符号消息的熵:
记为HN(X),【例2.2.1】离散平稳无记忆信源X的N次扩展信源的熵为离散信源X的熵的N倍,即H(XN)=NH(X),证明:
求和是对信源XN中所有nN个元素求和,可以等效成N个求和,而其中的每一个又是对X中的n个元素求和,所以有:
(2.2.6),(2.2.5),共有N项,考察其中第一项,因为,同理其余各项均等于H(X),故有,(2.2.7),【例2.2.2】一离散平稳无记忆信源,解:
先求出此离散平稳无记忆信源的二次扩展信源。
扩展信源的每个元素是信源X的输出长度为N=2的消息序列。
由于扩展信源是无记忆的,故,求此信源的二次扩展信源的熵。
n=3N=2,nN=32=9,根据熵的定义,二次扩展信源的熵为,结论:
计算(无记忆)扩展信源的熵时,不必构造新的信源,可直接从原信源X的熵导出。
即离散平稳无记忆信源X的N次扩展信源的熵为离散信源X的熵的N倍。
思考:
证明二维离散有记忆信源的熵不大于二维平稳无记忆信源的熵?
【例2.2.3】将二维离散平稳有记忆信源推广到N维情况,可证明,证明:
则,表明:
多符号离散平稳有记忆信源X的熵H(X)是X中起始时刻随机变量X1的熵与各阶条件熵之和。
总结:
多符号离散平稳信源实际上就是原始信源在不断地发出符号,符号之间的统计关联关系也并不限于长度N之内,而是伸向无穷远。
所以要研究实际信源,必须求出信源的极限熵,才能确切地表达多符号离散平稳有记忆信源平均每发一个符号提供的信息量。
问题的关键在于极限熵是否存在?
当离散有记忆信源是平稳信源时,从数学上可以证明,极限熵是存在的,且等于关联长度N时,条件熵H(XN/X1X2XN-1)的极限值。
极限熵代表了一般离散平稳有记忆信源平均每发一个符号提供的信息。
一般情况下有下式成立,(2.2.30),一般情况下,信源在不同时刻发出的符号之间是相互依赖的。
也就是信源输出的平稳随机序列X中,各随机变量Xi之间是有依赖的。
如在汉字组成的中文序列中,只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。
所以,在汉字序列中前后文字的出现是有依赖的,不能认为是彼此不相关的。
其他如英文,德文等自然语言都是如此。
这种信源称为有记忆信源。
我们需在N维随机矢量的联合概率分布中,引入条件概率分布来说明它们之间的关联。
2.2.2离散平稳(有记忆)信源的数学模型,平稳随机序列:
是序列的统计性质与时间的推移无关,即信源所发符号序列的概率分布与时间起点无关。
若任意两个不同时刻i和j,信源发出消息的概率完全相同,则称这种信源为一维平稳信源。
即在任何时刻信源发出符号的概率完全相同。
除上述条件外,如果联合概率分布也与时间起点无关,则称信源为二维平稳信源。
这种信源在任何时刻发出两个符号的概率完全相同,即各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。
2.2.3离散平稳信源的信源熵和极限熵,离散平稳信源一般是指有记忆的信源,即发出的各个符号之间具有统计关联关系的一类信源。
这种统计关联性可用两种方式表示:
用信源发出的一个符号序列的整体概率,即N个符号的联合概率来反映有记忆信源的特征,这种信源是发出符号序列的有记忆信源。
用信源发出符号序列中各个符号之间的条件概率来反映记忆特征,这是发出符号序列的马尔可夫信源。
一、有记忆二维平稳信源的信息熵二维平稳信源是所发出的随机序列中只有两相邻符号之间有依赖关系的信源。
所以只需给出随机序列的一维和二维概率分布就能很好地从数学上描述离散二维平稳信源。
1.二维平稳信源的数学模型假定,,则矢量,相应的概率分布为,得X的数学模型为,并且,即新的信源也满足概率的归一性。
2.二维平稳有记忆信源的熵根据信源熵的定义有,(2.2.20),其中,由(2.2.20)式得到这样一个结论:
两个有相互依赖关系的随机变量X1和X2所组成的随机矢量X=X1X2的联合熵H(X),等于第一个随机变量的熵H(X1)与第一个随机变量X1已知的前提下,第二个随机变量X2的条件熵之和H(X2/X1)。
特例:
当X1和X2相互统计独立时,则由概率的性质有,当X1和X2相互统计独立时,二维离散平稳无记忆信源X=X1X2的联合熵H(X),等于第一个随机变量的熵H(X1)与第二个随机变量的熵H(X2)之和。
其中,二、N维离散平稳有记忆信源的熵离散平稳信源有记忆信源的联合熵H(X1X2XN)表示平均每发一个消息序列(由N个符号组成)所提供的信息量。
从数学角度出发,信源平均发一个符号序列所提供的信息量应为称HN(X)为平均符号熵,当N时,平均符号熵取极限值,称为极限熵或极限信息量,即,极限熵是否存在?
如何计算?
对于离散平稳信源,当H1(X)时,具有以下性质:
条件熵H(XN/X1X2XN-1)随N的增加是非递增的;
N给定时,平均符号熵条件熵,即HN(X)H(XN/X1X2XN-1)平均符号熵HN(X)随N增加是非递增的。
说明:
条件较多的熵必小于或等于条件较少的熵,而条件熵必小于等于无条件熵;
对于离散平稳信源,当考虑依赖关系为无限长时,平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵(极限熵)。
可用条件熵或平均符号熵来作为平稳信源极限熵的近似值。
【例2.2-4】已知离散有记忆信源中各符号的概率空间为现信源发出二重符号序列消息(aiaj),这两个符号的关联性用条件概率p(aj/ai)表示,并由下表给出。
求信源的序列熵和平均符号熵。
p(aj/ai),条件熵为,单符号信源熵为,p(aj/ai),解:
发二重符号序列的熵为平均符号熵为比较上述结果可知:
H2(X)H1(X),即二重序列的符号熵值较单符号熵变小了,也就是不确定度减小了,这是由于符号之间存在相关性造成的。
H1(X)=1.543bit/sign,H(X2/X1)=0.872bit/sign,对离散平稳信源,其联合概率具有时间推移不变性,此时有如下结论:
(1)H(XN/XN-1)是N的单调非增函数。
(2)HN(X)H(XN/XN-1).(3)HN(X)是N的单调非增函数。
(4)当N时,H(X)称为极限熵,又称为极限信息量。
于是有:
式中,H0(X)为等概率无记忆信源单个符号的熵,H1(X)为一般无记忆信源单个符号的熵,H2(X)为两个符号组成的序列平均符号熵,依此类推。
结论:
公式(2.2.30)从理论上定义了平稳离散有记忆信源的极限熵,对于一般的离散平稳信源,实际上求此极限值是相当困难的。
但对于一般的离散平稳信源,由于N值不是很大,所以可用非常接近H(X)的H(XN/X1X2XN-1)的极限值来代替。
因此,可用条件熵H(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2.2 符号 离散 平稳 信源