信息论与编码复习3-4.ppt
- 文档编号:2732454
- 上传时间:2022-11-10
- 格式:PPT
- 页数:26
- 大小:564KB
信息论与编码复习3-4.ppt
《信息论与编码复习3-4.ppt》由会员分享,可在线阅读,更多相关《信息论与编码复习3-4.ppt(26页珍藏版)》请在冰豆网上搜索。
第第3章信道与信道容量章信道与信道容量oo重点掌握重点掌握nn有干扰无记忆信道的数学描述有干扰无记忆信道的数学描述有干扰无记忆信道的数学描述有干扰无记忆信道的数学描述nn信道容量的定义信道容量的定义信道容量的定义信道容量的定义nn对称和准对称对称和准对称对称和准对称对称和准对称DMCDMC信道的信道容量计算信道的信道容量计算信道的信道容量计算信道的信道容量计算nn香农公式香农公式香农公式香农公式oo一般了解一般了解nn信道的各种分类信道的各种分类信道的各种分类信道的各种分类nn无干扰离散信道的信道容量无干扰离散信道的信道容量无干扰离散信道的信道容量无干扰离散信道的信道容量nn信源和信道的匹配信源和信道的匹配信源和信道的匹配信源和信道的匹配11/10/20221信道的分类信道的分类oo按信道的用户数量来划分按信道的用户数量来划分按信道的用户数量来划分按信道的用户数量来划分单用户信道、多用户信道单用户信道、多用户信道单用户信道、多用户信道单用户信道、多用户信道oo按输入按输入按输入按输入/输出之间的关系来划分输出之间的关系来划分输出之间的关系来划分输出之间的关系来划分无反馈信道、反馈信道无反馈信道、反馈信道无反馈信道、反馈信道无反馈信道、反馈信道oo按信道参数与时间的关系来划分按信道参数与时间的关系来划分按信道参数与时间的关系来划分按信道参数与时间的关系来划分固定参数信道、时变参数信道固定参数信道、时变参数信道固定参数信道、时变参数信道固定参数信道、时变参数信道oo按信道中的噪声种类来划分按信道中的噪声种类来划分按信道中的噪声种类来划分按信道中的噪声种类来划分随机差错信道、突发差错信道随机差错信道、突发差错信道随机差错信道、突发差错信道随机差错信道、突发差错信道oo按输入按输入按输入按输入/输出信号在幅度和时间上的取值划分输出信号在幅度和时间上的取值划分输出信号在幅度和时间上的取值划分输出信号在幅度和时间上的取值划分离散信道、连续信道、半离散半连续信道、波形信道离散信道、连续信道、半离散半连续信道、波形信道离散信道、连续信道、半离散半连续信道、波形信道离散信道、连续信道、半离散半连续信道、波形信道11/10/20222信道模型信道模型oo根据干扰和记忆性分类根据干扰和记忆性分类根据干扰和记忆性分类根据干扰和记忆性分类nn无干扰(无噪声)信道无干扰(无噪声)信道无干扰(无噪声)信道无干扰(无噪声)信道nn有干扰无记忆信道有干扰无记忆信道有干扰无记忆信道有干扰无记忆信道nn有干扰有记忆信道有干扰有记忆信道有干扰有记忆信道有干扰有记忆信道oo信道模型信道模型信道模型信道模型nn信道的输入信道的输入信道的输入信道的输入XXii=aa11,aa22,aannnn信道的输出信道的输出信道的输出信道的输出YYjj=bb11,bb22,bbmmnn信道转移概率矩阵信道转移概率矩阵信道转移概率矩阵信道转移概率矩阵pp(YY/XX)信信信信道道道道输入输入输入输入XX输出输出输出输出YYpp(YY/XX)11/10/20223信道模型信道模型1.1.二进制离散信道二进制离散信道二进制离散信道二进制离散信道:
BSCBSC信道信道信道信道nn输入符号输入符号输入符号输入符号XX取值取值取值取值0,10,1nn输出符号输出符号输出符号输出符号YY取值取值取值取值0,10,12.2.离散无记忆信道离散无记忆信道离散无记忆信道离散无记忆信道:
DMCDMC信道信道信道信道oo输入符号集输入符号集输入符号集输入符号集XX=aa11,aa22,aannoo输出符号集输出符号集输出符号集输出符号集YY=bb11,bb22,bbmm11/10/20224信道模型信道模型3.3.离散输入、连续输出信道离散输入、连续输出信道离散输入、连续输出信道离散输入、连续输出信道oo输入符号集:
输入符号集:
输入符号集:
输入符号集:
XX=aa11,aa22,aannoo输出未经量化,即输出未经量化,即输出未经量化,即输出未经量化,即YY=-,=-,oo输出特性由离散输入输出特性由离散输入输出特性由离散输入输出特性由离散输入XX、连续输出、连续输出、连续输出、连续输出YY以及一组条以及一组条以及一组条以及一组条件概率密度函数件概率密度函数件概率密度函数件概率密度函数pp(yy/XX=aaii)来决定。
来决定。
来决定。
来决定。
4.4.波形信道波形信道波形信道波形信道oo输入是模拟波形,输出也是模拟波形输入是模拟波形,输出也是模拟波形输入是模拟波形,输出也是模拟波形输入是模拟波形,输出也是模拟波形oo连续无记忆信道和连续有记忆信道连续无记忆信道和连续有记忆信道连续无记忆信道和连续有记忆信道连续无记忆信道和连续有记忆信道ooyy(tt)xx(tt)nn(tt)nn(tt)代表加性噪声代表加性噪声代表加性噪声代表加性噪声11/10/20225信道容量的定义信道容量的定义oo信道传输率信道传输率信道传输率信道传输率RRII(XX;YY)bit/bit/符号符号符号符号nn信道中平均每个符号能传送的信息量信道中平均每个符号能传送的信息量信道中平均每个符号能传送的信息量信道中平均每个符号能传送的信息量oo信息传输速率信息传输速率信息传输速率信息传输速率RRttII(XX;YY)/)/ttbit/bit/ssnn信道中单位时间传送的信息量信道中单位时间传送的信息量信道中单位时间传送的信息量信道中单位时间传送的信息量oo信道容量信道容量信道容量信道容量nn给定转移概率矩阵给定转移概率矩阵给定转移概率矩阵给定转移概率矩阵PP后,平均互信息后,平均互信息后,平均互信息后,平均互信息II(XX;YY)是概是概是概是概率矢量率矢量率矢量率矢量PPxx的上凸函数。
的上凸函数。
的上凸函数。
的上凸函数。
nnII(PPxx)的极大值就是的极大值就是的极大值就是的极大值就是信道容量信道容量信道容量信道容量。
11/10/20226离散单符号信道离散单符号信道离散单个离散单个离散单个离散单个符号信道符号信道符号信道符号信道无干扰离散信道无干扰离散信道无干扰离散信道无干扰离散信道有扰离散信道有扰离散信道有扰离散信道有扰离散信道对称对称对称对称DMCDMC信道信道信道信道准对称准对称准对称准对称DMCDMC信道信道信道信道一般一般一般一般DMCDMC信道信道信道信道无噪无损信道无噪无损信道无噪无损信道无噪无损信道无噪有损信道无噪有损信道无噪有损信道无噪有损信道有噪无损信道有噪无损信道有噪无损信道有噪无损信道11/10/20227无干扰离散信道无干扰离散信道oo无噪无损信道无噪无损信道nnC=maxI(X;Y)=lognoo无噪有损信道无噪有损信道nnC=maxI(X;Y)=maxH(Y)oo有噪无损信道有噪无损信道nnC=maxI(X;Y)=maxH(X)11/10/20228DMC信道的容量信道的容量1.1.对称对称对称对称DMCDMC信道的性质信道的性质信道的性质信道的性质对称信道的条件熵对称信道的条件熵对称信道的条件熵对称信道的条件熵HH(YY/XX)与信道输入符号的概与信道输入符号的概与信道输入符号的概与信道输入符号的概率分布无关。
率分布无关。
率分布无关。
率分布无关。
如果信道输入符号等概率分布,则信道输出符如果信道输入符号等概率分布,则信道输出符如果信道输入符号等概率分布,则信道输出符如果信道输入符号等概率分布,则信道输出符号也等概率分布;反之,若信道输出符号等概号也等概率分布;反之,若信道输出符号等概号也等概率分布;反之,若信道输出符号等概号也等概率分布;反之,若信道输出符号等概率分布时,信道输入符号也是等概率分布。
率分布时,信道输入符号也是等概率分布。
率分布时,信道输入符号也是等概率分布。
率分布时,信道输入符号也是等概率分布。
当信道输入符号等概率分布时,对称当信道输入符号等概率分布时,对称当信道输入符号等概率分布时,对称当信道输入符号等概率分布时,对称DMCDMC信道信道信道信道达到其信道容量。
达到其信道容量。
达到其信道容量。
达到其信道容量。
11/10/20229DMC信道的容量信道的容量2.2.准对称准对称准对称准对称DMCDMC信道的容量信道的容量信道的容量信道的容量oo如果转移概率矩阵如果转移概率矩阵如果转移概率矩阵如果转移概率矩阵PP的输入对称而输出不对称,的输入对称而输出不对称,的输入对称而输出不对称,的输入对称而输出不对称,则称该矩阵是则称该矩阵是则称该矩阵是则称该矩阵是准对称准对称准对称准对称DMCDMC信道信道信道信道。
pp当信道输入符号等概率分布时,准对称当信道输入符号等概率分布时,准对称当信道输入符号等概率分布时,准对称当信道输入符号等概率分布时,准对称DMCDMC信信信信道达到其信道容量道达到其信道容量道达到其信道容量道达到其信道容量CC。
pp矩阵分解法:
将转移概率矩阵划分成若干个互矩阵分解法:
将转移概率矩阵划分成若干个互矩阵分解法:
将转移概率矩阵划分成若干个互矩阵分解法:
将转移概率矩阵划分成若干个互不相交的对称子矩阵。
不相交的对称子矩阵。
不相交的对称子矩阵。
不相交的对称子矩阵。
11/10/202210DMC信道的容量信道的容量3.3.一般一般一般一般DMCDMC信道的容量信道的容量信道的容量信道的容量oo以输入符号概率矢量以输入符号概率矢量以输入符号概率矢量以输入符号概率矢量PPxx为自变量的函数为自变量的函数为自变量的函数为自变量的函数II(PPxx)的极大值,即信道容量。
的极大值,即信道容量。
的极大值,即信道容量。
的极大值,即信道容量。
oo为了使为了使为了使为了使II(XX;YY)最大化,即求取信道容量的值,最大化,即求取信道容量的值,最大化,即求取信道容量的值,最大化,即求取信道容量的值,输入概率集输入概率集输入概率集输入概率集pp(xxii)必须满足的充分必要条件必须满足的充分必要条件必须满足的充分必要条件必须满足的充分必要条件是:
是:
是:
是:
ooII(xxii;YY)CC,对于所有满足,对于所有满足,对于所有满足,对于所有满足pp(xxii)00条件的条件的条件的条件的iiooII(xxii;YY)CC,对于所有满足,对于所有满足,对于所有满足,对于所有满足pp(xxii)00条件的条件的条件的条件的ii每一个概率不为每一个概率不为每一个概率不为每一个概率不为0000的输入符号对输出提供相同的互信息的输入符号对输出提供相同的互信息的输入符号对输出提供相同的互信息的输入符号对输出提供相同的互信息11/10/202211离散序列信道及其容量离散序列信道及其容量信信信信道道道道输入输入输入输入XX输出输出输出输出YYpp(YY/XX)XX=(=(XX11,XX22,XXLL)XXll=aa11,aa22,aannYY=(=(YY11,YY22,YYLL)YYll=bb11,bb22,bbmm独立、无记忆、平稳独立、无记忆、平稳独立、无记忆、平稳独立、无记忆、平稳离散序列信道的信道容量为:
离散序列信道的信道容量为:
离散序列信道的信道容量为:
离散序列信道的信道容量为:
无记忆无记忆无记忆无记忆离散序列信道的转移概率为:
离散序列信道的转移概率为:
离散序列信道的转移概率为:
离散序列信道的转移概率为:
11/10/202212连续信道连续信道oo连续单符号加性信道连续单符号加性信道连续单符号加性信道连续单符号加性信道nn信道的输入和输出都是取值连续的一维随机信道的输入和输出都是取值连续的一维随机信道的输入和输出都是取值连续的一维随机信道的输入和输出都是取值连续的一维随机变量,加入信道的噪声是均值为零、方差
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 复习