当前位置: 首页 > >

第3章-信道与信道容量

发布时间:

第3章 信道与信道容量
吴晓青

目 录
? 3.1信道分类 ? 3.2 单符号离散信道及其容量
? 3.2.1 数学模型

? 3.2.2信道容量
? 3.2.3 离散信道容量的迭代算法

? 3.3 离散序列信道及其容量 ? 3.4 信源与信道的匹配 ? 3.5 连续信道及其容量
? 3.5.1 连续单符号加性信道

? 3.5.2 多维无记忆加性连续信道 ? 3.5.3 加性高斯白噪声波形信道

信道:信息传输的通道,是传输信息的载 体,其主要任务是传输或者存储信息。 通信的本质:就是通过信道传输信息,实 现不同地点之间或者不同时间的信息交 流。 主要研究内容:在理论上能够传输或者存 储的最大信息量,即信道容量。

3.1信道分类
信息论研究信道,一般认为已经知道信道的传输特 性,即输入、输出之间的统计依赖关系已知。

输入

p( y | x)

输出

信道
随机过程 随机过程

离散无记忆信道模型

根据统计特性分类: ? 恒参信道:信道的统计特性不随时间而变 化。比如,幅度衰减倍数等参数恒定。如 电话线、光纤、高斯白噪声信道、卫星信 道一般视为恒参信道。 ? 随参信道:信道的统计特性随时间而变化。 统计特性随着环境、温度、湿度等参数而 变化。如短波信道随电离层变化而变化; 微波信道,移动电话在高速列车上可能因 多普勒效应发生频移等。

根据信道用户量多少分类: 单用户信道:也称两端信道,该信道只有一个 输入端和一个输出端,而且只能进行单方向 的通信。 点对点应用。 多用户信道:也称多端信道,输入端或者输出 端至少有一端具有两个或者两个以上用户, 并且可以实现双向通信。目前大多数信道都 是多端信道。 广播信道、通信网络等。

? 根据输入、输出的取值特性分类: 离散信道:也称为数字信道,该类信道中输入空间、 输出空间均为离散事件集合,集合中事件数量是有 限的,或者有限可数的,随机变量取值都是离散的。 ? 连续信道:也称为模拟信道,输入空间、输出空间 均为连续事件集合,集合中事件的数量是无限的、 不可数的,即随机变量的取值数量是无限的、或者 不可数的。 ? 半离散半连续信道:输入空间、输出空间一个为离 散事件集合,而另一个则为连续事件集合,即输入、 输出随机变量一个是离散的,另一个是连续的。 ? 波形信道:也称为时间连续信道,信道输入、输出 都是时间的函数,而且随机变量的取值都取自连续 集合,且在时间上的取值是连续的。

? 根据信道中信号所受噪声的统计特性分类: ? 随机差错信道:信道中传输码元所遭受的噪 声是随机的、独立的,这种噪声相互之间不具 有关联性,码元错误不会成串出现,最具有代 表性的是高斯白噪声信道。( 无记忆信道) ? 突发差错信道:信道中噪声或者干扰对传输 码元的影响具有关联性,相互之间并不独立, 从而使得码元错误往往成串出现,常有的如衰 落信道、码间干扰信道。在实际中这种信道经 常出现,如移动通信的信道、光盘存储等都属 于该类信道。 ( 有记忆信道)

3.2单符号离散信道及其容量 3.2.1 数学模型
单符号无记忆信道:
信道的输入符号之间、输出符号之间都不存在关 联性,即无记忆的,此时输入、输出可以看作 是单符号的,称这类信道为单维信道或者单符 号信道。

单符号离散无记忆信道
进一步,如果信道的输入、输出随机变量都是离 散的,则该信道为单符号离散无记忆信道。

p( y | x)
X

Y

信道
随机变量 随机变量

离散无记忆信道模型

输入符号集合X、输出符号集合Y内部不存在 关联性,集合X和集合Y之间有关联 。

条件转移概率
用来描述信道特性。 输入x=ai,输出y=bj对应的条件转移概率为

p( y | x) ? p( y ? bj | x ? ai ) ? p(bj | ai )

信道转移矩阵
用矩阵来表示信道输入、输出符号之间的条件转 移关系:
? p (b1 | a1 ) ? p (b | a ) P (Y | X ) ? ? 1 2 ? ? ? p (b1 | ar ) p(b2 | a1 ) p (b2 | a2 ) p (b2 | ar ) p (bs | a1 ) ? p (bs | a2 ) ? ? ? ? p (bs | ar ) ?

又称为条件转移矩阵或者信道转移矩阵。条件转 移矩阵是一个r×s的矩阵, 当输入、输出集合的元素数量相等(r=s)时, 是一个方阵。

前向概率、后验概率

由公式

p(ai , bj ) ? p(ai ) p(bj | ai )

信道的条件转移概率p(bj|ai)通常称为前向概率,表 示在输入为ai时,通过信道后接收为bj的概率,描 述了信道噪声的特性。

p(ai , bj ) ? p(bj ) p(ai | bj ) 由公式 p(ai|bj)称为后向概率,表示当接收符号为bj时,信 道输入为ai的概率,所以也称为后验概率。
p(ai | b j ) ? p(ai , b j ) p(b j ) ? p(ai ) p(b j | ai )
r

? p(a ) p(b | a )
i ?1 i j i

后验概率求 法

3.2.2 信道容量
信道的信息传输率R

R ? I ( X ;Y ) ? H ( X ) ? H ( X | Y )
含义: 1、表示在单符号离散信道中,*均每个符号传送的信息 量。 2、由于信道中存在干扰,信道输出端接收的符号与输入 符号之间并不是一一对应的; 从信息传输的角度而言,信道输入符号X所携带的 *均信息量H(X)并不等于信道输出端接收到的信息量 H(Y); 3、信道的干扰或者噪声总是有限的,从统*嵌榷裕 总有部分信息能够准确传输。

? H (Y ) ? H (Y | X )

信息传输速率 Rt

R ? t

t:传输一个符号所需时间

Rt 的单位:bit/符号÷s/符号=bit/s

定义3.1 设某信道的*均互信息量为I(X;Y),信道输 入符号的先验概率为p(x),该信道的信道容量C定义 为 C ? max{I ( X ; Y )}
p( x)

上述的极值问题实际是有约束条件的,先验概率分布 p( x) 应当满足下列条件

p( x ? ai ) ? 0

? p(a ) ? 1
i ?1 i

r

对于给定信道,前向概率p(x)是一定的,所以信道容 量就是在信道前向概率一定的情况下,寻找某种先 验概率分布,从而使得*均互信息量最大,这种先 验分布概率称为最佳分布。

几点讨论: 1、对于给定信道最佳分布总是存在的。 如果信道输入满足最佳分布,信息传输率 最大,即达到信息容量C; 如果信道输入的先验分布不是最佳分布, 那么信息传输率不能够达到信息容量。 2、信道传输的信息量R必须小于信道容量C,否 则传输过程中会造成信息损失,出现错误; 如果R<C成立,可以通过信道编码方法保证 信息能够几乎无失真地传送到接收端。

几种特殊信道的信道容量 1.无干扰离散信道 理想信道。 根据信道输入符号X与信道输出符号Y之间 的关系,可以分为下列几种:

(1)无噪无损信道的信道容量
该信道的输入、输出集合符号数量相等,即r=s,此 时输入X与输出Y之间是一一对应的 。 对于给定ai,由于只有一个为1,其余都为0, 所以 H ( X | Y ) ? H (Y | X ) ? 0 Y X 1 可得 I ( X ;Y ) ? H ( X ) ? H (Y ) 信道容量 C ? max {I ( X ; Y )}
p( x)
1 1 1

? max {H ( X )
p( x)

? max {H (Y )}

? logr比特/ 符号

p( x)

(2)无噪有损信道的信道容量
信道输出符号Y集合的数量小于信道输入符号X集 合的数量,即r>s,形成多对一的映射关系,可 得:

H(X | Y) ? 0

X

1 1 1 1

Y

H (Y | X ) ? 0

I ( X ; Y )} ? max{H (Y )} ? lbs 信道容量 C ? max{ p( x) p( x)
j ?1 , 2,..., s p(bj ) ? 1/ s 此时使得 最佳分布不唯一,满足上述条件即可。

无噪有损信道矩阵特点 每行只有一个元素为1,其余元素都为0 。

?1 ?1 P(Y | X ) ? ? ?0 ? ?0

0? 0? ? 1? ? 1?

(3)有噪无损信道
信道输出符号Y集合的数量大于信道输入符号X集合 的数量,即r<s,形成一对多的映射关系,可得:

H (Y | X ) ? 0 H(X | Y) ? 0
p( x) p( x)

X

0.4 0.6 0.7 0.3

Y

信道容量 C ? max{I ( X ; Y )} ? max{H ( X )} ? lbr 输入符号分布等概时,即 p(ai ) ? 1/ r I(X;Y)最大,达到信道容量
i ? 1, 2,..., r

有噪无损信道矩阵特点
信道概率转移矩阵中每列只有一个非零元素

?0.4 0.6 0 0 ? P(Y | X ) ? ? ? 0 0 0.7 0.3 ? ?

2.对称离散信道的信道容量
定义3.2 如果信道转移概率矩阵中所有行矢量都是 第一行的某种置换,则称信道关于输入是对称 的,这种信道称为输入对称离散信道。
?0.9 0.1? P?? ? 0.1 0.9 ? ?

?0.6 0.3 0.1? P?? ? 0.3 0.6 0.1 ? ?

矩阵中第二行的元素与第一行的元素完全相同,所 以该信道为输入对称的。

由定义:

H (Y | a1 ) ? H (Y | a2 ) ?

? H (Y | ar )
s j ?1

? H (Y | ai ) ? ?? p(b j | ai ) log p(b j | ai )

H (Y | X ) ? H (Y | ai )

假设转移矩阵首行元素为(p1,p2,…pr),则有

I ( X ;Y ) ? H (Y ) ? H (Y | X ) ? H (Y ) ? H ( p1, p2 , , ps )
输入对称信道的容量为
C ? max I ( X ; Y ) ? max H (Y ) ? H ( p1 , p2 ,
p ( ai ) p ( ai )

, ps )

所以输入对称信道的容量就是找到一种分布,使得 信道输出的熵最大。

例3.1 信道的转移矩阵为

求该信道的容量C 解:设信道输入的概率空间为 信道输出的概率分布为

?0.6 0.3 0.1? P?? ? 0.3 0.6 0.1 ? ? ? X ? ? a1 ? p ( x) ? ? ? p ? ? ? a2 ? 1? p? ?

p(b1 ) ? 0.6 p ? 0.3(1 ? p) ? 0.3 ? 0.3 p p(b2 ) ? 0.3 p ? 0.6(1 ? p) ? 0.6 ? 0.3 p

p(b3 ) ? 0.1p ? 0.1(1 ? p) ? 0.1

H (Y ) ? ?{ p(b1 )lbp(b1 ) ? p(b2 )lbp(b2 ) ? p(b3 )lbp(b3 )} ? ?{(0.3 ? 0.3 p)lb(0.3 ? 0.3 p) ? (0.6 ? 0.3 p)lb(0.6 ? 0.3 p) ? 0.1lb0.1}
H (Y )

取得极值的条件为 dH (Y ) ? 0
dp

解上述方程,可以得到取得极值的条件为p=0.5,即当 信道输入为等概率分布时,取得最大值,所以

max{H (Y )} ? 1.369
s j ?1

比特/符号

H (Y | X ) ? H (Y | a1 ) ? ?? p(b j | a1 )log p(b j | a1 )

? ?0.6lb0.6 ? 0.3lb0.3 ? 0.1lb0.1 ? 1.296 比特/符号

C ? max H (Y ) ? H (Y | X )=0.073
p ( ai )

比特/符号

显然, p(b1 ) ? 1/ s ? 1/ 3,所以,当信道只是输入对称时, 信道容量不能够简单认为是
C ? max H (Y ) ? H (Y | X ) ? log s ? H (Y | X )
p ( ai )

应当首先假设信道输入分布,然后解决极值问题。

定义3.3 如果信道转移概率矩阵中所有列矢量都是第 一列的某种置换,则称信道关于输出是对称的,这 种信道称为输出对称离散信道。
? 1 P?? ? 0.5 ? ? 0 0 ? 0.5 ? ? 1 ? ?

?0.7 0.2 0.1? ? P?? 0.2 0.1 0.7 ? ? ? ? 0.1 0.7 0.2 ? ?

如果信道是输出对称的,那么当信道输入符号为等概 率分布时,信道输出也是等概率分布的。 当信道输出对称时
r

? p(b
i ?1

r

j

| ai ) 为常数

输入等概率分布时 ,输出

1 r 1 p(b j ) ? ? p(ai ) p(b j | ai ) ? ? p(b j | ai ) ? r i ?1 s i ?1

C ? max I ( X , Y ) ? max[ H (Y ) ? H (Y | X )]
p ( ai ) p ( ai )

? log s ? min H (Y | X )
p ( ai )

由于信道转移矩阵是已知的 ,可以使用下列公式
H (Y | X ) ? ?? p(ai ) H (Y | ai )
i ?1 r

只要能够求出使得上式取得最小值的信道输入概率分布, 即可求出信道容量。

定义3.4 如果信道转移矩阵按列可以划分为几个 互不相交的子集,每个子矩阵满足下列性质: (1) 每行都是第一行的某种置换; (2) 每列都是第一列的某种置换; 则称该信道为准对称信道。显然,准对称信道是输 入对称的。 特别地,当这种划分只包含一个矩阵,该信道称为 对称信道,此时信道既是输入对称的,也是输出 对称的。

对称信道容量计算
因为输入对称,有 C ? max I ( X , Y ) ? max[ H (Y ) ? H (Y | X )]
p ( ai ) p ( ai )

? max H (Y ) ? H (Y | X )
p ( ai )

且满足

H (Y | X ) ? H (Y | ai )

H(Y|X)与信道输入的分布无关,只与条件概率分布有 关 ,所以

H (Y | X ) ? H ( p1, p2 ,..., ps )
对称信道的信道容量为:

max H (Y ) ? log s
p ( ai )

C ? max I ( X , Y ) ? log s ? H ( p1 , p2 ,..., ps )
p ( ai )

对称信道 最佳分布,信道输入应当满足等概率分布。

例3.2 设某信道转移矩阵为
求信道容量C。

?1/ 3 1/ 3 1/ 6 1/ 6? P?? ? ?1/ 6 1/ 6 1/ 3 1/ 3?

解:观察信道转移矩阵可知,矩阵的第二行 是第一行的置换,每一列都是第一列的置换,所 以信道是对称的,所以信道容量为
C ? log s ? H ( p1, p2 ,..., ps ) ? lb4 ? H (1/ 3,1/ 3,1/ 6,1/ 6) ? 0.082 比特/符号

定理3.1 准对称离散信道容量在信道输入为 等概率分布时达到。

例3.4 设某信道的转移矩阵为
?1 ? p ? q P?? p ? q p ? q 1? p ? q? ?

求其信道容量。 解:从该信道转移矩阵可以看出,该信道是一个准对 称信道,可以将之分解为
p ? ?1 ? p ? q P1 ? ? 1? p ? q? ? p ? ?q ? P2 ? ? ? ?q ?

两个互不相交的子集,而每个子集都是对称信道形式, 1-q 对应参数分别为 a
N1 ? 1 ? q
N2 ? q
行元素 之和
1

b1 b2 b3

q q

M1 ? 1 ? q

M 2 ? 2q

列元素 之和

a2

1-q

根据准对称离散信道的信道容量计算公式求解
C ? log r ? H ( p1 , p2 ,..., ps ) ? ? N k logM k
k ?1 n

? log 2 ? H (1 ? p ? q, q, p) ? (1 ? q)log(1 ? q) ? q log 2q

? p log p ? (1 ? p ? q)log(1 ? p ? q) ? (1 ? q)log

?1 ? q q 0 ? 特别地,如果p=0,则信道转移矩阵为 P ? ? ? ? 0 q 1? q?
该信道即二元纯对称删除信道,其信道容量为 2 C ? (1 ? q)log(1 ? q) ? (1 ? q)log ? 1 ? q 比特/符号 1? q

2 1? q

例3.5 信道转移矩阵为

?1/ 3 1/ 3 1/ 6 1/ 6? P?? ? 1/ 6 1/ 3 1/ 6 1/ 3 ? ?






求信道容量C。 解:通过观测可知,该信道是准对称信道,可以分解 为三个互不相交的子集,分别为


, ,

?1/ 3 1/ 6? ?1/ 3? P1 ? ? P2 ? ? ? ? ?1/ 3? ?1/ 6 1/ 3?
1 1 1 N1 ? ? ? 3 6 2

?1/ 6 ? P3 ? ? ? ?1/ 6 ?

对应的参数分别为
1 N2 ? 3
1 1 2 M2 ? ? ? 3 3 3
N3 ? 1 6



1 1 1 M1 ? ? ? 3 6 2

1 1 1 M3 ? ? ? 6 6 3

所以信道容量为

C ? log r ? H ( p1 , p2 ,..., ps ) ? ? N k logM k
1 1 1 1 1 1 1 2 1 1 ? log 2 ? H ( , , , ) ? lb ? lb ? lb 3 3 6 6 2 2 3 3 6 3
k ?1

n

? 0.041

比特/符号

模K加性噪声信道的信道容量
DMC的输入为X,X的所有事件为{0,1,2…K-1} DMC的输出为Y,Y的所有事件为{0,1,2…K-1} DMC的输入为Z,Z的所有事件为{0,1,2…K-1} X与Z相互独立,求信道容量C。

输入

x? X,
Q( x)
干扰

输出

y ? x ? z ?Y

w( y )
z?Z

p( z )

列 坐 标

行 坐 标

k-=0

3.一般离散信道的容量
符号数量较少信道容量的计算: 首先假设信道的输入概率分布,根据信道 容量的定义和输入概率分布的约束条件,直 接求解极值问题即可得到最佳分布; 然后根据最佳分布计算信道输入、输出 之间的*均互信息量,从而得到信道容量如 果信道输入、输出。

例3.6 信道转移矩阵为
?0.9 P?? ?0.2 0.1? 0.8? ?

求信道输入最佳分布和信道容量。 解:观察信道转移矩阵可知,该信道不是对称, 信道的输入输出符号数量都为2,假设信道输 入符号的概率分别为p,1-p 求得:
p(b1 ) ? 0.9 p ? 0.2(1 ? p) ? 0.2 ? 0.7 p

p(b2 ) ? 0.1p ? 0.8(1 ? p) ? 0.8 ? 0.7 p

*均互信息量

I ( X ; Y ) ? H (Y ) ? H (Y | X ) H (Y ) ? ?((0.2 ? 0.7 p) log(0.2 ? 0.7 p) ? (0.8 ? 0.7 p) log(0.8 ? 0.7 p)) H (Y | X ) ? ?( p * (0.9 log 0.9 ? 0.1log 0.1 ? (1 ? p)(0.2 log 0.2 ? 0.8 log 0.8)) ? pH (0.1) ? (1 ? p) H (0.2) ?I ( X ; Y ) ? ?0.7 log(0.2 ? 0.7 p) ? 0.7 ? (?0.7) log(0.8 ? 0.7 p) ? (?0.7) ?p ? H (0.1) ? H (0.2) ? 0 0.8 ? 0.7 p 0.7 ln ? H (0.1) ? H (0.2) 0.2 ? 0.7 p p ? 0.53 C=0.415比特/符号

从该例可以看出, 1、即使是简单的非对称二元信道,其最佳分 布的求解也十分复杂。 2、所以一般离散信道的信道容量的求解通过 计算机求解。

一般离散信道达到信道容量时,输入 概率分布应满足的定理
定理3.2 设有一般离散信道,它有r个输入符号, s个输出符号,其*均互信息I(X;Y)达到极大值 (即等于信道容量)的充要条件是输入概率分布 p(x)满足:
? I (ai ; Y ) ? C ? ? I (ai ; Y ) ? C
对所有的 对所有的

p(ai ) ? 0 的 ai
p(ai ) ? 0的 ai

常数C就是所求的信道容量

上述定理的几点讨论
1、上述定理只是给出了达到信道容量时,信道输入符号分 布的充要条件; 2、不能够给出信道输入的最佳概率分布,也没有给出信道 容量的计算公式; 3、达到信道容量的最佳分布一般不是唯一的,只要输入分 布满足概率的约束条件,并且使得达到最大值即可。 4、一般情况下,根据上述定理求解信道容量和信道输入的 最佳概率分布还是十分复杂的。 但是对于某些特殊信道,可以使用上述定理求解信道容量。

可逆矩阵信道容量
假定所有输入字母的概率为Qk,则输出概率分布

w j ? ? Qk p( j | k )
k



p( j | k ) I ( x ? k ; Y ) ? ? p( j | k ) log( ) ? C , k ? 0,1,2...K ? 1 j ? Qi p( j | i)
i

可得

? p( j | k ) log p( j | k ) ?? p( j | k ) logw ? C
j j j

即: 令: 得:

? p( j | k ) log p( j | k ) ?? p( j | k )(C ? log w )
j j j

? j ? C ? log wj

? p( j | k )? ? ? p( j | k ) log p( j | k ), k ? 0,1...K ?1
j j j

可看成是有J个未知数 ? j 的线性方程组。由假设P 是非奇异矩阵,故线性方程组有唯一解。 令 { ?} 为其解,由 j

wj ? 2

? j ?C

?2 2

?C

?j



?w
j

j

?1

可得

C ? log ? 2
j

?j

特别注意Qk>0,对上面的解进行验证。
计算

wj ,

wj ? 2

? j ?C

计算Qk,解方程组

w j ? ? Qk p( j | k )
k

验证。若Qk>0,则所得到的解释正确的。否则满足条 件的解在边界上,令某个Qk=0,再进行试解。 特别,J>K多解,有时要令多个Qk为0进行试解。
例题:DMC信道转移矩阵为
?1 ?2 ?0 ? ?0 ?1 ? ?4 1 4 1 0 0 0 0 1 1 4 1? 4? 0? ? 0? 1? 2? ?

试求信道容量C。

根据 组

? p( j | k )? ? ? p( j | k ) log p( j | k ), k ? 0,1...K ?1 ,列方程
j j j

1 1 1 1 1 1 1 1 1 ?1 ? ? 2 ? ? 4 ? log ? log ? log 2 4 4 2 2 4 4 4 4 ?2 ? 0

?3 ? 0 1 1 1 1 1 1 1 1 1 ?1 ? ? 3 ? ? 4 ? log ? log ? log 4 4 2 4 4 4 4 2 2



?1 ? ?4 ? ?2, ?2 ? ?3 ? 0
C ? log ? 2
j

从而

?j

? log5 ? 1

根据 求得

wj ? 2
w1 ? 2

? j ?C

?1 ?C

1 2 ? 2 ?C ? w4 ? , w2 ? 2 ? w3 ? 10 5
得到方程组

再根据

w j ? ? Qk p( j | k )
k

1 1 1 Q1 ? Q4 ? 2 4 10 1 2 Q1 ? Q2 ? 4 5 1 2 Q3 ? Q4 ? 4 5 1 1 Q1 ? Q4 ? 2 10

? 可得,输入分布

4 11 Q1 ? Q4 ? , Q2 ? Q3 ? 30 30
? 经验证,Qk>0 , 因此结果正确。

? C=log5-1 最佳分布为

4 11 Q1 ? Q4 ? , Q2 ? Q3 ? 30 30

例3.7 设某信道转移矩阵为



? 求该信道的容量和信道输入的最佳概率分布。 ? 解:该信道不是对称信道,所以不能直接使用对称信道计 算其信道容量。 ? 但是通过观察发现,如果信道输入符号的概率p(a2)=0, 该信道就是一个二元纯对称删除信道。 ? 这样就可以假设 p(a1 ) ? p(a3 ) ? 1/ 2 p(a2 ) ? 0 ? 然后检查是否满足上述定理的条件,如果满足就可以计算出 信道容量。 3 ? 首先根据假设求出相应的p(bj) p(b1 ) ? ? p(ai ) p(b1 | ai ) ? 0.45
p(b2 ) ? ? p(ai ) p(b3 | ai ) ? 0.1
i ?1 3

? 0.9 0.1 0 ? ? P?? 1/ 3 1/ 3 1/ 3 ? ? ? ? 0 0.1 0.9 ? ?

p(b3 ) ? ? p(ai ) p(b3 | ai ) ? 0.45
i ?1

3

i ?1

? 然后计算互信息量
I (a1; Y ) ? ? p(bj | a1 )log
j ?1
3

3

p(bj | a1 ) p(bj )
p(bj | a2 ) p(bj )

? 0.9

I (a2 ; Y ) ? ? p(b j | a2 )log
j ?1

? ?0.29

I (a3 ; Y ) ? ? p(b j | a 3 )log 。
j ?1

3

p(b j | a1 ) p(bj )

? 0.9

显然满足定理3.2的条件,所以信道容量为
C ? 0.9

对应的信道输入最佳概率分布为

(0.5, 0, 0.5)

3.2.3 离散信道容量的迭代算法
? 基本思想: ? 设后验概率p(ai|bj)为自变量,并且假设存在一个 反向试验信道,反向信道的转移矩阵就是由 p(ai|bj)构成的; ? 这样*均互信息量就可以表示为信道转移矩阵和 反向转移矩阵的函数,通过反向矩阵修正信道输 入概率的分布,迭代计算I(X;Y)直到其趋向*稳 为止。
X 正向通道

p(ai )

p(b j | ai )

Y

X

反向通道

Y

p(b j )

p(ai )

p(ai | b j )

p(b j )

? 正向信道

I ( X ; Y ) ? ?? p(ai ) p(b j | ai ) log
X Y

p(b j | ai )

? ?? p(ai ) p(b j | ai ) log
X Y

p(b j ) p(ai | b j )
p(ai )

? 引入反向试验信道后
I ( P, ? ) ? ?? p(ai ) p(b j | ai ) log
X Y

p(ai | b j ) p(ai )

1.以反向转移概率分布为自变量

首先假设信道输入概率分布 p(ai ) 保持不变, 而
p(b j | ai )

是固定的,可以求出 max I ( P, ? ) 时对应的 p ( a |b )
i j

反向试验信道概率 分布

p(ai | b j )

? 构造函数
F1 (? ) ? I ( P, ? ) ? ? j ? p(ai | b j )
i ?1 r

j ? 1, 2,..., s

? 求偏导
r ? ? ? I ( P,? ) ? ? j ? p(ak | bj )? ? 0 ? ?p(ai | bj ) ? k ?1 ?

(i ? 1,2,..., r

j ? 1,2,..., s)

p(ai ) p(bj | ai ) p(ai | bj )

? ?j ? 0

(i ? 1,2,..., r

j ? 1,2,..., s)

p(ai | b j ) ?

p(ai ) p(b j | ai )

?j

p(ai | b j ) ? 1 由 ? i ?1

r

1 r p(ai | b j ) ? ? p(ai ) p(b j | ai ) ? 1 ? ? j i ?1 i ?1
? j ? ? p(ai ) p(b j | ai )
i ?1 r

r

( j ? 1,2,..., s)

( j ? 1, 2,..., s)

p(ai | bj ) ?

p(ai ) p(bj | ai )

?j

p (ai | b j ) ?
*

p(ai ) p(b j | ai )

? p(a ) p(b
i ?1 i

r

j

| ai )

C ? max I ( P) ? max max I ( P, ? )
p ( ai ) p ( ai ) p ( ai |b j )

? 即信道容量C可由函数

I ( P, ? )

的双重最大化得到

2. 以输入概率分布p(ai)为自变量
? 构造函 数
F2 ( P) ? I ( P, ? ) ? ? ? p(ai )
* i ?1 r

求偏导
r ? ? ? * I ( P , ? ) ? ? p ( a ) ? i ? ?0 ? ?p(ai ) ? i ?1 ?

(i ? 1, 2,..., r )

? ?1 ? ln p(ai )? ? ? p(bj | ai )ln p *(ai | b j ) ? ? ? 0
j ?1

s

(i ? 1,2,..., r )

? 简化得到

?s ? p(ai ) ? exp ?? p(b j | ai )ln p *(ai | b j ) ? (1 ? ? ) ? ? j ?1 ?
r i ?1 i

(i ? 1, 2,..., r )

? p(a ) ? 1
e(1?? ) ? s ? * ? ? exp ?? p(b j | ai ) ln p (ai | b j ) ? i ?1 ? j ?1 ?
r

? s ? exp ? ? p (b j | ai ) ln p* ( ai | b j ) ? ? j ?1 ? p* (ai ) ? r ? s ? * exp ? ? p (b j | ai ) ln p (ai | b j ) ? ? i ?1 ? j ?1 ?



p (ai | b j ) ?
*

p(ai ) p(b j | ai )

? p(a ) p(b
i ?1 i

r

j

| ai )

p (ai ) ?
*

p (ai )?1

? p ( a )?
i ?1 i

r

1

? 等式右边p(ai) 是假设的初始 信道输入概率, 等式左边的 p*(ai)是双重极 大化求得的输 入概率。

其中

? ? ? s ? p(b j | ai ) ? ?1 ? exp ?? p(b j | ai ) ln r ? j ?1 ? p ( a ) p ( b | a ) ? i j i ? ? i ?1 ? ?

? 经过整理后得到
max I ( P, ? * ) ? I ( P* , ? * )
p ( ai )

? s ? * ? ln ? exp ? ? p (b j | ai ) ln p ( ai | b j ) ? i ?1 ? j ?1 ?
r

3. 离散无记忆信道容量的逐步迭代算法
? 任意选择初始输入概率分 (1) p 。一般情况下, 布 往往选择初始分布为等概率分布
p
(1)

继续进行下一步计算,令迭代序号为 n ? 1,2,... 在第n步迭代中,可得到
p( n) (ai | b j ) ? p( n) (ai ) p(b j | ai )
(n) p ? (ai ) p(bj | ai ) i ?1 r

?1 1 1? ? ? , ,... ? ?r r r?

p ( n ?1) (ai ) ?

p ( n ) (ai )? i ( n )
(n) (n) p ( a ) ? ? i i i ?1 r

其中

? ? ?s ? p(b j | ai ) (n) ? ? i ? exp ?? p(b j | ai )ln r (n) ? j ?1 ? p p ( a ) p ( b | a ) ? i j i ? ? i ?1 ? ?

这三个表达式就是迭代算法的基本公式。

? 现在令

C (n, n) ? max I ( P ( n ) , ? ) ? p ( ai / b j ) ? (n) ? C (n ? 1, n) ? max I ( P, ? ) ? p ( ai ) ?

C(n, n) ? I ( P( n) , ? ( n) )
? ?? p (ai ) p(bj | ai )ln
( n) i ?1 j ?1
s

r

s

p(n) (ai | bj ) p(n) ai
p(b j | ai )
r

? ?? p (ai ) p(b j | ai )ln
(n) i ?1 j ?1

r

(n) p ? (ai ) p(bj | ai ) i ?1

?和

C(n ? 1, n) ? I ( P( n?1) , ? ( n) )
? s ? (n) ? ln ? exp ? ? p(b j | ai ) ln p (ai | b j ) ? i ?1 ? j ?1 ?
r

? ln ? p ( n ) (ai )? i ( n )
i ?1

r

3.3 离散序列信道及其容量 ?
X ?X
N

pN (Y | X )
信道

( x1 , x2 ,..., x N )

? Y ?YN ( y1 , y 2 ,..., y N )

xn ? X n ? {0,1,...,K ?1}, yn ?Yn ? {0,1,...,J ?1}
离散序列信道模型 对于离散无记忆信道(DMC):
N ? ? pN (Y | X ) ? p(Y1 , Y2 ,..YN | X 1 , X 2 ,..X N ) ? ? p(Yi | X i ) i ?1

离散无记忆*稳信道

? ? N pN (Y | X ) ? p ( y | x)

单符号离散无记忆信道转移矩阵
输入取自 X ? {a1, a2 ,...ar } ,输出取自 Y ? {b1 , b2 ,... bs } 信道转移矩阵
? p (b1 | a1 ) ? p (b | a ) P(Y | X ) ? ? 1 2 ? ? ? ? p (b1 | ar ) p (bs | a1 ) ? p (b2 | a2 ) ? p (bs | a2 )? ? ? ? ? ? ? p (b2 | ar ) ? p (bs | ar ) ? p (b2 | a1 ) ?

N次扩展序列信道转移矩阵

输入序列: ?i ? (ai1, ai 2 ,...aiN ),i ? 1,2...,r N , ai1 ? X
输出序列: ? j ? (bj1, bj 2 ,...bjN ), j ? 1,2,...s N , bj1 ?Y

转移矩阵

? q11 ?q 21 ? Q? ? ? ? ? ? qr N 1

q12 q22 ? qr N 2

q1s N ? ? q2 s N ? ? ? ? ? ? qr N s N ? ? ? ?
N

无记忆信道,有下式:
qmn ? p(? n | ? m ) ? p(bn1bn 2 ...bnN | am1am2 ...amN ) ? ? p(bni | ami )
i ?1

一般离散信道的结论 N 定理3.3 离散信道输入序列, X ? ( X1, X 2 ,...X N ) N Y ? (Y1 , Y2 ,... YN ) ,信道转移概率 pN ( y | x) 输出序列 ,有 N (1)如果信道无记忆 I ( X N ; Y N ) ? ? I ( X i ; Yi )
i ?1

(2)如果信道输入序列无记忆, I ( X N ; Y N ) ? ? I ( X i ; Yi )
i ?1

N

(3)上述两者均无记忆 I ( X N ; Y N ) ? ? I ( X i ; Yi )
i ?1

N

Xi与Yi表示随即序列X,Y中第i个分量

证明H (Y | X ) ? H (Y1Y2 ...YN | X 1 X 2 ...X N )
N N

? H (Y1 | X 1 X 2 ...X N ) ? H (Y2 | X 1 X 2 ...X N Y1 ) ? ... ? H (YN | X 1 X 2 ...X N Y1Y2 ...YN ?1 ) ? ? H (Yi | X i )
i ?1 N N

无记忆信道

H (Y ) ? H (Y1Y2 ...YN ) ? H (Y1 ) ? H (Y2 | Y1 ) ? ...H (YN | Y1Y2 ..YN ?1 ) ? ? H (Yi )
i ?1 N

当输入字母统计独立时,输出字 母y也统计独立,此时取等号

I ( X ; Y ) ? H (Y ) ? H (Y | X ) ? ? ( H (Yi ) ? H (Yi | X i ))
N N N N N i ?1

N

? ? I ( X i ; Yi )
i ?1

N

由信道容量定义, I ( X i ;Y i) ? Ci I ( X ; Y ) ? ? Ci
N N i ?1 N

序列单个分量传递的信道容量

两个序列的 互信息量

一般离散无记忆N次扩展信道容量

C N ? max( I ( X N ; Y N ) ? max ? I ( X i ; Yi ))
p( x) p( x) i ?1

N

? ? max( I ( X i ; Yi )) ? ? Ci
i ?1 p( x) i ?1

N

N

*稳离散无记忆N次扩展信道容量
如果
? 输入序列符号都来自集合X

? 输出序列符号都来自集合Y
? 都服从独立同一分布 ? 信道*稳

则: I ( X ; Y ) ? I ( X i ; Yi )
于是 I ( X N ; Y N ) ?
N i i

单符号* 均互信息 量

? I ( X ;Y ) ? NI ( X ;Y )
i ?1

信道输入随机序列的变量在同一信道传输,则

Ci ? C, i ? 1,2,...,N

CN ? NC
序列信道容量等于单符号信道容 量之和

例3.7 某二元离散无记忆信道转移矩阵为 ? p(0 | 0) ?1 ? p p ? 即? P?? ? p(0 | 0) p 1 ? p?

?

?

p(1 | 0)? ? p(1 | 0)?

对信道进行2次扩展,扩展后的信道转移矩阵为
? (1 ? p) 2 p(1 ? p) p(1 ? p) p2 ? ? ? 2 2 p(1 ? p) (1 ? p) p p(1 ? p)? ? Q? ? p(1 ? p) p2 (1 ? p) 2 p(1 ? p)? ? 2 2? p(1 ? p) p(1 ? p) (1 ? p) ? ? ? p ? 信道转移矩阵元素计算: p(00 | 00) ? p(0 | 0) p(0 | 0)

信道容量

C2 ? lb4 ? H ((1 ? p)2 , p(1 ? p), p(1 ? p), p 2 )

串联信道容量
X

信道1 p(y|x)

Y

信道2 p(z|xy)

Z

信道1转移矩阵P1,信道2转移矩阵P2,串联信道转移 矩阵P= P1 P2 *均互信息量
I ( X ; Z ) ? I ( X ;Y ) I ( X ; Z ) ? I (Y ; Z )

信道容量

C ? min{ C1 , C2 }

并联信道容量
X1 p(Y1|X1)

信道1
p(Y2|X2)

Y1

1、序列转移概率:
p(Y1 , Y2 ,...Ym | X 1 , X 2 ,...X m ) ? ? p(Yi | X i )
m i ?1

X2

信道2
p(Ym|Xm)

Y2

2、每个信道无记忆,总的信道 无记忆,则

Xm

? ? m I ( X ; Y ) ? ? I ( X i ; Yi )
i ?1

信道m

p( X 1 , X 2 ,...X m ) 最佳时,达信道 当输入分布 容量,类似离散无记忆序列信道


Ym

3、并联信道容量

m ? ? C ? max I ( X ; Y ) ? ? Ci i ?1

3.4 信源与信道的匹配
信息传输速率R等于信源与信宿之间的*均互信 息量

R ? I ( X ;Y )

当输入达最佳分布时,

R ? max(I ( X ; Y )) ? C
称为信源与信道达到匹配,否则信道有冗余。

定义3.5 设信道的信息传输速率为R,信道容 量为I(X,Y),信道的剩余度定义为
信道剩余度=C-I(X,Y) 而相对剩余度定义为
C ? I ( X ;Y ) I ( X ;Y ) ? 1? C C

讨论: 1、离散信道是对称的或者接*对称时,信源 输出符号分布尽可能接*信道要求的等概 率分布,实现信源、信道的匹配。采用信 源编码技术去除信源符号之间相关性,并 且经过适当的变换后达到此要求。 2、如果R<C,可以对信源输出进行适当的信 道编码,实现无误差的信息传输; 如果R>C,实现无差错信息传输是不可能 的。

3.5 连续信道及其容量
对于连续信源: 1、互信息量为信源的熵与条件熵之差 2、信道容量定义为互信息量的最大值 在形式上,连续信道的信道容量与离散信 道的信道容量是相同的。

3.5.1连续单符号加性信道
输入x(x∈R)

信道 n

输出y(y∈R)

连续单符号加性信道 单符号连续信道*均互信息量
I ( X ;Y ) ? Hc ( X ) ? Hc ( X | Y ) ? Hc (Y ) ? Hc (Y | X )

信道容量 C ? max{ X ; Y } ? max{H c (Y ) ? H c (Y | X )}
p( x) p( x)

? max H c (Y ) ? H c (n)(加性信道H c (Y | X ) ? H c (n))
p( x)

1 ? max H c (Y ) - log(2?e? 2 )(噪声n ~ N (0, ? 2 )) p( x) 2

根据限*均功率最大熵定理,
当y ~ N (0, P)时,H c (Y )最大

输入X与噪声n相互独立,有x=y-n 假设 x ~ N (u x , S )
2

x ~ N (0, P ? ? ) 时, 由高斯分布性质,当 信道容量 1 1 1 P 1 S 2 C ? log( 2?eP ) ? (log 2?e? ) ? log( 2?e 2 ) ? log[ 2?e(1 ? 2 )] 2 2 2 ? 2 ?
噪声

信噪功 率比

n ~ N (0,? )
2

的加性噪声信道容量的上、下界

1 S 1 2?e(1 ? 2 ) ? C ? log( 2?eP ) ? H c (n) 2 ? 2

3.5.2多维无记忆加性连续信道
输入序列x 噪声n,均值0的高斯序列 加性信道 输入序列y y ? ( y1, y2 ,...yN ) ?

x ? ( x1, x2 ,...xN )
输入、输 出信号是 幅度连续、 时间离散
x1

n ? (n1, n2 ,...nN )
n1 n2

y1=x1+n1

x2

y2=x2+n2


xN nN

yN=xN+nN

多维无记忆加性噪声信道等价于N个独立并联加性信道

信道无记忆,有
N ? ? p( y | x ) ? ? p( yi | xi ) i ?1

因为是加性信道
N N ? p(n) ? ? p( yi | xi ) ? ? p(ni ) i ?1 i ?1

噪声分量 输入分量

ni ~ N (0,? ),? ? pni
2 i 2 i

xi ~ N (0, psi )

N ? ? Psi 1 N 因 I ( X ; Y ) ? ? I ( X i ; Yi ) ? ? log(1 ? ) 2 i ?1 Pni i ?1 ? ? 1 N Psi I ( X ; Y ) ? ? log(1 ? ) 多维无记忆加性信道容量 C ? max p( x) 2 i ?1 Pni

1、当各时刻噪声相同分布 ni ~ N (0, Pn ) 输入同分布
xi ~ N (0, Ps )

信道容量 C ? 1

2、当各时刻噪声、输入不同分布 约束条件

Ps log(1 ? ) ? 2 i ?1 Pn
C ? max I ( X ; Y )
p( x)

N

?P
i ?1

N

si

?P



N Psi 1 N 作辅助函数 F ( Ps1 , Ps 2 ,...PsN ) ? ? log(1 ? ) ? ? ? Psi 2 i ?1 Pni i ?1

对Psi(i=0,1,…N)求偏导,令其为0,



1 Psi ? Pni ? ?? 2?
? ( ? ? P ) ? ni ? P i ?1
N

某时刻噪声、 信号功率和

N

由约束条件,得

求出 ?

(? ? Pni ) ? 1 信道容量为 C ? ? (1 ? ) Pni i ?1 2


? ? Pni

,该信道不分配能量 ,该信道分配能量,分配到 ? ? Pni

当 ? ?P ni



例3.8 各时刻 i ? 1,2,...10 ,对应噪声为均值为0, 方差为

Pn1 ? 0.1, Pn2 ? 0.2, Pn3 ? 0.3, Pn4 ? 0.4, Pn5 ? 0.5 Pn6 ? 0.6, Pn7 ? 0.7, Pn8 ? 0.8, Pn9 ? 0.9, Pn10 ? 1.0
输入X满足 xi ~ N (0, P ,各分量统计独立,并满 ni ) 足

?P
i ?1

10

si

?1

求信道容量。 先由约束条件,求得 ? ? 0.65 此时 关闭信道7~10,N=6,求得

? ? 0.5 此时

P s6 ? 0

关闭信道6,N=5,得 ?

? 0.5

P s5 ? 0

关闭信道5,N=4, 各信道分得功率大于0。
信道容量 C ? ? 1 (1 ? Psi ) =2.35比特/自由度
功率
i ?1 4

2

?
Ps1 Ps 2 Ps 3

P ni

Ps 4

注水法功率分配
? 12
2 ?2

? 32

2 ?4

3.5.3加性高斯白噪声信道(AWGN) 对波形信道作以下限制:
? 输入、输出是*稳随机过程 ? 限频F、限时T

在时间上离散为: 输入 X ? ( X1, X 2 ,..., X N ) 波形信道*均互信息量

输出 Y ? (Y1 , Y2 ,...,YN )

I [ x(t ), y (t )] ? lim I ( X ; Y )
N ??

? lim [ H c ( X ) ? H c ( X | Y )
N ?? N ??

? lim [ H c (Y ) ? H c (Y | X )

3.5.3波形信道容量 单位时间信息传输率
1 Rt ? lim I ( X ; Y ) T ?? T

信道容量

1 Ct ? max [ lim I ( X ; Y )] p ( x ) T ?? T

噪声 N (0, N 0 ) ,方差即噪声功率,双边功率谱密度 取 N0
2

序列长度 N ? 2WT (T时间内取N个样本,单位时间有2W个样本)

波形信道转换为多维无记忆高斯加性信道,有下式:
Psi 1 N C ? ? log(1 ? ) ? log(1 ? 2W ) N0 2 i ?1 Pni 2 2 P ? WT log(1 ? s ) N 0W
N

PS

Ps Psi ? 2W
P ni

:每个信号样本*均功率

信噪比 SNR 香农公式 比特/秒

N0 ? :每个噪声分量的功率 2

Ps C 波形信道容量 Ct ? lim ? W log(1 ? ) T ?? T N 0W

W:信号带宽(Hz),Ps:输入信号*均功率(w),N0:噪声功率谱密度(w/Hz)

例 电话信道带宽3.3KHz,若信噪功率比为20dB, 即SNR=100,运用香农公式,该信道容量为

Ct ? W log(1 ? SNR) ? 3.3lb(1 ? 100) ? 33Kbit / s
实际信道传输率19.2Kbit/s,因为考虑了串音、 回波等干扰。

关于香农公式的讨论:

1、带宽W一定,SNR增大, 信道容量增大,增大到一定 程度趋缓;降低噪声N0也有 效。 N0趋于0,Ct趋于无穷。 2、Ps一定,增大W,容量可 以增加,增大到一定程度趋 缓;因为噪声N0W也增加。 W趋于0,Ct趋于无穷。 3、 Ct一定,W增大,SNR可 以降低。

信道容量与信噪比 的关系

香农限:

频带利用率和信噪比的关系

香农限:-1.6dB,传输 1bit信息,信噪比所 需的最小值
是一切编码方式所能 达到的理论极限。

W ? ?, Ct ? C? ln(1 ? x) ? x( x很小) PS WN 0 PS C? ? lim Ct ? lim log(1 ? ) W ?? W ?? N N 0W 0 P S
1 PS ? lim log(1 ? x) x W ?? N 0 1 PS ? lim ln(1 ? x) x W ?? N ln 2 0

关于dB的换算:
10log(信号功率/噪声 功率)

比如:信噪比为1000, ? PS bit / s N 0 ln 2 换算为dB为:
10*3=30dB

C? ? 1bit / s,

PS

N0

? ln 2 ? ?1.6dB

功率谱密度
1、功率谱密度是一个用于信号的通用概念, 它表示每赫兹的功率。 2、功率谱就是信号的能量*德实姆植迹 始至终是守恒的。 显然,单边功率谱密度的频宽是双边功 率谱密度的二分之一,如果需要保持能量 守恒,就需要使单边功率谱密度是双边功 率谱密度的二倍。 以高斯白噪声为例,设其功率谱为N0/2, 则其单边功率谱密度为N0 。

双边功率谱密度,单边功率谱密度
1、单边功率谱密度(N0)主要用在复数信号中, 双边功率谱密度(N0/2)主要用在实信号中。 2、单边功率谱适于基带分析,在基带中是0 中频,所以对于负频率中的另一半功率谱 就不用考虑了。但是如果信号通过了调制, 将原中频搬移到了高频段,原来的负频部 分就成了正频,利用双边功率谱进行分析。

双边功率谱密度、单边功率谱密度
图示:

定义长度为T的能量信号S(t),其傅立叶变换存在 且为s(f),则根据Parseval定理,有

E??

T /2

?T / 2

S (t )dt ? ? | s ( f ) | df
2 2 ??

?

公式的本质是信号在时域和频域的能量守恒,如 果求功率的话,就除以T,然后T趋于无穷,就得 到功率谱密度。 注意到频域的积分区域是(-R,+R),包括正负频率, 故称双边功率谱密度。 但实际信号不存在负频率,分析实信号,要把负 频率的那边功率折到正频率那边,所以,双边 功率谱密度是单边功率谱密度的一般。




友情链接: 时尚网 总结汇报 幼儿教育 小学教育 初中学习资料网