信源与信源熵思维导图
信源与信源熵知识点
树图思维导图提供 信源与信源熵思维导图 在线思维导图免费制作，点击“编辑”按钮，可对 信源与信源熵思维导图 进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：5cf027300ce0782e3e64bfc073347337
思维导图大纲
信源与信源熵思维导图模板大纲
离散信源的数学模型与分类
信源
无记忆信源
发出单个符号的无记忆信源
发出符号序列的无记忆信源
有记忆信源
发出符号序列的有记忆信源
发出符号序列的马尔可夫信源
离散有记忆信源
所发出的各个符号的概率是有关联的
离散序列无记忆信源的MATLAB建模
自信息量
定义：具有概率为p（xi）的符号xi的自信息量
I(xi）=log1/p（xi）=-logp（xi）
自信息量
1、当p（xi）=0，I（xi）=∞ 2、当p（xi）=1时，I（xi）=0 3、非负性 4、单调递减性 5、可加性
联合信息量
I（xi，yi）=log1/p（xi，yi）=-logp（xi,yi)
条件信息量
I（xi|yi)=log1/p(xi|yi)=-logp(xi|yi)
离散信源熵
信源中各个符号自信息量的数学期望
H(X,Y)=H(X)+H(Y|X) H(X,Y)=H(Y)+H(X|Y)
互信息
互信息表示了X与Y相关联的程度
H(XY)=H(X)+H(Y)-I(X;Y)=H(X)+H(Y|X)
平均互信息量
I(X;Y)=H(X)-H(X|Y)
性质：1、对称性 2、非负性 3、极值性 4、凸函数性
单符号离散信源互信息
I(xi;yi)=logp(xi|yi）/p(xi)
性质：1、对称性 2、相互独立时，互信息为0 3、互信息量可为正值或负值
条件互信息量：I（xi；yi|zk）=logp（xi|yi，zk）/p（xi|zk）
联合互信息量：I（xi；yi，zk）=logp（xi|yi，zk）/p（xi）
相对熵和熵的性质
性质：1、非负性 2、确定性 3、对称性 4、香浓辅助定理（极值性） 5、最大熵定理 6、条件熵小于无条件熵 7、扩展性 8、递增性
连续信源熵
连续信源的熵具有相对性，再取两熵之间的差时才具有信息的所有特性
波形信源熵
最大熵定理
再连续信源中，不同约束条件下，有不同的最大熵，无约束时，最大熵为无穷大
信源输出幅度受限，即限峰功率
对于定义域为有限的随机变量X，当它时均匀分布时，具有最大熵
信源输出平均功率受限，即限平均功率
对于相关矩阵一定的随机变量X，当它是正态分布时具有最大熵
冗余度
给定信源在实际发出消息时所包含的多于信息
来源
信源符号间的相关性
信源符号分布的不均匀性
信息效率
H∞（X）/Hm(X)
表示不肯定性的程度
冗余度
1-H∞（X)/Hm（X）
表示肯定性的程度
相关思维导图模板
树图思维导图提供 9.战斗的基督教 在线思维导图免费制作，点击“编辑”按钮，可对 9.战斗的基督教 进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：33d168acd0cd9f767f809c7a5df86e3a
树图思维导图提供 第六章 群体传播与组织传播_副本 在线思维导图免费制作，点击“编辑”按钮，可对 第六章 群体传播与组织传播_副本 进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：1672f555831e7d9a3bb2cf2fb792cb49
沪公网安备 31011502019485号
上海工商