熵与信息思维导图

《辞海》对信息的定义：“信息是指对消息接收者来说预先不知道的报导。”

事实上，信息已成为现代科学技术普遍使用的一个概念。作为日常用语，指音信、消息；作为科学技术用语，可以简单地理解为消息的接受者预先不知道的报导；作为一个社会概念，信息则是指人类共享的一切知识，或从社会发展趋势以及客观现象中提炼出来的各种信息之总和。

信息是日常生活的常见现象，是事物表现的一种普遍形式。一切事物都会发出信息，因此说，信息无时不在，无处不有。人类生活在千变万化的信息之中，因此必须拥有足够的信息，才能有效地工作和生活。

信息论中的信息是上述各种信息的抽象化和定量化，它同任何意义无关，已不存在诸如有意义或无意义、有无目的等概念。对这种信息的度量，导致了信息熵概念的建立。

信息熵是对信息的量度有关概念：随机事件—事先不能完全肯定的事件。

几率—对随机事件结果的可能性的定量估计。

C.E.shannon引入不确定程度H—如果一个事件（如收到一个信号）有N个等可能性的结局，那么结局未出现前的不确定程度H与N的对数成正比，即 （C为常数）

C.E.Shannon把不确定度称为信息熵。

信息熵是对信息的量度对N个结局出现机会并不相等的情况：设有A1，A2，…An共N个可能结局，而每个结局出现几率分别为P1，P2…，Pn，且有 .那么，其不确定程度H为它的某一结局所具有的不确定性

而整个系统的各个结局所具有的平均不确定性的数学期望为信息熵是对信息的量度信息熵概念的建立，为测度信息的多少找到了一个统一的科学的定量计量方法，从而奠定了信息论的基础。

值得指出：信息熵概念的建立，使人们加深了对热力学熵的认识，因为这里引入的信息熵概念，它既不与热力学过程相联系，也不与分子运动相联系，但信息熵与热力学熵有密切关系。

信息熵是对信息的量度从以下的推导中可以看到：设系统的总粒子数为N，它们可以分布在E1，E2…Ei…Em共m个能级上，每个能级上的粒子数分别是N1，N2…Ni…Nm ，则N个粒子在m个能级上的分配数，即系统的微观态数W为：