熵的概念及意义（信息熵）

今天之间网归一为大家解答以上的问题。熵的概念及意义，信息熵相信很多小伙伴还不知道,现在让我们一起来看看吧！

1、信息是个很抽象的概念。

2、人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。

3、比如一本五十万字的中文书到底有多少信息量。

4、　　直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。

5、信息熵这个词是C．E．香农从热力学中借用过来的。

6、热力学中的热熵是表示分子状态混乱程度的物理量。

7、香农用信息熵的概念来描述信源的不确定度。

8、　　信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。

9、　　信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。

10、　　Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。

本文就为大家分享到这里，希望大家看了会喜欢。