研究信息如何度量、编码和传输的数学理论。1948年，贝尔实验室的香农以“比特”为单位度量信息，并证明有噪声的信道也能以任意小的差错传送消息。
通信的基本问题，是在一处精确地或近似地复现在另一处选出的消息。消息常常带有意义……通信的这些语义方面与工程问题无关。
—— 香农《通信的数学理论》引言第二段，《贝尔系统技术期刊》第27卷（1948年7月）
历史
所谓信息论，研究消息怎样被度量、编码，并经由有噪声的信道传送。它直接出自电报和电话工程，1924年奈奎斯特讨论电报的传信速度，1928年哈特利提出用可能消息数的对数度量信息量，两文都发表在《贝尔系统技术期刊》上。克劳德·香农1937年在麻省理工学院的硕士论文中，用布尔代数分析继电器开关电路；二战期间他在贝尔实验室从事密码学和火炮控制研究。1948年7月和10月，他在同一期刊上分两期发表《通信的数学理论》，把通信系统拆分为信源、发送器、信道、噪声源、接收器和信宿，用H＝−Σp log p度量信源的信息量，指出其形式与统计力学中的熵相同，并以2为对数的底，把单位称作“比特”，注明此词出自同事图基的建议。他定义了信道容量，并证明只要信息率低于容量，就存在使差错率任意小的编码方法。同年，维纳出版《控制论》。1949年，此文与韦弗的导读合为一书出版，书名中的不定冠词A改成了定冠词The。至于为H取名“熵”，据迈伦·特里布斯后来的转述，是冯·诺伊曼的建议，此说别无旁证。
关联
参考文献
- Claude E. Shannon，A Mathematical Theory of Communication (Bell System Technical Journal 27)（1948）
- Claude E. Shannon, Warren Weaver，The Mathematical Theory of Communication（1949）
- James Gleick，The Information: A History, a Theory, a Flood（2011）
- Ronald R. Kline，The Cybernetics Moment: Or Why We Call Our Age the Information Age（2015）
考据说明证据较充分
- “熵”这一名称出自冯·诺伊曼建议的说法，只有特里布斯的转述为据。
- “比特”一词由图基首创，但具体时间说法不一。
- 香农熵与热力学熵是否同一，仍有争论。
史论
信息论的关键一步，是把信息与意义分开。香农明言语义与工程问题无关，信息量只取决于一条消息在所有可能消息中被选中的概率，这使同一套数学能处理电报、电话、电视以至后来的数字存储。这种抽象有它的代价，韦弗在1949年的导读中区分了技术、语义和效果三个层次，承认香农只回答了第一层；此后“信息”一词被生物学、心理学和社会科学大量借用，三个层次常被混为一谈。它与热力学的关系也有两种看法，一种认为香农熵与物理学的熵只是数学形式相同，另一种以麦克斯韦妖等思想实验为据，认为获取和擦除信息有其物理代价。信息论与电子计算机出现在同一个十年，比特成为计算与通信共用的基本单位，“数字化”由此有了统一的度量。