信息论的产生与发展

信息论是研究信息的本质，并用数学的方法研究信息的计量，传递、变换和储存的一门新兴学科。

信息论的创始人是美国贝尔电话研究所的数学家申农。早在三十年代，申农就以布尔代数在逻辑开关电路中的应用为题，写下硕士论文。1948年他在《贝尔系统技术杂志》上发表题为《通信的数学理论》的论文，从理论上阐述了信源、信宿、信道和编码等有关通讯方面的一些基本问题。申农关于信息论的创造性思想是建立在前人研究成果的基础上的。1922年卡松就提出了边带问题理论，指出了信号在编码过程中频谱层宽的信号保护法则，而后美国的奈奎斯特和德国的开夫曼尔也一致认为一定速率的电报信号的传送要求与一定的带宽相适应，并试图用数学公式加以描述。此外，苏联的戈尔莫戈洛夫的《在无噪声情况下预测信号》一文，着重研究了接收信号问题。美国统计学家费希尔则从古典统计理论角度研究信息理论。控制论的创始人美国科学家维纳对信息作出解释，建立了著名的维纳滤波理论和信息预测理论，阐明了信息定量化的原则和方法，并提出度量信息量的数学公式。在六十年代，人们对信息进行了消化和理解，并把信息论分成三种不同类型；即广义信息论；狭义信息论；一般信息论，七十年代以来信息论已经突破了申农的狭义信息论的范围，信息论已涉及到系统论、控制论，应用数学，电子计算技术、仿生学、语言学、逻辑学、生物学、生理学、心理学、管理学等学科的问题，而成为一门多学科的具有综合性特点的横向学科。