信息论在人工智能方面应用
香农三大定理与新社会人工智能发展的羁绊：克劳德·艾尔伍德·香农(ClaudeElwoodShannon，1916年4月30日-2001年2月24日)是美国数学家、信息论的创始人。1936年获得密歇根大学学士学位。1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。
香农提出了信息熵的概念，为信息论和数字通信奠定了基础。
主要论文有:1938年的硕士论文《ASymbolicAnalysisofRelayandSwitchingCircuits》，1948年的《通讯的数学原理》和1949年的《噪声下的通信》。
信息论概述
信息论是运用概率论与数理统计的方法研究信息传输和信息处理系统中一般规律的新兴学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。
信息论作为一门科学理论，发端于通信工程。它具有广义和狭义两个概念：
狭义信息论是应用统计方法研究通讯系统中信息传递和信息处理的共同规律的科学，即研究概率性语法信息的科学；
广义信息论是应用数学和其他有关科学方法研究一切现实系统中信息传递和处理、信息识别和利用的共同规律的科学，即研究语法信息、语义信息和语用信息的科学。
信息是事物及其属性标识的集合
信息就是信息，信息是物质、能量、信息及其属性的标示。
信息是确定性的增加。即肯定性的确认。
信息论形成和发展人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论作出很大贡献。1948年，美国数学家C.E.香农(被称为是“信息论之父”)出版《通信的数学理论》，1949年发表《噪声中的通信》，从而奠定了信息论的基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做信息科学。信息科学是由信息论、控制论、计算机、人工智能和系统论等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立，将为科学技术的发展作出贡献。
信息论的应用信息论的意义和应用范围已超出通信的领域。自然界和社会中有许多现象和问题，如生物神经的感知系统、遗传信息的传递等，均与信息论中研究的信息传输和信息处理系统相类似。因此信息论的思想对许多学科如物理学、生物学、遗传学、控制论、计算机科学、数理统计学、语言学、心理学、教育学、经济管理、保密学研究等都有一定的影响和作用。另一方面，由于借助负熵定义的信息量只能反映符号出现的概率分布（不肯定性），不能反映信息的语义和语用层次。一篇重要的报告和一篇胡说乱道的文章可以具有同样的信息，这显然不符合常识。因此现阶段信息论的应用又有很大的局限性。把信息的度量推广到适合于语义信息和语用信息的情况，曾经做过许多尝试。但至今还没有显著的进展。
香农第一定理(可变长无失真信源编码定理)
设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为B=PK1B1+PK2B2+…+PKN^kBN^k当K趋于无限大时，B和信息量H(X)之间的关系为B/k=H(X)(K趋近无穷）
香农第一定理又称为无失真信源编码定理或变长码信源编码定理。
香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。
香农第一定律讲的是，对于信源发出的所有信息涉及一个编码，一定存在一种编码方式，使得编码的平均长度无限接近与它的信息熵
举例说明：比如对汉字编码，有些字用的多，有些字用的少，因此可以把常用字的编码做的短些，生僻字的编码做的长些，但是无论怎么做，编码的平均长度一定会超过汉字的不确定性，即他们的信息熵。
这是香农第一定律的第一层意思。
它的第二层意思是一定存在一种（最优）编码方法，使得每个汉字的平均编码长度可以非常接近它的不确定性（信息熵）。至于怎么做，霍夫曼给出了一个非常简单的方法--只要把最短的编码分配给最常见的汉字即可。这种编码方法具有通用性，又称霍夫曼编码。
在计算机数据处理中，霍夫曼编码使用变长编码表对源符号（如文件中的一个字母）进行编码，其中变长编码表是通过一种评估来源符号出现机率的方法得到的，出现机率高的字母使用较短的编码，反之出现机率低的则使用较长的编码，这便使编码之后的字符串的平均长度、期望值降低，从而达到无损压缩数据的目的。
可以认为是对香农第一定律的补充。
香农第二定理（有噪信道编码定理）当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率R