信息论来源1948年香农发表论文《通信的数学理论》在噪声信道中有效传输信息对信息给予科学定量描述创造性地采用概率论方法研究通信问题给出信息定量描述奠定经典信息论基础。1949年香农发表《噪声下的通信》宣告信息论学科诞生。1959年香农提出保真度准则下的离散信源编码定理引出率失真理论、限失真信源编码定理。1.1 信息的概念1信息论的定义信息论是通信的数学理论应用近代数理统计方法研究信息的传输、存储与处理它是随着通信技术的发展而形成和发展起来的一门新兴交叉学科。2核心人物时间线①哈特莱Hartley提出信息是符号不是内容信息与消息开始得与区分。②奈奎斯特Nyquist1924年电报传输脉冲速率与信道带宽关系1928建立带限信号采样定理。③香农ClaudeElwoodShannon信息论创始人。3信息、消息、信号区分①信息包涵在消息之中消息是信息的载体。②信息是消息的表现形式消息是信息的具体内容。一句话记忆消息是载体信息是内涵消息是形式信息是内容。例收到天气预报消息是文字信息是“明天是否下雨”这件事的不确定性。例没有不确定性的消息不含信息比如“太阳从东边升起”这件事确定没有信息。4信息论解决设计如何实现信息传输信息的可靠性有效性。5噪声加性乘性6编码有效性信源编码可靠性加密编码保密性信道编码7信息的度量自信息量信息的大小用不确定性衡量不确定性越大信息量越大。概率越大信息越少。自信息量公式I(x) - log P(x)单位bit比特举例抛硬币正反面概率各0.5I-log2(0.5)1bit抛硬币得到1bit信息。0-9 十进制 91100-1 二进制 11100-9 A B C D E F 十六进制 F 1100-7八进制 71101.2 通信系统模型完整通信系统模型7个组成部分信源、编码器、调制器、信道、解调器、译码器、信宿还有噪声。通信系统框图1信源信息来源可以是人、机器、事物信源输出消息消息带有不确定性。2编码器将消息变换为符号/符号序列提高传输有效性。例字符a,b,c,d编码0,10,110,111。3调制器将编码器输出符号变换成适合信道传输的信号提高传输效率实现远距离传输把基带信号→高频载波。调制器也可以归到编码器一部分。4信道信息传输媒介。有线电缆、架空明线无线光波、无线电波。信道会引入噪声、干扰。5噪声等效为叠加在信道上是等效分析方式噪声来源于系统各处。6解调器接收端调制器逆变换信号还原成符号。7译码器接收端编码器逆变换符号还原成消息。8信宿信息接收者接收消息的人或设备。