本书按照教学目标、教学要求、教学内容的格式进行编写，以叙事、问题的方式展开，改变工科教材艰深古板的固有面貌，具有较强亲和力，使学生初次翻阅就对其产生浓厚兴趣，不会因其理论的抽象而产生敬畏之感；本书重点围绕离散随机变量（过程）介绍信息论的基本知识，主线明晰，增强了教材的可读性；考虑到信息论的介绍离不开概率论和数理统计知识，本书弱化了数学证明，强化了来龙去脉的讲授，使之显得通俗易懂，同时又给学有余力者留下充足的探求空间。

本书以离散随机变量（过程）为出发点进行展开，力求以亲切易读的面貌，帮助初学者熟悉必要的理论知识，掌握其思想方法，了解其应用前景，为后续课程和进一步深入学习打下坚实基础。

本书从离散概率入手，对离散信息论的基本知识进行了介绍，主要内容包括：绪论，离散信息的度量，数据压缩，离散信源，数据纠错，离散信道，数据保密，算法信息论与通用信源编码，微分熵与最大熵原理。为拓宽读者视野，培养学习兴趣，提高人文素养，本书融入了一些历史知识，还补充了信息论实验内容。

本书可供信息安全、信息与计算科学、计算机科学与技术等本科专业的高年级学生使用，也可供从事相关专业的教学、科研和工程技术人员参考。

第1章 绪论

 1.1 基本概念

1.1.1 信息的含义

1.1.2 信息的表达

1.1.3 信息的处理

 1.2 信息论概览

1.2.1 Shannon与信息论

1.2.2 通信系统的数学模型

 本章小结

 习题

第2章 离散信息的度量

 2.1 基本概念

2.1.1 离散熵的定义

2.1.2 联合熵与条件熵

2.1.3 相对熵与互信息

 2.2 离散熵的性质

2.2.1 离散熵的基本性质

2.2.2 链式法则

2.2.3 有关离散熵的不等式

 2.3 离散熵的形式唯一性

 本章小结

 习题

第3章 数据压缩

 3.1 基本概念

3.1.1 语言与编码

3.1.2 唯一可译码

3.1.3 即时码与前缀码

 3.2 数据压缩的性质

3.2.1 前缀码的码长约束

3.2.2 唯一可译码的码长约束

3.2.3 最佳码

 3.3 典型编码

3.3.1 Huffman编码

3.3.2 Fano编码

3.3.3 Shanno-Fano-Elias

编码

 本章小结

 习题

第4章 离散信源

 4.1 基本概念

4.1.1 离散信源模型

4.1.2 Markov信源

4.1.3 Markov链

 4.2 信源编码

4.2.1 随机变量扩展

4.2.2 变长信源编码定理

4.2.3 熵率

 4.3 渐近均分性

4.3.1 典型集

4.3.2 信源编码定理

 本章小结

 习题

第5章 数据纠错

 5.1 基本概念

5.1.1 离散信道模型

5.1.2 典型信道

5.1.3 信道扩展

 5.2 信道纠错

5.2.1 译码准则

5.2.2 错误概率估计

5.2.3 分组码

 5.3 线性分组码

5.3.1 码字距离

5.3.2 纠错能力

5.3.3 Hamrning码

 本章小结

 习题

第6章 离散信道

 6.1 基本概念

6.1.1 互信息

6.1.2 特殊信道的容量

6.1.3 一般信道的容量

 6.2 数据处理

6.2.1 码率

6.2.2 数据处理不等式

6.2.3 信源信道定理

 6.3 信道编码

6.3.1 联合典型集

6.3.2 信道编码定理

6.3.3 信道编码逆定理

 本章小结

 习题

第7章 数据保密

 7.1 信息的保密传输

7.1.1 密码学简介

7.1.2 保密系统模型

7.1.3 几种典型的密码体制

 7.2 密码体制的信息论分析

7.2.1 完全保密性

7.2.2 唯一解距离

 本章小结

 习题

第8章 算法信息论与通用信源编码

 8.1 基本概念

8.1.1 统计编码

8.1.2 自适应编码

 8.2 描述复杂性

8.2.1 Kolmogorov复杂度

8.2.2 通用概率

 8.3 通用信源编码

8.3.1 算术编码

8.3.2 字典方法

 本章小结

 习题

第9章 微分熵与最大熵原理

 9.1 基本概念

9.1.1 微分熵

9.1.2 信息不等式

 9.2 信息量最大化

9.2.1 最大熵问题

9.2.2 最大熵分布

 本章小结

 习题

信息论实验

参考文献