随着我国逐步由信息化社会向智能化社会发展，人工智能技术作为智能社会的重要组成部分，备受关注。从智能语音助手到自动驾驶汽车，从智能医疗到智能家居，人工智能技术正在改变着我们的生活方式。深度学习方法作为实现人工智能的重要手段，无论在图像理解、语音识别、自然语言处理等领域都展现出了超越传统算法的实力。因此，人工智能、机器人工程、智能科学与技术等新工科专业将其列为必修课程，以便学生们能够掌握到这一前沿技术的核心知识和技能。而自动化、计算机科学与技术等传统专业也将其列为专业选修课程，以便学生们能够扩展自己的知识领域和提升自身的竞争力。
本书是一本全面介绍深度学习常见理论模型与算法的教材，涵盖了深度学习的发展历程、基础理论、核心算法、应用领域以及相关工具。通过对常见的深度学习模型进行剖析，阐述神经网络前向计算中的数据转换原理，并细致地推导和分析了神经网络参数学习方法，从而使学生能够充分地理解神经网络的工作原理以及网络架构设计思路，以便学生在以后的科研和工作过程中，能够进行自主架构的设计，提升我国的自主创新能力。

第1章 绪论
1.1 人工神经网络发展史
1.1.1 人工神经网络的提出
1.1.2 人工神经网络的陨落
1.1.3 人工神经网络的兴起
1.1.4 深度学习的提出
1.2 人工神经网络学习机理
1.2.1 生物学机理
1.2.2 浅层学习
1.2.3 深度学习
1.2.4 特征学习
第2章 神经网络基础
2.1 概述
2.2 感知器
2.2.1 感知器学习规则
2.2.2 感知器原理
2.3 线性单元
2.4 δ学习规则
2.5 BP神经网络结构
2.5.1 BP神经网络原理
2.5.2 BP神经元偏移量
2.5.3 BP神经网络非线性表达能力
2.6 反向传播算法
2.6.1 误差项推导
2.6.2 误差反向传播算法流程
2.6.3 误差反向传播算法计算示例
2.7 梯度检查
2.8 超参数的确定
2.9 模型训练与评估
2.10 向量化编程
第3章 自编码器
3.1 自编码器原理
3.2 不同种类的自编码器
3.2.1 正则自编码器
3.2.2 稀疏自编码器
3.2.3 去噪自编码器
3.3 堆叠自编码器
3.4 预训练与深度学习
3.5 Softmax与交叉熵函数融合
3.6 深度神经网络权值初始化方法
3.6.1 Xavier初始化方法
3.6.2 Kaiming初始化方法
3.6.3 LeCun初始化方法
第4章 卷积神经网络
4.1 全连接神经网络局限性
4.2 卷积神经网络原理
4.3 卷积神经网络前向计算
4.3.1 新的激活雨数
4.3.2 卷积层
4.3.3 池化层
4.3.4 全连接层
4.4 卷积网络计算实例
4.5 卷积神经网络训练
4.5.1 池化层误差传递
4.5.2 卷积层误差传递
4.5.3 卷积层参数训练
4.5.4 卷积神经网络训练流程
4.5.5 卷积神经网络训练计算实例
4.6 深度神经网络计算模式
4.6.1 卷积计算加速
4.6.2 自动微分方法
第5章 卷积神经网络结构演化
5.1 典型的卷积神经网络
5.1.1 卷积网络加深
5.1.2 卷积网络拓宽
5.1.3 残差网络
5.2 轻量化网络
5.3 卷积操作模式设计
5.4 全卷积网络
第6章 深度残差网络
6.1 概述
6.2 残差网络结构
6.3 残差网络讨论
6.4 Highway Network
6.5 残差网络变体
6.5.1 Wide Residual Network
6.5.2 ResNeXt
6.5.3 DenseNet
6.5.4 DPN
第7章 目标检测算法
7.1 传统目标检测方法
7.2 基于深度学习的目标检测方法
7.2.1 目标检测常用技术
7.2.2 R-CNN
7.2.3 SPP-Net
7.2.4 Fast R-CNN
7.2.5 Faster R-CNN
7.2.6 YOLO
7.2.7 SSD
7.3 目标检测算法的改进
第8章 循环神经网络
8.1 循环神经网络概述
8.1.1 循环神经网络原理
8.1.2 双向循环神经网络
8.1.3 深度循环神经网络
8.1.4 典型循环神经网络结构
8.2 循环神经网络训练算法
8.2.1 BPTT训练算法
8.2.2 实时循环学习算法
8.2.3 梯度爆炸与消失问题
8.3 RNN应用
第9章 长短时记忆网络
9.1 LSTM原理
9.2 LSTM前向计算
9.3 LSTM网络训练
9.3.1 网络训练算法
9.3.2 误差项沿时间传递
9.3.3 误差项沿网络层次传递
9.4 GRU
9.4.1 GRU前向计算
9.4.2 GRU训练算法
第10章 Transformer
10.1 神经网络注意力机制
10.1.1 神经网络注意力机制原理
10.1.2 自注意力机制
10.2 Transformer模型
10.2.1 编码器模块
10.2.2 解码器模块
10.3 神经网络语言模型
10.3.1 GPT模型
10.3.2 BERT模型
10.3.3 GLM模型
第11章 生成式模型
11.1 概述
11.2 生成对抗网络
11.2.1 生成模型
11.2.2 判别模型
11.2.3 目标函数
11.2.4 典型生成对抗网络
11.3 变分自编码器
11.3.1 模型推导
11.3.2 讨论
11.3.3 VAE实现
11.4 自回归模型
11.5 扩散模型
第12章 深度学习框架
12.1 计算图
12.2 典型深度学习框架
12.2.1 国外深度学习框架
12.2.2 国内深度学习框架
参考文献