本书共11章，主要内容包括深度学习简介、Python基础、神经网络基础、卷积神经网络、经典卷积网络结构、迁移学习、循环神经网络、强化学习、深度强化学习、基于策略的算法更新与趋势等，通过具体案例，将Python语言、深度学习思想、强化学习思想和实际工程完美地结合起来。本书由浅入深，从易到难，各章节既相对独立又前后关联，其优选的特点就是打破了传统书籍的讲解方法，在介绍各部分理论基础的同时，搭配具体实例，通过对相关程序的详细讲解进一步加深对理论基础的理解。

高敬鹏，博士学历，硕士生导师，2002年至今，任职于哈尔滨工程大学信息与通信工程学院。研究方向主要包括人工智能、机器学习、图像处理、信号检测、目标识别、现代通信技术与电子系统等；先后参与多项国防预研、国家省部级科学基金、横向科研和教改等项目，其中主持科研项目6项，参与科研项目10余项；授权发明2项，受理发明10余项，软件著作权2项，实用新型2项；发表学术论文20余篇，合著专著1部，主编教材7部；2014年获中国高等教育学会等主办的“第三届高等学校自制实验教学仪器设备评选”全国一等奖1项；2017获黑龙江省高等教育教学成果二等奖1项；2018年获中国高等教育学会主办的“全国高校教师教学创新大赛”全国三等奖1项。

前言
章 深度学习简介
1.1 机器学习与深度学习
1.2 TensorFlow概述
1.3 环境搭建
1.3.1 在Windows系统下安装Anaconda
1.3.2 在Anaconda下安装TensorFlow与Keras
1.3.3 Spyder编辑器
第2章 Python基础
2.1 数据类型
2.1.1 数值类型
2.1.2 字符串类型
2.1.3 布尔类型
2.2 变量与常量
2.3 运算符
2.3.1 运算符概述
2.3.2 运算符优先级
2.4 选择与循环
2.4.1 if语句
2.4.2 while循环
2.4.3 for循环
2.4.4 break和continue
2.5 列表与元组
2.5.1 创建
2.5.2 查询
2.5.3 修改
2.5.4 删除
2.6 字典
2.6.1 字典的创建
2.6.2 字典的常规操作
2.6.3 字典的遍历
2.7 函数
2.7.1 函数的定义与调用
2.7.2 参数传递
2.8 面向对象编程
2.8.1 类与对象
2.8.2 继承与多态
2.9 思考与练习
第3章 神经网络基础
3.1 单层神经网络
3.2 多层神经网络
3.2.1 隐藏层
3.2.2 输入层与输出层
3.3 激活函数
3.3.1 Sigmoid函数
3.3.2 Tanh函数
3.3.3 Relu函数
3.3.4 Softmax函数
3.4 神经网络工作过程
3.5 损失函数
3.5.1 均方差函数
3.5.2 交叉熵函数
3.6 优化算法
3.7 反向传播
3.8 泛化能力
3.9 多层感知器
3.10 MNIST数据集
3.10.1 下载MNIST数据集
3.10.2 数据预处理
3.11 Keras实现感知器的手写体识别
3.11.1 单层感知器手写体识别
3.11.2 多层感知器手写体识别
3.12 思考与练习
第4章 卷积神经网络
4.1 卷积神经网络结构及原理
4.1.1 卷积神经网络特点
4.1.2 卷积层
4.1.3 池化层
4.1.4 全连接层
4.2 卷积神经网络工作过程
4.3 简单卷积神经网络实现MNIST分类
4.3.1 MNIST数据集预处理
4.3.2 简单卷积神经网络搭建
4.4 CIFAR-10数据集
4.4.1 下载CIFAR-10数据集
4.4.2 CIFAR-10数据集预处理
4.5 简单卷积神经网络实现CIFAR-10分类
4.6 思考与练习
第5章 经典卷积网络结构
5.1 LeNet概述
5.2 LeNet实现MNIST分类
5.2.1 MNIST数据预处理
5.2.2 基于Keras搭建LeNet网络结构
5.2.3 对LeNet网络模型进行编译、训练、评估与预测
5.3 AlexNet概述
5.4 AlexNet实现MNIST分类
5.4.1 基于Keras搭建AlexNet网络结构
5.4.2 对AlexNet网络模型进行编译、训练、评估与预测
5.5 VGG16概述
5.6 VGG16实现MNIST分类
5.6.1 基于Keras搭建VGG16网络结构
5.6.2 对VGG16网络模型进行评估与预测
5.7 思考与练习
第6章 经典卷积网络结构进阶
6.1 GoogLeNet概述
6.2 GoogLeNet实现MNIST分类
6.2.1 基于Keras搭建GoogLeNet网络结构
6.2.2 对GoogLeNet进行训练、评估与预测
6.3 ResNet概述
6.4 ResNet50实现MNIST分类
6.4.1 基于Keras搭建ResNet50网络结构
6.4.2 对ResNet50网络模型进行训练、评估与预测
6.5 思考与练习
第7章 迁移学习
7.1 基于卷积网络实现迁移学习
7.2 InceptionV3实现迁移学习
7.3 Xception实现迁移学习
7.4 MobileNet实现迁移学习
7.5 简单卷积网络实现迁移学习
7.6 思考与练习
第8章 循环神经网络
8.1 循环神经网络概述
8.2 长短期记忆网络
8.2.1 LSTM前向传播
8.2.2 LSTM反向传播
8.3 Reuters数据集
8.3.1 Reuters数据集概述
8.3.2 文本信息预处理
8.4 简单RNN实现Reuters分类
8.5 LSTM实现Reuters分类
8.6 思考与练习
第9章 强化学习
9.1 初识强化学习
9.1.1 什么是强化学习
9.1.2 强化学习能解决什么类型的问题
9.1.3 强化学习如何解决问题
9.2 强化学习理论基础
9.2.1 基本组成元素
9.2.2 基本模型
9.2.3 价值函数
9.3 求解强化学习——有模型
9.3.1 动态规划与贝尔曼方程
9.3.2 策略迭代
9.3.3 值迭代
9.3.4 值迭代算法实现格子世界
9.4 求解强化学习——无模型
9.4.1 蒙特卡罗算法
9.4.2 时间差分法
9.4.3 Q-learning算法
9.4.4 Q-learning实现格子世界
9.5 思考与练习
0章 深度强化学习
10.1 深度强化学习框架
10.2 TensorFlow编程
10.2.1 TensorFlow的计算模型——计算图
10.2.2 TensorFlow的数据模型——张量
10.2.3 TensorFlow的运行模型——会话
10.2.4 TensorFlow变量
10.2.5 TensorFlow共享变量
10.3 Gym的安装及使用
10.3.1 Gym的安装
10.3.2 Gym的使用
10.4 基于值的算法更新
10.4.1 Q-learning实现
10.4.2 DQN算法原理
10.4.3 DQN算法实现
10.4.4 DDQN算法原理
10.4.5 DDQN算法实现
10.5 思考与练习
1章 基于策略的算法更新与趋势
11.1 策略梯度法
11.1.1 策略目标函数
11.1.2 策略梯度定理
11.1.3 策略梯度算法实现
11.2 演员–评论家算法
11.2.1 演员–评论家算法原理
11.2.2 演员–评论家算法实现
11.3 优势演员–评论家算法
11.3.1 优势演员–评论家算法原理
11.3.2 优势演员–评论家算法实现
11.4 异步优势演员–评论家算法
11.4.1 异步优势演员–评论家算法原理
11.4.2 异步优势演员–评论家算法实现
11.5 深度强化学习的发展趋势
11.6 思考与练习