作者简介
李理，毕业于北京大学，研究方向为自然语言处理，有十多年自然语言处理和人工智能研发经验，先后在去哪儿网、百度和出门问问等企业工作，从事过分布式爬虫、搜索引擎、广告系统，主持研发过多款智能硬件的问答和对话系统。现在是环信人工智能研发中心的VP，负责环信中文语义分析开放平台和环信智能机器人的设计与研发。目前他致力于语音识别、自然语言处理等人工智能技术在企业中的推广和落地，以提高企业服务的水平和效率。
目录
目录
第 1 章 人工智能的基本概念 1
1.1 人工智能的发展历史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 机器学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 常见的监督学习模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 衡量指标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.6 优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.7 过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.8 机器学习示例：线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
第 2 章 神经网络 27
2.1 手写数字识别问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 单个神经元和多层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3 用代码实战多层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4 多层神经网络构建代码解析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.5 反向传播算法的推导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.6 代码实现反向传播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.7 为什么反向传播算法是一个高效的算法 . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.8 优化技巧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
第 3 章 卷积神经网络 59
3.1 卷积神经网络简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2 局部感知域 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.3 特征映射 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.4 池化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.5 构建完整的卷积神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.6 填充和步长 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.7 CNN 识别 MNIST 手写数字 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.8 CNN 模型识别 CIFAR-10 图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.9 使用残差网络识别 MNIST 图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
第 4 章 循环神经网络 101
4.1 基本概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.2 RNN 的扩展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.3 Word Embedding 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.4 姓名分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.5 RNN 生成莎士比亚风格句子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.6 机器翻译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
4.7 汉语―英语翻译的批量训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
第 5 章 生成对抗网络 156
5.1 为什么研究生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.2 生成模型的原理以及 GAN 与其他生成模型的区别 . . . . . . . . . . . . . . . . . . . 159
5.3 GAN 的原理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.4 深度卷积生成对抗网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
5.5 反卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
5.6 DCGAN 实战 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
第 6 章 TensorFlow 196
6.1 TensorFlow 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
6.2 Opitimizer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
6.3 数据的处理和输入 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
6.4 常见网络结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
6.5 RNN 在 TensorFlow 中的实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
6.6 TensorBoard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
6.7 高层 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
6.8 调试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
6.9 TensorFlow Serving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
第 7 章 PyTorch 343
7.1 基础知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
7.2 PyTorch 神经网络简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
7.3 训练一个分类器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
7.4 使用 NumPy 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
7.5 使用 Tensor 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
7.6 使用 autograd 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
7.7 使用自定义的 ReLU 函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
7.8 和 TensorFlow 的对比 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
7.9 使用 nn 模块实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
7.10 使用 optim 包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
7.11 自定义 nn 模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
7.12 流程控制和参数共享 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
7.13 迁移学习示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
7.14 数据的加载和预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
第 8 章 Keras 393
8.1 Keras 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
8.2 Hello World . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
8.3 Sequential API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
8.4 多分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
8.5 两分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
8.6 1D 卷积进行序列分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
8.7 多层 LSTM 序列分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
8.8 有状态的 LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
8.9 Functional API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
8.10 判断两个数字是否是同一个数字 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
8.11 图片问答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
8.12 视频问答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
第 1 章 人工智能的基本概念 1
1.1 人工智能的发展历史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 机器学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 常见的监督学习模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 衡量指标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.6 优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.7 过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.8 机器学习示例：线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
第 2 章 神经网络 27
2.1 手写数字识别问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 单个神经元和多层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3 用代码实战多层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4 多层神经网络构建代码解析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.5 反向传播算法的推导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.6 代码实现反向传播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.7 为什么反向传播算法是一个高效的算法 . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.8 优化技巧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
第 3 章 卷积神经网络 59
3.1 卷积神经网络简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2 局部感知域 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.3 特征映射 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.4 池化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.5 构建完整的卷积神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.6 填充和步长 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.7 CNN 识别 MNIST 手写数字 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.8 CNN 模型识别 CIFAR-10 图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.9 使用残差网络识别 MNIST 图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
第 4 章 循环神经网络 101
4.1 基本概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.2 RNN 的扩展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.3 Word Embedding 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.4 姓名分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.5 RNN 生成莎士比亚风格句子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.6 机器翻译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
4.7 汉语―英语翻译的批量训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
第 5 章 生成对抗网络 156
5.1 为什么研究生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.2 生成模型的原理以及 GAN 与其他生成模型的区别 . . . . . . . . . . . . . . . . . . . 159
5.3 GAN 的原理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.4 深度卷积生成对抗网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
5.5 反卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
5.6 DCGAN 实战 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
第 6 章 TensorFlow 196
6.1 TensorFlow 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
6.2 Opitimizer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
6.3 数据的处理和输入 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
6.4 常见网络结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
6.5 RNN 在 TensorFlow 中的实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
6.6 TensorBoard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
6.7 高层 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
6.8 调试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
6.9 TensorFlow Serving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
第 7 章 PyTorch 343
7.1 基础知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
7.2 PyTorch 神经网络简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
7.3 训练一个分类器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
7.4 使用 NumPy 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
7.5 使用 Tensor 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
7.6 使用 autograd 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
7.7 使用自定义的 ReLU 函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
7.8 和 TensorFlow 的对比 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
7.9 使用 nn 模块实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
7.10 使用 optim 包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
7.11 自定义 nn 模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
7.12 流程控制和参数共享 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
7.13 迁移学习示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
7.14 数据的加载和预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
第 8 章 Keras 393
8.1 Keras 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
8.2 Hello World . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
8.3 Sequential API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
8.4 多分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
8.5 两分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
8.6 1D 卷积进行序列分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
8.7 多层 LSTM 序列分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
8.8 有状态的 LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
8.9 Functional API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
8.10 判断两个数字是否是同一个数字 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
8.11 图片问答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
8.12 视频问答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
内容推荐
本书不仅包含人工智能、机器学习及深度学习的基础知识，如卷积神经网络、循环神经网络、生成对抗网络等，而且也囊括了学会使用TensorFlow、PyTorch和Keras这三个主流的深度学习框架的最小知识量；不仅有针对相关理论的深入解释，而且也有实用的技巧，包括常见的优化技巧、使
- 文学欣赏新编
- 追寻教育的语言基础(一种交际民族志学视野)
- 校本管理(学校品牌的创建与运营)/校本管理研究丛书
- 当代国际中小学教育技术概论/当代国际教育发展研究丛书
- 数字社区系统工程(楼宇智能化工程专业系列教材)
- 陶艺制作与欣赏(中学生综合实践活动校本课程)
- 质量与特色--高等教育大众化中的民族院校管理研究/中国高等教育女博士后学术研究丛书
- 我是校园小记者(中学生综合实践活动校本课程)
- 成长的哲学
- 毛泽东思想和中国特色社会主义理论体系概论讲授提纲与辅导参考(高职高专版)
- 心理怎么了
- 技术分析入门的20堂试炼(原书第4版)/技术分析经典与实战丛书
- 高中思想政治学业质量评价标准
- 饭店前厅与客房管理实务(高职高专旅游与酒店管理专业应用型精品规划教材)
- 广告概论
- 爱上纸藤编织--生活中的环保艺术
- 商务谈判(第2版高职高专教育市场营销系列教材)
- 餐饮服务与管理(高职高专旅游与酒店管理专业应用型精品规划教材)
- 超级语文课堂(新课标高中语文教材经典文本解读与拓展)
- 跨媒介--港台叙事作品选读(高等学校特色专业建设点教材)/中国港澳台文学书系
- 广东省义务教育学科教学指导意见(2012年版)
- 基于脑的语文教学
- 实用生物化学实验
- 消费者行为学(第2版现代市场营销系列教材普通高等教育十一五国家级规划教材)
- 中西医结合男科学
- BlueLover蓝色妖姬QC3940摄像头驱动
- GDHCPD
- Samsung三星ProXpress M3875HD黑白多功能一体机PCL驱动
- Hanwang汉王创艺系列绘画板驱动
- Click Archive
- AOC冠捷3DGame软件
- 3D Beers of the World Screensaver
- FindRepe
- LG SmartShare智能分享软件
- EPSON爱普生WorkForce WP-4521多功能一体机驱动
- 模拟地球
- 星星猎手
- 钻石消消看
- BalanceBall
- 十万个冷笑话之哪吒篇
- 烹饪香料
- 旋风篮球小子
- 学习单词
- 桥梁大师
- 重力推阵
- 李卫当官2
- 天和局
- 杨门虎将
- 星梦缘
- 我和僵尸有个约会3
- 爱情合约
- 明末风云
- 谁为我心动
- 风云争霸
- 水兵俱乐部