本书是一本全面、实用、易懂的spaCy学习指南，专为对自然语言处理（NLP）感兴趣的读者设计。它以中文应用为核心，从基础概念到高级应用，逐步深入讲解spaCy这一高效的Python NLP库。书中不仅涵盖了分词、词性标注、命名实体识别等核心功能，还详细介绍了如何利用这些功能来构建强大的NLP应用。通过丰富的案例和示例代码，本书能够帮助读者快速掌握spaCy的使用方法，并将其应用于实际任务中，无论是文本分析、情感分析还是机器学习模型的构建。 对于自然语言处理的初学者来说，本书提供了一个结构化的学习方法，从最基础的NLP概念开始，逐步引导读者理解并应用spaCy库。对于开发者和数据科学家，书中的高级应用和很好实践可以帮助他们提升现有技能，解决更复杂的NLP问题。无论是想系统学习NLP还是想针对性提升特定技能，本书都是理想的选择。它不仅适合个人学习，也适合作为团队或教育机构的教学资源。通过本书的学习，读者将能够更加自信地处理各种语言数据，开发出更加智能和高效的NLP解决方案。

目 录
第 1 章 spaCy 简介 ............................................................................................ 1
1.1 自然语言处理的发展过程 ..................................................................... 1
1.2 自然语言处理的基础任务 ..................................................................... 6
1.3 spaCy 的核心概念 ................................................................................. 7
1.3.1 nlp 对象 ....................................................................................... 9
1.3.2 Doc 对象 .................................................................................... 10
1.3.3 Token 对象 ................................................................................. 12
1.3.4 Span 对象 ................................................................................... 14
1.4 spaCy 的安装方法 ............................................................................... 16
1.4.1 使用 pip 安装 ............................................................................. 16
1.4.2 使用 Conda 安装 ........................................................................ 16
1.5 spaCy 的基础操作 ............................................................................... 17
1.5.1 训练模型 ................................................................................... 17
1.5.2 预测模型 ................................................................................... 21
第 2 章 抽取语言学特征 ................................................................................... 24
2.1 基本操作 .............................................................................................. 24
2.1.1 分词 ........................................................................................... 24
2.1.2 截取词符 ................................................................................... 26
2.1.3 获取文本特征 ............................................................................ 28
spaCy 自然语言处理：从入门到进阶 VIII
2.1.4 词性标注 ................................................................................... 31
2.1.5 依存关系解析 ............................................................................ 32
2.1.6 命名实体识别 ............................................................................ 33
2.2 用已有模型预测 .................................................................................. 35
2.2.1 预测文字、词性标签和依存关系标签 ....................................... 37
2.2.2 预测命名实体识别的结果 .......................................................... 38
2.2.3 手动创建命名实体 ..................................................................... 39
2.3 基于规则的匹配器 .............................................................................. 42
2.3.1 Matcher 与正则表达式 ............................................................... 44
2.3.2 模板匹配 ................................................................................... 45
2.4 定义匹配规则 ...................................................................................... 53
2.4.1 运算符和量词 ............................................................................ 53
2.4.2 文本匹配 ................................................................................... 57
2.4.3 词性匹配 ................................................................................... 59
第 3 章 信息提取 .............................................................................................. 62
3.1 数据结构的基本概念 .......................................................................... 62
3.2 词汇表、字符串库和语素 ................................................................... 63
3.2.1 词汇表和字符串库 ..................................................................... 65
3.2.2 语素 ........................................................................................... 66
3.2.3 转换 ........................................................................................... 68
3.3 文档、截取和词符 .............................................................................. 72
3.3.1 文档及其创建 ............................................................................ 73
3.3.2 截取及其创建 ............................................................................ 76
3.3.3 词符及其创建 ............................................................................ 80
3.4 综合实践――比对相似度 ................................................................... 84
3.4.1 训练词向量 ................................................................................ 85
3.4.2 处理文本 ................................................................................... 88
3.4.3 计算相似度 ................................................................................ 89
3.5 综合实践――文本匹配 ....................................................................... 96
3.5.1 基于规则的方法 ........................................................................ 98
3.5.2 匹配不成功时的调试方法 ......................................................... 102
3.5.3 直接准确匹配字符串 ................................................................ 105
第 4 章 流程 ..................................................................................................... 109
4.1 流程组件 ............................................................................................. 109
4.1.1 流程组件的概念 ....................................................................... 109
4.1.2 流程组件的运行 ....................................................................... 111
4.1.3 流程组件的属性 ....................................................................... 112
4.1.4 流程组件的配置 ....................................................................... 113
4.1.5 流程组件的检查 ....................................................................... 114
4.2 定制化流程组件 ................................................................................. 115
4.2.1 定制化流程组件的应用 ............................................................ 116
4.2.2 定制化流程组件的应用示例 ..................................................... 117
4.2.3 用定制化流程组件打印文档的词符长度 ................................... 119
4.2.4 定制化流程组件的综合应用示例 .............................................. 121
4.3 定制化属性 ......................................................................................... 123
4.3.1 添加定制化属性 ....................................................................... 123
4.3.2 注册定制化属性 ....................................................................... 124
4.3.3 定制化属性的类别 .................................................................... 125
4.3.4 设置定制化属性 ....................................................................... 131
4.4 定制化模型组件 ................................................................................. 137
4.5 含有定制化属性的定制化流程组件 .................................................. 140
4.6 流程的优化 ......................................................................................... 142
4.6.1 流模式 ...................................................................................... 142
4.6.2 传入语境 .................................................................................. 143
4.6.3 仅使用分词器 ........................................................................... 146
4.6.4 关闭流程组件 ........................................................................... 146
4.7 处理流 ................................................................................................. 147
4.7.1 从遍历文本到遍历处理流 ......................................................... 148
4.7.2 将处理流转化为 Doc 列表 ........................................................ 149
4.7.3 处理流和模板匹配 .................................................................... 151
4.7.4 在语境中处理数据 .................................................................... 151
4.8 流程的控制 ......................................................................................... 154
4.8.1 nlp.make_doc()方法................................................................... 154
4.8.2 nlp.select_pipes()方法................................................................ 156
第 5 章 更新和训练模型 .................................................................................. 158
5.1 更新模型 ............................................................................................. 159
5.2 训练模型 ............................................................................................. 160
5.3 准备数据 ............................................................................................. 163
5.3.1 训练数据 .................................................................................. 163
5.3.2 测试数据 .................................................................................. 172
5.3.3 评估数据 .................................................................................. 173
5.4 配置和训练模型 ................................................................................. 173
5.4.1 配置文件 .................................................................................. 174
5.4.2 训练流程 .................................................................................. 180
5.4.3 读取流程 .................................................................................. 182
5.4.4 打包流程 .................................................................................. 183
5.4.5 使用流程 .................................................................................. 184
5.4.6 检测模型 .................................................................................. 185
5.5 模型训练中的问题 ............................................................................. 186
5.5.1 灾难性遗忘问题 ....................................................................... 186
5.5.2 模型不能学会所有东西 ............................................................ 187
5.6 数据标注 ............................................................................................. 188
5.7 训练多个标签 ..................................................................................... 191
5.7.1 实体的位置参数 ....................................................................... 191
5.7.2 缺失标签的训练数据 ................................................................ 192
5.7.3 加入标签的训练数据 ................................................................ 193
第 6 章 实践案例――构建对话机器人 ........................................................... 198
6.1 对话机器人 ......................................................................................... 199
6.1.1 对话机器人的概念 .................................................................... 199
6.1.2 对话机器人的功能 .................................................................... 199
6.1.3 对话机器人的工作流程 ............................................................ 200
6.1.4 对话机器人的分类 .................................................................... 201
6.1.5 对话机器人的架构方案 ............................................................ 202
6.2 对话机器人的设计 ............................................................................. 206
6.2.1 需求设计 .................................................................................. 207
6.2.2 工程设计 .................................................................................. 208
6.3 代码实现 ............................................................................................. 210
6.3.1 自然语言理解模块 .................................................................... 210
6.3.2 对话管理模块 ........................................................................... 224
6.3.3 业务动作模块 ........................................................................... 226
6.3.4 自然语言生成模块 .................................................................... 228
6.3.5 代码集成 .................................................................................. 229
第 7 章 使用大语言模型 .................................................................................. 233
7.1 大语言模型 ......................................................................................... 233
7.1.1 大语言模型的概念 .................................................................... 233
7.1.2 大语言模型的重要性 ................................................................ 234
7.2 大语言模型的工作原理 ..................................................................... 235
7.2.1 模型的训练 ............................................................................... 235
7.2.2 模型的预测 ............................................................................... 236
7.3 提示 .................................................................................................... 236
7.3.1 提示的概念 ............................................................................... 236
7.3.2 提示工程 .................................................................................. 237
spaCy 自然语言处理：从入门到进阶 XII
7.3.3 提示的实际应用 ....................................................................... 238
7.4 spaCy 和大语言模型 .......................................................................... 239
7.4.1 安装 spaCy 大语言模型支持包 ................................................. 240
7.4.2 在 spaCy 中配置大语言模型 ..................................................... 240
7.5 实际应用 ............................................................................................. 241
7.5.1 文本分类 .................................................................................. 241
7.5.2 命名实体识别 ........................................................................... 243
7.6 大语言模型的优点和缺点 .................................................................. 244
7.6.1 大语言模型的优点 .................................................................... 244
7.6.2 大语言模型的缺点 .................................................................... 245
7.7 未来趋势 ............................................................................................. 246
7.7.1 当前的研究趋势 ....................................................................... 246
7.7.2 未来可能出现的影响 ................................................................ 247