内容推荐
随着大语言模型的日益火爆，各行各业都想把AI（人工智能）接入自己的业务场景，但是只依靠语言大模型就能解决业务场景的实际需求吗？要想真正把AI 落地肯定少不了要结合自己业务场景的数据，定制AI 所承担的角色，给它配置上需要使用的工具并按照标准化的流程办事。那么这些操作就可以使用本书讲述的Agent（智能体）来实现。本书使用通俗的语言讲解智能体各核心组件的构建原理与应用流程，基于主流智能体框架（Coze、AutoGenStudio）进行案例应用实践，全流程解读如何基于实际业务场景打造专属智能体。为了使读者将Agent 应用在自己的私有化场景中进行落地应用，本书还讲解了如何微调本地大语言模型并将本地大语言模型与智能体结合，从而打造你的私有助理。
目录
目录
第1 章 Agent 架构与应用 ............................................................................................ 1
1.1 初识Agent .......................................................................................................................... 1
1.1.1 感知能力 ................................................................................................................. 2
1.1.2 思考能力 ................................................................................................................. 2
1.1.3 动作能力 ................................................................................................................. 3
1.1.4 记忆能力 ................................................................................................................. 4
1.2 Agent 框架 .......................................................................................................................... 5
1.2.1 Agent 框架理念 ...................................................................................................... 5
1.2.2 常用Agent 框架 ..................................................................................................... 6
1.3 Multi-Agent 多角色协作 .................................................................................................. 12
1.3.1 SOP 拆解 ............................................................................................................... 12
1.3.2 角色扮演 ............................................................................................................... 13
1.3.3 反馈迭代 ............................................................................................................... 13
1.3.4 监督控制 ............................................................................................................... 13
1.3.5 实例说明 ............................................................................................................... 14
1.4 Agent 应用分析 ................................................................................................................ 16
1.4.1 Agent 自身场景落地 ............................................................................................ 16
1.4.2 Agent 结合RPA 场景落地 ................................................................................... 19
1.4.3 Agent 多态具身机器人 ........................................................................................ 25
? AI Agent 应用与项目实践
第2 章 使用Coze 打造专属Agent ............................................................................ 29
2.1 Coze 平台 ......................................................................................................................... 29
2.1.1 Coze 平台的优势 .................................................................................................. 29
2.1.2 Coze 平台界面 ...................................................................................................... 30
2.1.3 Coze 平台的功能模块 .......................................................................................... 33
2.2 Agent 的实现流程 ............................................................................................................ 34
2.2.1 Agent 需求分析 .................................................................................................... 34
2.2.2 Agent 架构设计 .................................................................................................... 35
2.3 使用Coze 平台打造专属的NBA 新闻助手 .................................................................. 35
2.3.1 需求分析与设计思路制定 ................................................................................... 35
2.3.2 NBA 新闻助手的实现与测试 .............................................................................. 36
2.4 使用Coze 平台打造小红书文案助手 ............................................................................. 55
2.4.1 需求分析与设计思路制定 ................................................................................... 55
2.4.2 小红书文案助手的实现与测试 ........................................................................... 55
2.5 小结 ................................................................................................................................. 70
第3 章 打造专属领域的客服聊天机器人 .................................................................... 71
3.1 客服聊天机器人概述 ....................................................................................................... 71
3.1.1 客服聊天机器人价值简介 ................................................................................... 71
3.1.2 客服聊天机器人研发工具 ................................................................................... 72
3.2 AI 课程客服聊天机器人总体架构 ................................................................................. 74
3.2.1 前端功能设计 ....................................................................................................... 76
3.2.2 后端功能设计 ....................................................................................................... 78
3.3 AI 课程客服聊天机器人应用实例 ................................................................................. 86
第4 章 AutoGen 智能体开发框架实践 ....................................................................... 88
4.1 AutoGen 开发环境 ........................................................................................................... 89
4.1.1 Anaconda ............................................................................................................... 89
4.1.2 PyCharm ................................................................................................................ 89
4.1.3 AutoGen Studio ..................................................................................................... 89
4.2 AutoGen Studio 案例 ....................................................................................................... 91
4.2.1 案例介绍 ............................................................................................................... 91
4.2.2 AutoGen Studio 模型配置 .................................................................................... 91
4.2.3 AutoGen Studio 技能配置 .................................................................................... 95
4.2.4 AutoGen Studio 本地化配置 .............................................................................. 117
第5 章 生成式代理――以斯坦福AI 小镇为例 ......................................................... 131
5.1 生成式代理简介 ............................................................................................................ 131
5.2 斯坦福AI 小镇项目简介 .............................................................................................. 133
5.2.1 斯坦福AI 小镇项目背景 ................................................................................... 133
5.2.2 斯坦福AI 小镇设计原理 ................................................................................... 133
5.2.3 斯坦福AI 小镇典型情景 ................................................................................... 134
5.2.4 交互体验 ............................................................................................................. 135
5.2.5 技术实现 ............................................................................................................. 136
5.2.6 社会影响 ............................................................................................................. 138
5.3 斯坦福AI 小镇体验 ...................................................................................................... 139
5.3.1 资源准备 ............................................................................................................. 139
5.3.2 部署运行 ............................................................................................................. 139
5.3.3 代码解读 ............................................................................................................. 146
5.4 生成式代理的行为和交互 ............................................................................................. 155
5.4.1 模拟个体和个体间的交流 ................................................................................. 155
5.4.2 环境交互 ............................................................................................................. 157
5.4.3 示例“日常生活中的一天” .................................................................................. 158
5.4.4 自发社会行为 ..................................................................................................... 159
5.5 生成式代理架构 ............................................................................................................ 160
5.5.1 记忆和检索 ......................................................................................................... 161
5.5.2 反思 ..................................................................................................................... 163
5.5.3 计划和反应 ......................................................................................................... 165
5.6 沙盒环境实现 ................................................................................................................ 167
5.7 评估 ............................................................................................................................... 169
5.7.1 评估程序 ............................................................................................................. 169
5.7.2 条件 ..................................................................................................................... 170
5.7.3 分析 ..................................................................................................................... 171
5.7.4 结果 ..................................................................................................................... 172
5.8 生成式代理的进一步探讨 ............................................................................................. 173
第6 章 RAG检索架构分析与应用 ........................................................................... 176
6.1 RAG 架构分析 ............................................................................................................... 177
6.1.1 检索器 ................................................................................................................. 177
6.1.2 生成器 ................................................................................................................. 178
6.2 RAG 工作流程 ............................................................................................................... 178
6.2.1 数据提取 ............................................................................................................. 179
6.2.2 文本分割 ............................................................................................................. 179
6.2.3 向量化 ................................................................................................................. 180
6.2.4 数据检索 ............................................................................................................. 181
6.2.5 注入提示 ............................................................................................................. 181
6.2.6 提交给LLM ........................................................................................................ 182
6.3 RAG 与微调和提示词工程的比较 ............................................................................... 182
6.4 基于LangChain 的RAG 应用实践 .............................................................................. 183
6.4.1 基础环境准备 ..................................................................................................... 183
6.4.2 收集和加载数据 ................................................................................................. 183
6.4.3 分割原始文档 ..................................................................................................... 184
6.4.4 数据向量化后入库 ............................................................................................. 184
6.4.5 定义数据检索器 ................................................................................................. 185
6.4.6 创建提示 ............................................................................................................. 185
6.4.7 调用LLM 生成回答 ........................................................................................... 185
第7 章 RAG应用案例――使用RAG 部署本地知识库 ............................................ 188
7.1 部署本地环境及安装数据库 ......................................................................................... 191
7.1.1 在Python 环境中创建虚拟环境并安装所需的库 ............................................ 191
7.1.2 安装phidata 库 ................................................................................................... 191
7.1.3 安装和配置Ollama ............................................................................................ 192
7.1.4 基于Ollama 安装Llama 3 模型和nomic-embed-text 模型 ............................. 193
7.1.5 下载和安装Docker 并用Docker 下载向量数据库的镜像 .............................. 193
7.2 代码部分及前端展示配置 ............................................................................................. 194
7.2.1 assistant.py 代码 .................................................................................................. 194
7.2.2 app.py 代码 ......................................................................................................... 197
7.2.3 启动AI 交互页面 ............................................................................................... 203
7.2.4 前端交互功能及对应代码 ................................................................................. 204
7.3 调用云端大语言模型 ..................................................................................................... 212
7.3.1 配置大语言模型的API Key .............................................................................. 214
7.3.2 修改本地RAG 应用代码 ................................................................................... 215
7.3.3 启动并调用云端大语言模型 ............................................................................. 217
第8 章 LLM本地部署与应用 ................................................................................... 221
8.1 硬件准备 ........................................................................................................................ 221
8.2 操作系统选择 ................................................................................................................ 222
8.3 搭建环境所需组件......................................................................................................... 223
8.4 LLM 常用知识介绍 ....................................................................................................... 226
8.4.1 分类 ..................................................................................................................... 226
8.4.2 参数大小 ............................................................................................................. 226
8.4.3 训练过程 ............................................................................................................. 226
8.4.4 模型类型 ............................................................................................................. 226
8.4.5 模型开发框架 ..................................................................................................... 227
8.4.6 量化大小 ............................................................................................................. 227
8.5 量化技术 ........................................................................................................................ 228
8.6 模型选择 ........................................................................................................................ 229
8.6.1 通义千问 ............................................................................................................. 229
8.6.2 ChatGLM ............................................................................................................. 229
8.6.3 Llama ................................................................................................................... 229
8.7 模型应用实现方式......................................................................................................... 230
8.7.1 Chat ..................................................................................................................... 230
8.7.2 RAG ..................................................................................................................... 230
8.7.3 高效微调 ............................................................................................................. 230
8.8 通义千问1.5-0.5B 本地Windows 部署实践 ................................................................ 231
8.8.1 介绍 ..................................................................................................................... 231
8.8.2 环境要求 ............................................................................................................. 231
8.8.3 依赖库安装 ......................................................................................................... 232
8.8.4 快速使用 ............................................................................................................. 233
8.8.5 量化 ..................................................................................................................... 235
8.9 基于LM Studio 和AutoGen Studio 使用通义千问 ..................................................... 235
8.9.1 LM Studio 介绍 ................................................................................................... 235
8.9.2 AutoGen Studio 介绍 .......................................................................................... 235
8.9.3 LM Studio 的使用 ............................................................................................... 236
8.9.4 在LM Studio 上启动模型的推理服务 .............................................................. 238
8.9.5 启动AutoGen Studio 服务 ................................................................................. 239
8.9.6 进入AutoGen Studio 界面 ................................................................................. 239
8.9.7 使用AutoGen Studio 配置大语言模型服务 ..................................................... 240
8.9.8 把Agent 中的模型置换成通义千问 .................................................................. 241
8.9.9 运行并测试Agent .............................................................................................. 242
第9 章 LLM与LoRA 微调策略解读 ........................................................................ 244
9.1 LoRA 技术 ..................................................................................................................... 244
9.1.1 LoRA 简介 .......................................................................................................... 244
9.1.2 LoRA 工作原理 .................................................................................................. 246
9.1.3 LoRA 在大语言模型中的应用 .......................................................................... 246
9.1.4 实施方案 ............................................................................................................. 247
9.2 LoRA 参数说明 ............................................................................................................. 247
9.2.1 注意力机制中的LoRA 参数选择 ..................................................................... 247
9.2.2 LoRA 网络结构中的参数选择 .......................................................................... 248
9.2.3 LoRA 微调中基础模型的参数选择 .................................................................. 250
9.3 LoRA 扩展技术介绍 ...................................................................................................... 250
9.3.1 QLoRA 介绍 ....................................................................................................... 250
9.3.2 Chian of LoRA 方法介绍 ................................................................................... 251
9.4 大语言模型在LoRA 微调中的性能分享 ..................................................................... 251
第10 章 PEFT 微调实践：打造医疗领域LLM ......................................................... 252
10.1 PEFT 介绍 .................................................................................................................... 252
10.2 工具与环境准备 .......................................................................................................... 253
10.2.1 工具安装 ........................................................................................................... 253
10.2.2 环境搭建 ........................................................................................................... 256
10.3 模型微调实践 .............................................................................................................. 265
10.3.1 模型微调整体流程 ........................................................................................... 265
10.3.2 项目目录结构说明 ........................................................................................... 266
10.3.3 基础模型选择 ................................................................................................... 267
10.3.4 微调数据集构建 ............................................................................................... 268
10.3.5 LoRA 微调主要参数配置 ................................................................................ 269
10.3.6 微调主要执行流程 ........................................................................................... 271
10.3.7 运行模型微调代码 ........................................................................................... 272
10.4 模型推理验证 .............................................................................................................. 273
第11 章 Llama 3 模型的微调、量化、部署和应用 ................................................... 276
11.1 准备工作 ....................................................................................................................... 277
11.1.1 环境配置和依赖库安装 ................................................................................... 277
11.1.2 数据收集和预处理 ........................................................................................... 279
11.2 微调Llama 3 模型 ....................................................................................................... 280
11.2.1 微调的意义与目标 ........................................................................................... 280
11.2.2 Llama 3 模型下载 ............................................................................................. 280
11.2.3 使用Llama-factory 进行LoRA 微调 ............................................................... 282
11.3 模型量化 ....................................................................................................................... 294
11.3.1 量化的概念与优势 ........................................................................................... 294
11.3.2 量化工具Llama.cpp 介绍 ................................................................................ 294
11.3.3 Llama.cpp 部署 ................................................................................................. 295
11.4 模型部署 ....................................................................................................................... 300
11.4.1 部署环境选择 ................................................................................................... 300
11.4.2 部署流程详解 ................................................................................................... 301
11.5 低代码应用示例 ........................................................................................................... 302
11.5.1 搭建本地大语言模型 ....................................................................................... 302
11.5.2 搭建用户界面 ................................................................................................... 303
11.5.3 与知识库相连 ................................................................................................... 306
11.6 未来展望 ....................................................................................................................... 309
第1 章 Agent 架构与应用 ............................................................................................ 1
1.1 初识Agent .......................................................................................................................... 1
1.1.1 感知能力 ................................................................................................................. 2
1.1.2 思考能力 ................................................................................................................. 2
1.1.3 动作能力 ................................................................................................................. 3
1.1.4 记忆能力 ................................................................................................................. 4
1.2 Agent 框架 .......................................................................................................................... 5
1.2.1 Agent 框架理念 ...................................................................................................... 5
1.2.2 常用Agent 框架 ..................................................................................................... 6
1.3 Multi-Agent 多角色协作 .................................................................................................. 12
1.3.1 SOP 拆解 ............................................................................................................... 12
1.3.2 角色扮演 ............................................................................................................... 13
1.3.3 反馈迭代 ............................................................................................................... 13
1.3.4 监督控制 ............................................................................................................... 13
1.3.5 实例说明 ............................................................................................................... 14
1.4 Agent 应用分析 ................................................................................................................ 16
1.4.1 Agent 自身场景落地 ............................................................................................ 16
1.4.2 Agent 结合RPA 场景落地 ................................................................................... 19
1.4.3 Agent 多态具身机器人 ........................................................................................ 25
? AI Agent 应用与项目实践
第2 章 使用Coze 打造专属Agent ............................................................................ 29
2.1 Coze 平台 ......................................................................................................................... 29
2.1.1 Coze 平台的优势 .................................................................................................. 29
2.1.2 Coze 平台界面 ...................................................................................................... 30
2.1.3 Coze 平台的功能模块 .......................................................................................... 33
2.2 Agent 的实现流程 ............................................................................................................ 34
2.2.1 Agent 需求分析 .................................................................................................... 34
2.2.2 Agent 架构设计 .................................................................................................... 35
2.3 使用Coze 平台打造专属的NBA 新闻助手 .................................................................. 35
2.3.1 需求分析与设计思路制定 ................................................................................... 35
2.3.2 NBA 新闻助手的实现与测试 .............................................................................. 36
2.4 使用Coze 平台打造小红书文案助手 ............................................................................. 55
2.4.1 需求分析与设计思路制定 ................................................................................... 55
2.4.2 小红书文案助手的实现与测试 ........................................................................... 55
2.5 小结 ................................................................................................................................. 70
第3 章 打造专属领域的客服聊天机器人 .................................................................... 71
3.1 客服聊天机器人概述 ....................................................................................................... 71
3.1.1 客服聊天机器人价值简介 ................................................................................... 71
3.1.2 客服聊天机器人研发工具 ................................................................................... 72
3.2 AI 课程客服聊天机器人总体架构 ................................................................................. 74
3.2.1 前端功能设计 ....................................................................................................... 76
3.2.2 后端功能设计 ....................................................................................................... 78
3.3 AI 课程客服聊天机器人应用实例 ................................................................................. 86
第4 章 AutoGen 智能体开发框架实践 ....................................................................... 88
4.1 AutoGen 开发环境 ........................................................................................................... 89
4.1.1 Anaconda ............................................................................................................... 89
4.1.2 PyCharm ................................................................................................................ 89
4.1.3 AutoGen Studio ..................................................................................................... 89
4.2 AutoGen Studio 案例 ....................................................................................................... 91
4.2.1 案例介绍 ............................................................................................................... 91
4.2.2 AutoGen Studio 模型配置 .................................................................................... 91
4.2.3 AutoGen Studio 技能配置 .................................................................................... 95
4.2.4 AutoGen Studio 本地化配置 .............................................................................. 117
第5 章 生成式代理――以斯坦福AI 小镇为例 ......................................................... 131
5.1 生成式代理简介 ............................................................................................................ 131
5.2 斯坦福AI 小镇项目简介 .............................................................................................. 133
5.2.1 斯坦福AI 小镇项目背景 ................................................................................... 133
5.2.2 斯坦福AI 小镇设计原理 ................................................................................... 133
5.2.3 斯坦福AI 小镇典型情景 ................................................................................... 134
5.2.4 交互体验 ............................................................................................................. 135
5.2.5 技术实现 ............................................................................................................. 136
5.2.6 社会影响 ............................................................................................................. 138
5.3 斯坦福AI 小镇体验 ...................................................................................................... 139
5.3.1 资源准备 ............................................................................................................. 139
5.3.2 部署运行 ............................................................................................................. 139
5.3.3 代码解读 ............................................................................................................. 146
5.4 生成式代理的行为和交互 ............................................................................................. 155
5.4.1 模拟个体和个体间的交流 ................................................................................. 155
5.4.2 环境交互 ............................................................................................................. 157
5.4.3 示例“日常生活中的一天” .................................................................................. 158
5.4.4 自发社会行为 ..................................................................................................... 159
5.5 生成式代理架构 ............................................................................................................ 160
5.5.1 记忆和检索 ......................................................................................................... 161
5.5.2 反思 ..................................................................................................................... 163
5.5.3 计划和反应 ......................................................................................................... 165
5.6 沙盒环境实现 ................................................................................................................ 167
5.7 评估 ............................................................................................................................... 169
5.7.1 评估程序 ............................................................................................................. 169
5.7.2 条件 ..................................................................................................................... 170
5.7.3 分析 ..................................................................................................................... 171
5.7.4 结果 ..................................................................................................................... 172
5.8 生成式代理的进一步探讨 ............................................................................................. 173
第6 章 RAG检索架构分析与应用 ........................................................................... 176
6.1 RAG 架构分析 ............................................................................................................... 177
6.1.1 检索器 ................................................................................................................. 177
6.1.2 生成器 ................................................................................................................. 178
6.2 RAG 工作流程 ............................................................................................................... 178
6.2.1 数据提取 ............................................................................................................. 179
6.2.2 文本分割 ............................................................................................................. 179
6.2.3 向量化 ................................................................................................................. 180
6.2.4 数据检索 ............................................................................................................. 181
6.2.5 注入提示 ............................................................................................................. 181
6.2.6 提交给LLM ........................................................................................................ 182
6.3 RAG 与微调和提示词工程的比较 ............................................................................... 182
6.4 基于LangChain 的RAG 应用实践 .............................................................................. 183
6.4.1 基础环境准备 ..................................................................................................... 183
6.4.2 收集和加载数据 ................................................................................................. 183
6.4.3 分割原始文档 ..................................................................................................... 184
6.4.4 数据向量化后入库 ............................................................................................. 184
6.4.5 定义数据检索器 ................................................................................................. 185
6.4.6 创建提示 ............................................................................................................. 185
6.4.7 调用LLM 生成回答 ........................................................................................... 185
第7 章 RAG应用案例――使用RAG 部署本地知识库 ............................................ 188
7.1 部署本地环境及安装数据库 ......................................................................................... 191
7.1.1 在Python 环境中创建虚拟环境并安装所需的库 ............................................ 191
7.1.2 安装phidata 库 ................................................................................................... 191
7.1.3 安装和配置Ollama ............................................................................................ 192
7.1.4 基于Ollama 安装Llama 3 模型和nomic-embed-text 模型 ............................. 193
7.1.5 下载和安装Docker 并用Docker 下载向量数据库的镜像 .............................. 193
7.2 代码部分及前端展示配置 ............................................................................................. 194
7.2.1 assistant.py 代码 .................................................................................................. 194
7.2.2 app.py 代码 ......................................................................................................... 197
7.2.3 启动AI 交互页面 ............................................................................................... 203
7.2.4 前端交互功能及对应代码 ................................................................................. 204
7.3 调用云端大语言模型 ..................................................................................................... 212
7.3.1 配置大语言模型的API Key .............................................................................. 214
7.3.2 修改本地RAG 应用代码 ................................................................................... 215
7.3.3 启动并调用云端大语言模型 ............................................................................. 217
第8 章 LLM本地部署与应用 ................................................................................... 221
8.1 硬件准备 ........................................................................................................................ 221
8.2 操作系统选择 ................................................................................................................ 222
8.3 搭建环境所需组件......................................................................................................... 223
8.4 LLM 常用知识介绍 ....................................................................................................... 226
8.4.1 分类 ..................................................................................................................... 226
8.4.2 参数大小 ............................................................................................................. 226
8.4.3 训练过程 ............................................................................................................. 226
8.4.4 模型类型 ............................................................................................................. 226
8.4.5 模型开发框架 ..................................................................................................... 227
8.4.6 量化大小 ............................................................................................................. 227
8.5 量化技术 ........................................................................................................................ 228
8.6 模型选择 ........................................................................................................................ 229
8.6.1 通义千问 ............................................................................................................. 229
8.6.2 ChatGLM ............................................................................................................. 229
8.6.3 Llama ................................................................................................................... 229
8.7 模型应用实现方式......................................................................................................... 230
8.7.1 Chat ..................................................................................................................... 230
8.7.2 RAG ..................................................................................................................... 230
8.7.3 高效微调 ............................................................................................................. 230
8.8 通义千问1.5-0.5B 本地Windows 部署实践 ................................................................ 231
8.8.1 介绍 ..................................................................................................................... 231
8.8.2 环境要求 ............................................................................................................. 231
8.8.3 依赖库安装 ......................................................................................................... 232
8.8.4 快速使用 ............................................................................................................. 233
8.8.5 量化 ..................................................................................................................... 235
8.9 基于LM Studio 和AutoGen Studio 使用通义千问 ..................................................... 235
8.9.1 LM Studio 介绍 ................................................................................................... 235
8.9.2 AutoGen Studio 介绍 .......................................................................................... 235
8.9.3 LM Studio 的使用 ............................................................................................... 236
8.9.4 在LM Studio 上启动模型的推理服务 .............................................................. 238
8.9.5 启动AutoGen Studio 服务 ................................................................................. 239
8.9.6 进入AutoGen Studio 界面 ................................................................................. 239
8.9.7 使用AutoGen Studio 配置大语言模型服务 ..................................................... 240
8.9.8 把Agent 中的模型置换成通义千问 .................................................................. 241
8.9.9 运行并测试Agent .............................................................................................. 242
第9 章 LLM与LoRA 微调策略解读 ........................................................................ 244
9.1 LoRA 技术 ..................................................................................................................... 244
9.1.1 LoRA 简介 .......................................................................................................... 244
9.1.2 LoRA 工作原理 .................................................................................................. 246
9.1.3 LoRA 在大语言模型中的应用 .......................................................................... 246
9.1.4 实施方案 ............................................................................................................. 247
9.2 LoRA 参数说明 ............................................................................................................. 247
9.2.1 注意力机制中的LoRA 参数选择 ..................................................................... 247
9.2.2 LoRA 网络结构中的参数选择 .......................................................................... 248
9.2.3 LoRA 微调中基础模型的参数选择 .................................................................. 250
9.3 LoRA 扩展技术介绍 ...................................................................................................... 250
9.3.1 QLoRA 介绍 ....................................................................................................... 250
9.3.2 Chian of LoRA 方法介绍 ................................................................................... 251
9.4 大语言模型在LoRA 微调中的性能分享 ..................................................................... 251
第10 章 PEFT 微调实践：打造医疗领域LLM ......................................................... 252
10.1 PEFT 介绍 .................................................................................................................... 252
10.2 工具与环境准备 .......................................................................................................... 253
10.2.1 工具安装 ........................................................................................................... 253
10.2.2 环境搭建 ........................................................................................................... 256
10.3 模型微调实践 .............................................................................................................. 265
10.3.1 模型微调整体流程 ........................................................................................... 265
10.3.2 项目目录结构说明 ........................................................................................... 266
10.3.3 基础模型选择 ................................................................................................... 267
10.3.4 微调数据集构建 ............................................................................................... 268
10.3.5 LoRA 微调主要参数配置 ................................................................................ 269
10.3.6 微调主要执行流程 ........................................................................................... 271
10.3.7 运行模型微调代码 ........................................................................................... 272
10.4 模型推理验证 .............................................................................................................. 273
第11 章 Llama 3 模型的微调、量化、部署和应用 ................................................... 276
11.1 准备工作 ....................................................................................................................... 277
11.1.1 环境配置和依赖库安装 ................................................................................... 277
11.1.2 数据收集和预处理 ........................................................................................... 279
11.2 微调Llama 3 模型 ....................................................................................................... 280
11.2.1 微调的意义与目标 ........................................................................................... 280
11.2.2 Llama 3 模型下载 ............................................................................................. 280
11.2.3 使用Llama-factory 进行LoRA 微调 ............................................................... 282
11.3 模型量化 ....................................................................................................................... 294
11.3.1 量化的概念与优势 ........................................................................................... 294
11.3.2 量化工具Llama.cpp 介绍 ................................................................................ 294
11.3.3 Llama.cpp 部署 ................................................................................................. 295
11.4 模型部署 ....................................................................................................................... 300
11.4.1 部署环境选择 ................................................................................................... 300
11.4.2 部署流程详解 ................................................................................................... 301
11.5 低代码应用示例 ........................................................................................................... 302
11.5.1 搭建本地大语言模型 ....................................................................................... 302
11.5.2 搭建用户界面 ................................................................................................... 303
11.5.3 与知识库相连 ................................................................................................... 306
11.6 未来展望 ....................................................................................................................... 309
- 你见没见过这么倒霉的主角啊
- 评《主角攻文汇总》
- 评《无双三国》
- 宫绝红妆
- [综]系统神马的都去死吧
- 。
- x爹s娘的JQ生活
- 天使来敲我心门
- 后宫升级战斗ABC
- 逆光
- 评《一评到底出评集合》
- 评《奸臣之女》
- 评《王府庶次子的无奈》
- [黑篮]掐死阳光
- 评《王府庶次子的无奈》
- skip莲尚雷一梦是江南
- 另一个世界
- 所谓长评= =
- 评《王府庶次子的无奈》
- 落雨
- 苕华
- 评《海怪联盟》
- 评《笑落红尘（前传）》
- （七五同人）白墨情倾
- 记梦器
- GB Studio for Mac(GameBoy游戏制作软件) V1.2.1 苹果电脑版
- 欢乐小游戏 for Android v1.2.9 安卓版
- 好用的视频制作工具 Photo MovieTheater 附视频教程 v2.40 免费安装版
- 火拼拼(美食折扣软件) for Android v2.5.8 安卓版
- Things 3(日程和任务管理工具) for iPhone v3.16.5 苹果手机版
- 金舟截图软件 V3.2.5.0 官方安装版
- 图片分类管理器 v1.2 绿色免费版
- 阳光养猪场(养猪赚钱) for Android v1.1.4 安卓版
- 赚钱旺(手机赚钱) for Android v2.0.1 安卓版
- Evince(文档查看器) v2.32.0.145 免费安装版
- 可爱小叮当对对碰
- 狗狗游乐园
- 乐动魔方
- 金字塔高尔夫纸牌
- 悟空对对碰
- 爱情串串烧
- 田鸡打虫子
- 快速擦黑板
- 平衡大理石球
- 年兽连连看
- 爱味男女
- 国防生
- 大盛魁
- 决战江南
- 极品老妈 第一季
- 因为·爱
- 阿娜尔罕
- 而立之年
- 一克拉梦想
- On Call 36小时II