目錄
第1 章 Agent 架構(gòu)與應(yīng)用 ............................................................................................ 1
1.1 初識Agent .......................................................................................................................... 1
1.1.1 感知能力 ................................................................................................................. 2
1.1.2 思考能力 ................................................................................................................. 2
1.1.3 動作能力 ................................................................................................................. 3
1.1.4 記憶能力 ................................................................................................................. 4
1.2 Agent 框架 .......................................................................................................................... 5
1.2.1 Agent 框架理念 ...................................................................................................... 5
1.2.2 常用Agent 框架 ..................................................................................................... 6
1.3 Multi-Agent 多角色協(xié)作 .................................................................................................. 12
1.3.1 SOP 拆解 ............................................................................................................... 12
1.3.2 角色扮演 ............................................................................................................... 13
1.3.3 反饋迭代 ............................................................................................................... 13
1.3.4 監(jiān)督控制 ............................................................................................................... 13
1.3.5 實例說明 ............................................................................................................... 14
1.4 Agent 應(yīng)用分析 ................................................................................................................ 16
1.4.1 Agent 自身場景落地 ............................................................................................ 16
1.4.2 Agent 結(jié)合RPA 場景落地 ................................................................................... 19
1.4.3 Agent 多態(tài)具身機器人 ........................................................................................ 25
∣ AI Agent 應(yīng)用與項目實踐
第2 章 使用Coze 打造專屬Agent ............................................................................ 29
2.1 Coze 平臺 ......................................................................................................................... 29
2.1.1 Coze 平臺的優(yōu)勢 .................................................................................................. 29
2.1.2 Coze 平臺界面 ...................................................................................................... 30
2.1.3 Coze 平臺的功能模塊 .......................................................................................... 33
2.2 Agent 的實現(xiàn)流程 ............................................................................................................ 34
2.2.1 Agent 需求分析 .................................................................................................... 34
2.2.2 Agent 架構(gòu)設(shè)計 .................................................................................................... 35
2.3 使用Coze 平臺打造專屬的NBA 新聞助手 .................................................................. 35
2.3.1 需求分析與設(shè)計思路制定 ................................................................................... 35
2.3.2 NBA 新聞助手的實現(xiàn)與測試 .............................................................................. 36
2.4 使用Coze 平臺打造小紅書文案助手 ............................................................................. 55
2.4.1 需求分析與設(shè)計思路制定 ................................................................................... 55
2.4.2 小紅書文案助手的實現(xiàn)與測試 ........................................................................... 55
2.5 小結(jié) ................................................................................................................................. 70
第3 章 打造專屬領(lǐng)域的客服聊天機器人 .................................................................... 71
3.1 客服聊天機器人概述 ....................................................................................................... 71
3.1.1 客服聊天機器人價值簡介 ................................................................................... 71
3.1.2 客服聊天機器人研發(fā)工具 ................................................................................... 72
3.2 AI 課程客服聊天機器人總體架構(gòu) ................................................................................. 74
3.2.1 前端功能設(shè)計 ....................................................................................................... 76
3.2.2 后端功能設(shè)計 ....................................................................................................... 78
3.3 AI 課程客服聊天機器人應(yīng)用實例 ................................................................................. 86
第4 章 AutoGen 智能體開發(fā)框架實踐 ....................................................................... 88
4.1 AutoGen 開發(fā)環(huán)境 ........................................................................................................... 89
4.1.1 Anaconda ............................................................................................................... 89
4.1.2 PyCharm ................................................................................................................ 89
4.1.3 AutoGen Studio ..................................................................................................... 89
4.2 AutoGen Studio 案例 ....................................................................................................... 91
4.2.1 案例介紹 ............................................................................................................... 91
4.2.2 AutoGen Studio 模型配置 .................................................................................... 91
4.2.3 AutoGen Studio 技能配置 .................................................................................... 95
4.2.4 AutoGen Studio 本地化配置 .............................................................................. 117
第5 章 生成式代理——以斯坦福AI 小鎮(zhèn)為例 ......................................................... 131
5.1 生成式代理簡介 ............................................................................................................ 131
5.2 斯坦福AI 小鎮(zhèn)項目簡介 .............................................................................................. 133
5.2.1 斯坦福AI 小鎮(zhèn)項目背景 ................................................................................... 133
5.2.2 斯坦福AI 小鎮(zhèn)設(shè)計原理 ................................................................................... 133
5.2.3 斯坦福AI 小鎮(zhèn)典型情景 ................................................................................... 134
5.2.4 交互體驗 ............................................................................................................. 135
5.2.5 技術(shù)實現(xiàn) ............................................................................................................. 136
5.2.6 社會影響 ............................................................................................................. 138
5.3 斯坦福AI 小鎮(zhèn)體驗 ...................................................................................................... 139
5.3.1 資源準備 ............................................................................................................. 139
5.3.2 部署運行 ............................................................................................................. 139
5.3.3 代碼解讀 ............................................................................................................. 146
5.4 生成式代理的行為和交互 ............................................................................................. 155
5.4.1 模擬個體和個體間的交流 ................................................................................. 155
5.4.2 環(huán)境交互 ............................................................................................................. 157
5.4.3 示例“日常生活中的一天” .................................................................................. 158
5.4.4 自發(fā)社會行為 ..................................................................................................... 159
5.5 生成式代理架構(gòu) ............................................................................................................ 160
5.5.1 記憶和檢索 ......................................................................................................... 161
5.5.2 反思 ..................................................................................................................... 163
5.5.3 計劃和反應(yīng) ......................................................................................................... 165
5.6 沙盒環(huán)境實現(xiàn) ................................................................................................................ 167
5.7 評估 ............................................................................................................................... 169
5.7.1 評估程序 ............................................................................................................. 169
5.7.2 條件 ..................................................................................................................... 170
5.7.3 分析 ..................................................................................................................... 171
5.7.4 結(jié)果 ..................................................................................................................... 172
5.8 生成式代理的進一步探討 ............................................................................................. 173
第6 章 RAG檢索架構(gòu)分析與應(yīng)用 ........................................................................... 176
6.1 RAG 架構(gòu)分析 ............................................................................................................... 177
6.1.1 檢索器 ................................................................................................................. 177
6.1.2 生成器 ................................................................................................................. 178
6.2 RAG 工作流程 ............................................................................................................... 178
6.2.1 數(shù)據(jù)提取 ............................................................................................................. 179
6.2.2 文本分割 ............................................................................................................. 179
6.2.3 向量化 ................................................................................................................. 180
6.2.4 數(shù)據(jù)檢索 ............................................................................................................. 181
6.2.5 注入提示 ............................................................................................................. 181
6.2.6 提交給LLM ........................................................................................................ 182
6.3 RAG 與微調(diào)和提示詞工程的比較 ............................................................................... 182
6.4 基于LangChain 的RAG 應(yīng)用實踐 .............................................................................. 183
6.4.1 基礎(chǔ)環(huán)境準備 ..................................................................................................... 183
6.4.2 收集和加載數(shù)據(jù) ................................................................................................. 183
6.4.3 分割原始文檔 ..................................................................................................... 184
6.4.4 數(shù)據(jù)向量化后入庫 ............................................................................................. 184
6.4.5 定義數(shù)據(jù)檢索器 ................................................................................................. 185
6.4.6 創(chuàng)建提示 ............................................................................................................. 185
6.4.7 調(diào)用LLM 生成回答 ........................................................................................... 185
第7 章 RAG應(yīng)用案例——使用RAG 部署本地知識庫 ............................................ 188
7.1 部署本地環(huán)境及安裝數(shù)據(jù)庫 ......................................................................................... 191
7.1.1 在Python 環(huán)境中創(chuàng)建虛擬環(huán)境并安裝所需的庫 ............................................ 191
7.1.2 安裝phidata 庫 ................................................................................................... 191
7.1.3 安裝和配置Ollama ............................................................................................ 192
7.1.4 基于Ollama 安裝Llama 3 模型和nomic-embed-text 模型 ............................. 193
7.1.5 下載和安裝Docker 并用Docker 下載向量數(shù)據(jù)庫的鏡像 .............................. 193
7.2 代碼部分及前端展示配置 ............................................................................................. 194
7.2.1 assistant.py 代碼 .................................................................................................. 194
7.2.2 app.py 代碼 ......................................................................................................... 197
7.2.3 啟動AI 交互頁面 ............................................................................................... 203
7.2.4 前端交互功能及對應(yīng)代碼 ................................................................................. 204
7.3 調(diào)用云端大語言模型 ..................................................................................................... 212
7.3.1 配置大語言模型的API Key .............................................................................. 214
7.3.2 修改本地RAG 應(yīng)用代碼 ................................................................................... 215
7.3.3 啟動并調(diào)用云端大語言模型 ............................................................................. 217
第8 章 LLM本地部署與應(yīng)用 ................................................................................... 221
8.1 硬件準備 ........................................................................................................................ 221
8.2 操作系統(tǒng)選擇 ................................................................................................................ 222
8.3 搭建環(huán)境所需組件......................................................................................................... 223
8.4 LLM 常用知識介紹 ....................................................................................................... 226
8.4.1 分類 ..................................................................................................................... 226
8.4.2 參數(shù)大小 ............................................................................................................. 226
8.4.3 訓練過程 ............................................................................................................. 226
8.4.4 模型類型 ............................................................................................................. 226
8.4.5 模型開發(fā)框架 ..................................................................................................... 227
8.4.6 量化大小 ............................................................................................................. 227
8.5 量化技術(shù) ........................................................................................................................ 228
8.6 模型選擇 ........................................................................................................................ 229
8.6.1 通義千問 ............................................................................................................. 229
8.6.2 ChatGLM ............................................................................................................. 229
8.6.3 Llama ................................................................................................................... 229
8.7 模型應(yīng)用實現(xiàn)方式......................................................................................................... 230
8.7.1 Chat ..................................................................................................................... 230
8.7.2 RAG ..................................................................................................................... 230
8.7.3 高效微調(diào) ............................................................................................................. 230
8.8 通義千問1.5-0.5B 本地Windows 部署實踐 ................................................................ 231
8.8.1 介紹 ..................................................................................................................... 231
8.8.2 環(huán)境要求 ............................................................................................................. 231
8.8.3 依賴庫安裝 ......................................................................................................... 232
8.8.4 快速使用 ............................................................................................................. 233
8.8.5 量化 ..................................................................................................................... 235
8.9 基于LM Studio 和AutoGen Studio 使用通義千問 ..................................................... 235
8.9.1 LM Studio 介紹 ................................................................................................... 235
8.9.2 AutoGen Studio 介紹 .......................................................................................... 235
8.9.3 LM Studio 的使用 ............................................................................................... 236
8.9.4 在LM Studio 上啟動模型的推理服務(wù) .............................................................. 238
8.9.5 啟動AutoGen Studio 服務(wù) ................................................................................. 239
8.9.6 進入AutoGen Studio 界面 ................................................................................. 239
8.9.7 使用AutoGen Studio 配置大語言模型服務(wù) ..................................................... 240
8.9.8 把Agent 中的模型置換成通義千問 .................................................................. 241
8.9.9 運行并測試Agent .............................................................................................. 242
第9 章 LLM與LoRA 微調(diào)策略解讀 ........................................................................ 244
9.1 LoRA 技術(shù) ..................................................................................................................... 244
9.1.1 LoRA 簡介 .......................................................................................................... 244
9.1.2 LoRA 工作原理 .................................................................................................. 246
9.1.3 LoRA 在大語言模型中的應(yīng)用 .......................................................................... 246
9.1.4 實施方案 ............................................................................................................. 247
9.2 LoRA 參數(shù)說明 ............................................................................................................. 247
9.2.1 注意力機制中的LoRA 參數(shù)選擇 ..................................................................... 247
9.2.2 LoRA 網(wǎng)絡(luò)結(jié)構(gòu)中的參數(shù)選擇 .......................................................................... 248
9.2.3 LoRA 微調(diào)中基礎(chǔ)模型的參數(shù)選擇 .................................................................. 250
9.3 LoRA 擴展技術(shù)介紹 ...................................................................................................... 250
9.3.1 QLoRA 介紹 ....................................................................................................... 250
9.3.2 Chian of LoRA 方法介紹 ................................................................................... 251
9.4 大語言模型在LoRA 微調(diào)中的性能分享 ..................................................................... 251
第10 章 PEFT 微調(diào)實踐：打造醫(yī)療領(lǐng)域LLM ......................................................... 252
10.1 PEFT 介紹 .................................................................................................................... 252
10.2 工具與環(huán)境準備 .......................................................................................................... 253
10.2.1 工具安裝 ........................................................................................................... 253
10.2.2 環(huán)境搭建 ........................................................................................................... 256
10.3 模型微調(diào)實踐 .............................................................................................................. 265
10.3.1 模型微調(diào)整體流程 ........................................................................................... 265
10.3.2 項目目錄結(jié)構(gòu)說明 ........................................................................................... 266
10.3.3 基礎(chǔ)模型選擇 ................................................................................................... 267
10.3.4 微調(diào)數(shù)據(jù)集構(gòu)建 ............................................................................................... 268
10.3.5 LoRA 微調(diào)主要參數(shù)配置 ................................................................................ 269
10.3.6 微調(diào)主要執(zhí)行流程 ........................................................................................... 271
10.3.7 運行模型微調(diào)代碼 ........................................................................................... 272
10.4 模型推理驗證 .............................................................................................................. 273
第11 章 Llama 3 模型的微調(diào)、量化、部署和應(yīng)用 ................................................... 276
11.1 準備工作 ....................................................................................................................... 277
11.1.1 環(huán)境配置和依賴庫安裝 ................................................................................... 277
11.1.2 數(shù)據(jù)收集和預(yù)處理 ........................................................................................... 279
11.2 微調(diào)Llama 3 模型 ....................................................................................................... 280
11.2.1 微調(diào)的意義與目標 ........................................................................................... 280
11.2.2 Llama 3 模型下載 ............................................................................................. 280
11.2.3 使用Llama-factory 進行LoRA 微調(diào) ............................................................... 282
11.3 模型量化 ....................................................................................................................... 294
11.3.1 量化的概念與優(yōu)勢 ........................................................................................... 294
11.3.2 量化工具Llama.cpp 介紹 ................................................................................ 294
11.3.3 Llama.cpp 部署 ................................................................................................. 295
11.4 模型部署 ....................................................................................................................... 300
11.4.1 部署環(huán)境選擇 ................................................................................................... 300
11.4.2 部署流程詳解 ................................................................................................... 301
11.5 低代碼應(yīng)用示例 ........................................................................................................... 302
11.5.1 搭建本地大語言模型 ....................................................................................... 302
11.5.2 搭建用戶界面 ................................................................................................... 303
11.5.3 與知識庫相連 ................................................................................................... 306
11.6 未來展望 ....................................................................................................................... 309