目 錄
第 1 章 spaCy 簡介 ............................................................................................ 1
1.1 自然語言處理的發(fā)展過程 ..................................................................... 1
1.2 自然語言處理的基礎(chǔ)任務(wù) ..................................................................... 6
1.3 spaCy 的核心概念 ................................................................................. 7
1.3.1 nlp 對象 ....................................................................................... 9
1.3.2 Doc 對象 .................................................................................... 10
1.3.3 Token 對象 ................................................................................. 12
1.3.4 Span 對象 ................................................................................... 14
1.4 spaCy 的安裝方法 ............................................................................... 16
1.4.1 使用 pip 安裝 ............................................................................. 16
1.4.2 使用 Conda 安裝 ........................................................................ 16
1.5 spaCy 的基礎(chǔ)操作 ............................................................................... 17
1.5.1 訓(xùn)練模型 ................................................................................... 17
1.5.2 預(yù)測模型 ................................................................................... 21
第 2 章 抽取語言學(xué)特征 ................................................................................... 24
2.1 基本操作 .............................................................................................. 24
2.1.1 分詞 ........................................................................................... 24
2.1.2 截取詞符 ................................................................................... 26
2.1.3 獲取文本特征 ............................................................................ 28
spaCy 自然語言處理：從入門到進(jìn)階 VIII
2.1.4 詞性標(biāo)注 ................................................................................... 31
2.1.5 依存關(guān)系解析 ............................................................................ 32
2.1.6 命名實體識別 ............................................................................ 33
2.2 用已有模型預(yù)測 .................................................................................. 35
2.2.1 預(yù)測文字、詞性標(biāo)簽和依存關(guān)系標(biāo)簽 ....................................... 37
2.2.2 預(yù)測命名實體識別的結(jié)果 .......................................................... 38
2.2.3 手動創(chuàng)建命名實體 ..................................................................... 39
2.3 基于規(guī)則的匹配器 .............................................................................. 42
2.3.1 Matcher 與正則表達(dá)式 ............................................................... 44
2.3.2 模板匹配 ................................................................................... 45
2.4 定義匹配規(guī)則 ...................................................................................... 53
2.4.1 運算符和量詞 ............................................................................ 53
2.4.2 文本匹配 ................................................................................... 57
2.4.3 詞性匹配 ................................................................................... 59
第 3 章 信息提取 .............................................................................................. 62
3.1 數(shù)據(jù)結(jié)構(gòu)的基本概念 .......................................................................... 62
3.2 詞匯表、字符串庫和語素 ................................................................... 63
3.2.1 詞匯表和字符串庫 ..................................................................... 65
3.2.2 語素 ........................................................................................... 66
3.2.3 轉(zhuǎn)換 ........................................................................................... 68
3.3 文檔、截取和詞符 .............................................................................. 72
3.3.1 文檔及其創(chuàng)建 ............................................................................ 73
3.3.2 截取及其創(chuàng)建 ............................................................................ 76
3.3.3 詞符及其創(chuàng)建 ............................................................................ 80
3.4 綜合實踐——比對相似度 ................................................................... 84
3.4.1 訓(xùn)練詞向量 ................................................................................ 85
3.4.2 處理文本 ................................................................................... 88
3.4.3 計算相似度 ................................................................................ 89
3.5 綜合實踐——文本匹配 ....................................................................... 96
3.5.1 基于規(guī)則的方法 ........................................................................ 98
3.5.2 匹配不成功時的調(diào)試方法 ......................................................... 102
3.5.3 直接精確匹配字符串 ................................................................ 105
第 4 章 流程 ..................................................................................................... 109
4.1 流程組件 ............................................................................................. 109
4.1.1 流程組件的概念 ....................................................................... 109
4.1.2 流程組件的運行 ....................................................................... 111
4.1.3 流程組件的屬性 ....................................................................... 112
4.1.4 流程組件的配置 ....................................................................... 113
4.1.5 流程組件的檢查 ....................................................................... 114
4.2 定制化流程組件 ................................................................................. 115
4.2.1 定制化流程組件的應(yīng)用 ............................................................ 116
4.2.2 定制化流程組件的應(yīng)用示例 ..................................................... 117
4.2.3 用定制化流程組件打印文檔的詞符長度 ................................... 119
4.2.4 定制化流程組件的綜合應(yīng)用示例 .............................................. 121
4.3 定制化屬性 ......................................................................................... 123
4.3.1 添加定制化屬性 ....................................................................... 123
4.3.2 注冊定制化屬性 ....................................................................... 124
4.3.3 定制化屬性的類別 .................................................................... 125
4.3.4 設(shè)置定制化屬性 ....................................................................... 131
4.4 定制化模型組件 ................................................................................. 137
4.5 含有定制化屬性的定制化流程組件 .................................................. 140
4.6 流程的優(yōu)化 ......................................................................................... 142
4.6.1 流模式 ...................................................................................... 142
4.6.2 傳入語境 .................................................................................. 143
4.6.3 僅使用分詞器 ........................................................................... 146
4.6.4 關(guān)閉流程組件 ........................................................................... 146
4.7 處理流 ................................................................................................. 147
4.7.1 從遍歷文本到遍歷處理流 ......................................................... 148
4.7.2 將處理流轉(zhuǎn)化為 Doc 列表 ........................................................ 149
4.7.3 處理流和模板匹配 .................................................................... 151
4.7.4 在語境中處理數(shù)據(jù) .................................................................... 151
4.8 流程的控制 ......................................................................................... 154
4.8.1 nlp.make_doc()方法................................................................... 154
4.8.2 nlp.select_pipes()方法................................................................ 156
第 5 章 更新和訓(xùn)練模型 .................................................................................. 158
5.1 更新模型 ............................................................................................. 159
5.2 訓(xùn)練模型 ............................................................................................. 160
5.3 準(zhǔn)備數(shù)據(jù) ............................................................................................. 163
5.3.1 訓(xùn)練數(shù)據(jù) .................................................................................. 163
5.3.2 測試數(shù)據(jù) .................................................................................. 172
5.3.3 評估數(shù)據(jù) .................................................................................. 173
5.4 配置和訓(xùn)練模型 ................................................................................. 173
5.4.1 配置文件 .................................................................................. 174
5.4.2 訓(xùn)練流程 .................................................................................. 180
5.4.3 讀取流程 .................................................................................. 182
5.4.4 打包流程 .................................................................................. 183
5.4.5 使用流程 .................................................................................. 184
5.4.6 檢測模型 .................................................................................. 185
5.5 模型訓(xùn)練中的問題 ............................................................................. 186
5.5.1 災(zāi)難性遺忘問題 ....................................................................... 186
5.5.2 模型不能學(xué)會所有東西 ............................................................ 187
5.6 數(shù)據(jù)標(biāo)注 ............................................................................................. 188
5.7 訓(xùn)練多個標(biāo)簽 ..................................................................................... 191
5.7.1 實體的位置參數(shù) ....................................................................... 191
5.7.2 缺失標(biāo)簽的訓(xùn)練數(shù)據(jù) ................................................................ 192
5.7.3 加入標(biāo)簽的訓(xùn)練數(shù)據(jù) ................................................................ 193
第 6 章 實踐案例——構(gòu)建對話機器人 ........................................................... 198
6.1 對話機器人 ......................................................................................... 199
6.1.1 對話機器人的概念 .................................................................... 199
6.1.2 對話機器人的功能 .................................................................... 199
6.1.3 對話機器人的工作流程 ............................................................ 200
6.1.4 對話機器人的分類 .................................................................... 201
6.1.5 對話機器人的架構(gòu)方案 ............................................................ 202
6.2 對話機器人的設(shè)計 ............................................................................. 206
6.2.1 需求設(shè)計 .................................................................................. 207
6.2.2 工程設(shè)計 .................................................................................. 208
6.3 代碼實現(xiàn) ............................................................................................. 210
6.3.1 自然語言理解模塊 .................................................................... 210
6.3.2 對話管理模塊 ........................................................................... 224
6.3.3 業(yè)務(wù)動作模塊 ........................................................................... 226
6.3.4 自然語言生成模塊 .................................................................... 228
6.3.5 代碼集成 .................................................................................. 229
第 7 章 使用大語言模型 .................................................................................. 233
7.1 大語言模型 ......................................................................................... 233
7.1.1 大語言模型的概念 .................................................................... 233
7.1.2 大語言模型的重要性 ................................................................ 234
7.2 大語言模型的工作原理 ..................................................................... 235
7.2.1 模型的訓(xùn)練 ............................................................................... 235
7.2.2 模型的預(yù)測 ............................................................................... 236
7.3 提示 .................................................................................................... 236
7.3.1 提示的概念 ............................................................................... 236
7.3.2 提示工程 .................................................................................. 237
spaCy 自然語言處理：從入門到進(jìn)階 XII
7.3.3 提示的實際應(yīng)用 ....................................................................... 238
7.4 spaCy 和大語言模型 .......................................................................... 239
7.4.1 安裝 spaCy 大語言模型支持包 ................................................. 240
7.4.2 在 spaCy 中配置大語言模型 ..................................................... 240
7.5 實際應(yīng)用 ............................................................................................. 241
7.5.1 文本分類 .................................................................................. 241
7.5.2 命名實體識別 ........................................................................... 243
7.6 大語言模型的優(yōu)點和缺點 .................................................................. 244
7.6.1 大語言模型的優(yōu)點 .................................................................... 244
7.6.2 大語言模型的缺點 .................................................................... 245
7.7 未來趨勢 ............................................................................................. 246
7.7.1 當(dāng)前的研究趨勢 ....................................................................... 246
7.7.2 未來可能出現(xiàn)的影響 ................................................................ 247