目 錄
　　第1章 深度學(xué)習(xí)與自然語(yǔ)言處理概述1
　　1.1 自然語(yǔ)言處理簡(jiǎn)史 2
　　1.1.1 自然語(yǔ)言處理能做什么 2
　　1.1.2 自然語(yǔ)言處理的發(fā)展史 4
　　1.2 深度學(xué)習(xí)的興起 6
　　1.2.1 從機(jī)器學(xué)習(xí)到深度學(xué)習(xí) 6
　　1.2.2 深度學(xué)習(xí)框架 16
　　1.2.3 TensorFlow 2程序樣例 19
　　第2章 詞向量的前世今生 21
　　2.1 文本預(yù)處理的流程 22
　　2.2 前深度學(xué)習(xí)時(shí)代的詞向量 23
　　2.2.1 獨(dú)熱向量 23
　　2.2.2 分布式表示 24
　　2.3 深度學(xué)習(xí)時(shí)代的詞向量 26
　　2.3.1 詞向量的分類 26
　　2.3.2 可視化詞向量 27
　　2.3.3 詞向量在下游任務(wù)中的使用 29
　　2.4 Word2vec數(shù)學(xué)原理 30
　　2.4.1 語(yǔ)言模型及其評(píng)價(jià) 30
　　2.4.2 神經(jīng)網(wǎng)絡(luò)概率語(yǔ)言模型 32
　　2.4.3 Word2vec原理 33
　　2.5 用TensorFlow實(shí)現(xiàn)Word2vec 38
　　2.5.1 數(shù)據(jù)準(zhǔn)備 38
　　2.5.2 模型構(gòu)建及訓(xùn)練 40
　　2.5.3 詞向量評(píng)估與Gensim實(shí)踐 41
　　第3章 循環(huán)神經(jīng)網(wǎng)絡(luò)之一： 輸入和輸出 45
　　3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入和輸出 46
　　3.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的狀態(tài)與輸出 46
　　3.1.2 輸入和輸出一一對(duì)應(yīng) 48
　　3.1.3 一對(duì)多和多對(duì)一 49
　　3.1.4 任意長(zhǎng)度的輸入和輸出 50
　　3.2 區(qū)分RNN和RNNCell 51
　　3.2.1 基類Layer 52
　　3.2.2 RNNCell接口 53
　　3.2.3 RNN接口 54
　　3.3 簡(jiǎn)單循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)例 54
　　3.4 三種常見(jiàn)的RNN 56
　　3.4.1 SimpleRNN 57
　　3.4.2 LSTM 58
　　3.4.3 GRU 61
　　3.5 雙向和多層RNN 63
　　3.5.1 雙向RNN 63
　　3.5.2 單向多層RNN 65
　　3.5.3 雙向多層RNN 67
　　第 4 章 循環(huán)神經(jīng)網(wǎng)絡(luò)之二：高級(jí) 71
　　4.1 在RNN中使用Dropout 71
　　4.1.1 全連接層中的Dropout 71
　　4.1.2 RNN中的Dropout 73
　　4.2 RNN中的梯度流動(dòng) 75
　　4.2.1 時(shí)序反向傳播算法 75
　　4.2.2 LSTM的梯度流 79
　　4.3 RNN中的歸一化方法 83
　　4.3.1 批歸一化 84
　　4.3.2 層歸一化 87
　　第 5 章 循環(huán)神經(jīng)網(wǎng)絡(luò)之三： 實(shí)戰(zhàn)技巧 92
　　5.1 序列分類 92
　　5.1.1 MNIST數(shù)字圖像分類 92
　　5.1.2 變長(zhǎng)序列處理與情感分析 94
　　5.2 超長(zhǎng)序列的處理 100
　　5.2.1 狀態(tài)傳遞與數(shù)據(jù)準(zhǔn)備 101
　　5.2.2 字符級(jí)語(yǔ)言模型 104
　　5.3 序列標(biāo)注和條件隨機(jī)場(chǎng) 110
　　5.3.1 IOB格式 110
　　5.3.2 CONLL2003命名實(shí)體識(shí)別 111
　　5.3.3 條件隨機(jī)場(chǎng) 115
　　5.4 中間層輸出的提取 119
　　第 6 章 序列到序列問(wèn)題 127
　　6.1 序列到序列問(wèn)題概述 127
　　6.1.1 序列到序列問(wèn)題的兩個(gè)代表 127
　　6.1.2 三種序列到序列模型 128
　　6.2 CTC 130
　　6.2.1 CTC 模型結(jié)構(gòu) 131
　　6.2.2 長(zhǎng)短序列的轉(zhuǎn)換 132
　　6.2.3 計(jì)算標(biāo)簽序列的概率 133
　　6.2.4 CTC 的推斷算法 136
　　6.2.5 CTC的缺陷 139
　　6.2.6 TensorFlow中的CTC 139
　　6.3 Transducer 141
　　6.3.1 Transducer模型結(jié)構(gòu) 141
　　6.3.2 Transducer的對(duì)齊網(wǎng)格 142
　　6.3.3 Transducer的訓(xùn)練算法 144
　　6.3.4 Transducer模型的推斷 145
　　6.3.5 Transducer的貪心解碼算法 145
　　6.3.6 Transducer的集束搜索解碼算法 146
　　6.4 編碼器-解碼器架構(gòu) 148
　　6.4.1 編碼器-解碼器架構(gòu)簡(jiǎn)介 149
　　6.4.2 編碼器-解碼器架構(gòu)代碼示例 151
　　6.4.3 編碼器-解碼器架構(gòu)的其他應(yīng)用 153
　　6.5 文本生成問(wèn)題的數(shù)據(jù)處理流程 153
　　第 7 章 注意力機(jī)制 157
　　7.1 編碼器-解碼器-注意力架構(gòu)概述 157
　　7.2 兩種注意力機(jī)制的具體實(shí)現(xiàn) 160
　　7.2.1 加性注意力 160
　　7.2.2 乘性注意力 161
　　7.2.3 對(duì)注意力機(jī)制的理解 163
　　7.3 TensorFlow中的注意力機(jī)制 164
　　7.3.1 熟悉 tfa.seq2seq164
　　7.3.2 注意力模塊的引入 171
　　7.4 注意力機(jī)制的其他應(yīng)用 179
　　第 8 章 超越序列表示：樹(shù)和圖 181
　　8.1 自然語(yǔ)言中的樹(shù)結(jié)構(gòu) 181
　　8.2 遞歸神經(jīng)網(wǎng)絡(luò)：TreeLSTM 183
　　8.2.1 遞歸神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 183
　　8.2.2 TreeLSTM 兩例 185
　　8.2.3 N元樹(shù)形LSTM的TensorFlow實(shí)現(xiàn) 187
　　8.3 樹(shù)形 LSTM 的其他問(wèn)題 189
　　8.3.1 樹(shù)形遞歸 189
　　8.3.2 動(dòng)態(tài)批處理 191
　　8.3.3 結(jié)構(gòu)反向傳播算法 191
　　8.3.4 樹(shù)形 LSTM 的必要性 192
　　8.4 圖與自然語(yǔ)言處理 193
　　8.4.1 LSTM 的其他拓展 193
　　8.4.2 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用 195
　　第 9 章 卷積神經(jīng)網(wǎng)絡(luò) 199
　　9.1 離散卷積的定義 200
　　9.1.1 卷積的維度 200
　　9.1.2 卷積的參數(shù) 202
　　9.2 卷積神經(jīng)網(wǎng)絡(luò)的兩個(gè)實(shí)例 204
　　9.2.1 文本分類與 TextCNN 205
　　9.2.2 語(yǔ)音合成與 WaveNet 208
　　第10章 Transformer 219
　　10.1 Transformer 模型結(jié)構(gòu)介紹 220
　　10.1.1 注意力層 222
　　10.1.2 前饋神經(jīng)網(wǎng)絡(luò)層 227
　　10.1.3 殘差連接與層歸一化 228
　　10.1.4 位置信息的引入 229
　　10.1.5 Transformer 整體結(jié)構(gòu) 232
　　10.2 Transformer：實(shí)現(xiàn)與思考 233
　　10.2.1 從零實(shí)現(xiàn) Transformer 233
　　10.2.2 訓(xùn)練和推斷 244
　　10.2.3 關(guān)于Transformer模塊的反思 249
　　10.3 Transformer 模型的拓展 253
　　10.3.1 平方復(fù)雜度與顯存優(yōu)化 253
　　10.3.2 圖靈完備性與歸納偏置 258
　　10.3.3 非自回歸模型 259
　　10.4 Transformer與其他模型的聯(lián)系 261
　　第11章 預(yù)訓(xùn)練語(yǔ)言模型 263
　　11.1 預(yù)訓(xùn)練語(yǔ)言模型發(fā)展簡(jiǎn)史 264
　　11.2 GPT 266
　　11.2.1 語(yǔ)言模型 精調(diào)解決一切問(wèn)題 266
　　11.2.2 GPT-2 和 GPT-3：大力出奇跡 270
　　11.2.3 GPT系列全回顧 276
　　11.3 BERT 277
　　11.3.1 為什么 GPT 和 ELMo 還不夠好 277
　　11.3.2 無(wú)監(jiān)督語(yǔ)料知識(shí)提取方案 278
　　11.3.3 在下游任務(wù)上精調(diào) BERT 282
　　11.3.4 BERT 改進(jìn)方案 284
　　11.4 后預(yù)訓(xùn)練時(shí)代 287
　　第12章 其他復(fù)雜模型 289
　　12.1 生成對(duì)抗網(wǎng)絡(luò) 289
　　12.1.1 生成對(duì)抗網(wǎng)絡(luò)簡(jiǎn)介 289
　　12.1.2 生成對(duì)抗網(wǎng)絡(luò)與無(wú)監(jiān)督機(jī)器翻譯 293
　　12.2 強(qiáng)化學(xué)習(xí) 300
　　12.2.1 強(qiáng)化學(xué)習(xí)基本概念 300
　　12.2.2 策略梯度和 REINFORCE 算法 303
　　12.2.3 強(qiáng)化學(xué)習(xí)與文本生成 305
　　12.3 流模型 309
　　12.3.1 歸一化流簡(jiǎn)介 310
　　12.3.2 逆自回歸流與并行 WaveNet 312
　　參考文獻(xiàn) 316
　　附錄一 插圖 334
　　附錄二 算法 337
　　附錄三 術(shù)語(yǔ)表 338