第一部分 入門篇
1 深度學(xué)習(xí)概述 2
1.1　讓機(jī)器學(xué)會(huì)學(xué)習(xí) 2
1.1.1 什么是人工智能 2
1.1.2 從數(shù)據(jù)中學(xué)習(xí) 3
1.1.3 數(shù)據(jù)表示 3
1.2　深度學(xué)習(xí)之“深度” 4
1.2.1 深度神經(jīng)網(wǎng)絡(luò) 5
1.2.2 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 7
1.3　深度學(xué)習(xí)的數(shù)據(jù)表示 9
1.3.1 標(biāo)量、向量、矩陣與張量 9
1.3.2 現(xiàn)實(shí)世界中的張量數(shù)據(jù) 11
1.4　為什么要用深度學(xué)習(xí) 14
1.4.1 深度學(xué)習(xí)有何不同 14
1.4.2 深度學(xué)習(xí)的大眾化 15
本章小結(jié) 15
2 神經(jīng)網(wǎng)絡(luò)入門 16
2.1　神經(jīng)元 16
2.1.1 人工神經(jīng)元 16
2.1.2 激活函數(shù) 18
2.2　多層神經(jīng)網(wǎng)絡(luò) 19
2.2.1 分類問題與獨(dú)熱編碼 19
2.2.2 MNIST數(shù)據(jù)集 20
2.2.3 神經(jīng)網(wǎng)絡(luò) 22
2.2.4 神經(jīng)網(wǎng)絡(luò)的輸出 23
2.2.5 softmax函數(shù) 24
2.3　神經(jīng)網(wǎng)絡(luò)的前向傳播 26
2.3.1 各層間數(shù)據(jù)傳遞 27
2.3.2 多個(gè)樣本情況 28
2.3.3 識(shí)別精度 29
2.4　監(jiān)督學(xué)習(xí)與損失函數(shù) 30
2.4.1 監(jiān)督學(xué)習(xí) 31
2.4.2 損失函數(shù) 32
2.5　梯度下降法 36
2.5.1 梯度下降 36
2.5.2 梯度的實(shí)現(xiàn) 38
2.5.3 梯度下降法的實(shí)現(xiàn) 39
2.6　學(xué)習(xí)算法的實(shí)現(xiàn) 41
2.6.1 兩層神經(jīng)網(wǎng)絡(luò)模型 42
2.6.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 44
2.6.3 基于測(cè)試數(shù)據(jù)的評(píng)價(jià) 45
2.7　練習(xí)題 47
本章小結(jié) 47
3 神經(jīng)網(wǎng)絡(luò)的反向傳播 48
3.1　反向傳播的基礎(chǔ)知識(shí) 48
3.2　反向傳播的實(shí)現(xiàn) 49
3.2.1 ReLU層 49
3.2.2 sigmoid層 51
3.2.3 Linear層 51
3.2.4 softmax-with-Loss層 53
3.3　學(xué)習(xí)算法的實(shí)現(xiàn) 55
3.3.1 構(gòu)建多層神經(jīng)網(wǎng)絡(luò)模型 55
3.3.2 隨機(jī)梯度下降法 60
3.4　訓(xùn)練與預(yù)測(cè) 61
3.4.1 構(gòu)建訓(xùn)練器 62
3.4.2 訓(xùn)練與推理 66
3.5　練習(xí)題 71
本章小結(jié) 72
4 改善神經(jīng)網(wǎng)絡(luò) 73
4.1　優(yōu)化算法 73
4.1.1 動(dòng)量法 75
4.1.2 AdaGrad 76
4.1.3 RMSprop 77
4.1.4 Adam 79
4.1.5 更新方法比較 80
4.1.6 改進(jìn)訓(xùn)練器 82
4.2　數(shù)值穩(wěn)定性和模型初始化 82
4.2.1 梯度消失和梯度爆炸 82
4.2.2 抑制梯度異常初始化 84
4.2.3 權(quán)重初始值的比較 85
4.3　正則化與規(guī)范化 87
4.3.1 過擬合與欠擬合 87
4.3.2 權(quán)值衰減 89
4.3.3 Dropout正則化 89
4.3.4 批量規(guī)范化 90
4.3.5 改進(jìn)模型 93
4.4　練習(xí)題 95
本章小結(jié) 96
5 卷積神經(jīng)網(wǎng)絡(luò) 97
5.1　從全連接到卷積 97
5.1.1 卷積運(yùn)算 97
5.1.2 填充 101
5.1.3 步幅 102
5.1.4 三維數(shù)據(jù)的卷積運(yùn)算 103
5.2　卷積層 105
5.2.1 卷積計(jì)算 105
5.2.2 四維數(shù)組 107
5.2.3 基于im2col函數(shù)的展開 107
5.2.4 卷積層的實(shí)現(xiàn) 108
5.3　匯聚層 111
5.3.1 匯聚運(yùn)算 112
5.3.2 匯聚層的實(shí)現(xiàn) 113
5.4　LeNet網(wǎng)絡(luò) 114
5.4.1 構(gòu)建模型 115
5.4.2 模型訓(xùn)練 120
5.4.3 預(yù)測(cè) 122
5.5　卷積神經(jīng)網(wǎng)絡(luò)的可視化 124
5.6　練習(xí)題 126
本章小結(jié) 127
6 深度學(xué)習(xí)實(shí)踐 128
6.1　深度學(xué)習(xí)的工作流程 128
6.1.1 定義任務(wù) 128
6.1.2 開發(fā)模型 130
6.1.3 部署模型 133
6.2　訓(xùn)練一個(gè)圖像分類模型 133
6.2.1 創(chuàng)建圖像數(shù)據(jù)集 134
6.2.2 數(shù)據(jù)預(yù)處理 135
6.2.3 構(gòu)建并訓(xùn)練模型 139
6.3　文本分類 143
6.3.1 準(zhǔn)備文本數(shù)據(jù) 143
6.3.2 構(gòu)建網(wǎng)絡(luò) 149
6.4　練習(xí)題 151
本章小結(jié) 151
第二部分 實(shí)戰(zhàn)篇
7 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)階 154
7.1　深度學(xué)習(xí)框架 154
7.1.1 神經(jīng)網(wǎng)絡(luò)剖析 154
7.1.2 實(shí)現(xiàn)AlexNet網(wǎng)絡(luò) 156
7.1.3 數(shù)據(jù)預(yù)處理 158
7.1.4 網(wǎng)絡(luò)訓(xùn)練 159
7.2　數(shù)據(jù)增強(qiáng) 160
7.2.1 使用數(shù)據(jù)增強(qiáng) 160
7.2.2 訓(xùn)練網(wǎng)絡(luò) 162
7.3　使用塊的網(wǎng)絡(luò)（VGG） 163
7.3.1 VGG塊 163
7.3.2 VGG概述 164
7.3.3 訓(xùn)練模型 166
7.4　殘差網(wǎng)絡(luò) 169
7.4.1 殘差塊 169
7.4.2 ResNet 171
7.4.3 訓(xùn)練模型 173
7.5　微調(diào)模型 174
7.6　練習(xí)題 179
本章小結(jié) 180
8 目標(biāo)檢測(cè) 181
8.1　目標(biāo)檢測(cè)的基本概念 181
8.1.1 目標(biāo)定位 181
8.1.2 正樣本制作 182
8.1.3 交并比 186
8.1.4 先驗(yàn)框 187
8.1.5 非極大值抑制 189
8.2　YOLOv3 191
8.2.1 基本框架 191
8.2.2 產(chǎn)生候選區(qū)域 193
8.2.3 特征提取 194
8.2.4 解碼預(yù)測(cè)結(jié)果 199
8.2.5 損失函數(shù) 203
8.3　訓(xùn)練自己的YOLOv3模型 208
8.3.1 數(shù)據(jù)集的準(zhǔn)備 208
8.3.2 數(shù)據(jù)集的處理 208
8.3.3 開始網(wǎng)絡(luò)訓(xùn)練 210
8.3.4 訓(xùn)練結(jié)果預(yù)測(cè) 211
8.4　練習(xí)題 212
本章小結(jié) 212
9 中文文本分類 213
9.1　詞嵌入 213
9.1.1 什么是詞嵌入 214
9.1.2 利用詞嵌入 215
9.2　循環(huán)神經(jīng)網(wǎng)絡(luò) 217
9.2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)概述 218
9.2.2 理解LSTM層 219
9.2.3 基于LSTM的中文文本分類 221
9.3　注意力機(jī)制 222
9.3.1 注意力提示 223
9.3.2 自注意力 224
9.3.3 多頭注意力 226
9.4　Transformer 228
9.5　位置編碼 230
9.6　練習(xí)題 232
本章小結(jié) 233
10 超越文本分類 234
10.1　序列到序列的學(xué)習(xí) 234
10.1.1 編碼器-解碼器架構(gòu) 234
10.1.2 Transformer解碼器 236
10.2　機(jī)器翻譯 239
10.2.1 準(zhǔn)備語料 239
10.2.2 端到端Transformer 243
10.3　文本生成 245
10.3.1 如何生成序列數(shù)據(jù) 245
10.3.2 采樣策略的重要性 246
10.3.3 用keras實(shí)現(xiàn)文本生成 247
10.3.4 可變溫度采樣的文本生成 249
10.4　練習(xí)題 251
本章小結(jié) 252
11 視頻動(dòng)作識(shí)別 253
11.1　視頻動(dòng)作識(shí)別與數(shù)據(jù)集 253
11.1.1 數(shù)據(jù)集簡(jiǎn)介 253
11.1.2 數(shù)據(jù)集獲取及劃分 254
11.1.3 數(shù)據(jù)集預(yù)處理 255
11.2　基于CNN-RNN架構(gòu)的視頻分類 258
11.2.1 數(shù)據(jù)準(zhǔn)備 259
11.2.2 創(chuàng)建序列模型 264
11.2.3 推斷 265
11.3　基于Transformer的視頻分類 267
11.3.1 數(shù)據(jù)準(zhǔn)備 268
11.3.2 構(gòu)建Transformer模型 271
11.3.3 模型推斷 274
11.4　練習(xí)題 276
本章小結(jié) 276