国产色一区二区三区精品视频,亚洲国产精品日韩高清秒播

本書根據(jù)李宏毅老師機器學習公開課中與深度學習相關的內(nèi)容編寫而成，介紹了卷積神經(jīng)網(wǎng)絡、Transformer、生成模型、自監(jiān)督學習（包括 BERT 和 GPT）等深度學習常見算法，并講解了對抗攻擊、領域自適應、強化學習、元學習、終身學習、網(wǎng)絡壓縮等深度學習相關的進階算法. 在理論嚴謹?shù)幕A上，本書保留了公開課中大量生動有趣的例子，幫助讀者從生活化的角度理解深度學習的概念、建模過程和核心算法細節(jié).

第 1 章機器學習基礎 1
1.1 案例學習 2
1.2 線性模型 7
1.2.1 分段線性曲線 9
1.2.2 模型變形 17
1.2.3 機器學習框架 21
第 2 章實踐方法論 22
2.1 模型偏差 22
2.2 優(yōu)化問題 23
2.3 過擬合 25
2.4 交叉驗證 29
2.5 不匹配 30
參考資料 31
第 3 章深度學習基礎 32
3.1 局部最小值與鞍點 32
3.1.1 臨界點及其種類 32
3.1.2 判斷臨界值種類的方法 33
3.1.3 逃離鞍點的方法 37
3.2 批量和動量 39
3.2.1 批量大小對梯度下降法的影響..40
3.2.2 動量法 45
3.3 自適應學習率 47
3.3.1 AdaGrad 50
3.3.2 RMSProp 53
3.3.3 Adam 54
3.4 學習率調(diào)度 54
3.5 優(yōu)化總結 56
3.6 分類 57
3.6.1 分類與回歸的關系 57
3.6.2 帶有 softmax 函數(shù)的分類 58
3.6.3 分類損失 59
3.7 批量歸一化 61
3.7.1 放入深度神經(jīng)網(wǎng)絡
3.7.2 測試時的批量歸一化 67
3.7.3 內(nèi)部協(xié)變量偏移 68
參考資料 69
第 4 章卷積神經(jīng)網(wǎng)絡 71
4.1 觀察 1：檢測模式不需要整幅圖像 .. 73
4.2 簡化 1：感受野 74
4.3 觀察 2：同樣的模式可能出現(xiàn)在圖像的不同區(qū)域 .. 78
4.4 簡化 2：共享參數(shù) 79
4.5 簡化 1 和簡化 2 的總結 .. 81
4.6 觀察 3：下采樣不影響模式檢測 .. 86
4.7 簡化 3：匯聚 86
4.8 卷積神經(jīng)網(wǎng)絡的應用：下圍棋 .. 88
參考資料 91
第 5 章循環(huán)神經(jīng)網(wǎng)絡 92
5.1 獨熱編碼 93
5.2 什么是 RNN 94
5.3 RNN 架構 96
5.4 其他 RNN 97
5.4.1 Elman 網(wǎng)絡和 Jordan 網(wǎng)絡 98
5.4.2 雙向循環(huán)神經(jīng)網(wǎng)絡 98
5.4.3 LSTM 99
5.4.4 LSTM 舉例 101
5.4.5 LSTM 運算示例 102
5.5 LSTM 網(wǎng)絡原理 105
5.6 RNN 的學習方式 109
5.7 如何解決 RNN 的梯度消失或梯度爆炸問題..113
5.8 RNN 的其他應用 114
5.8.1 多對一序列 114
5.8.2 多對多序列 115
5.8.3 序列到序列 117
參考資料 119
第 6 章自注意力機制 120
6.1 輸入是向量序列的情況.. 120
6.1.1 類型 1：輸入與輸出數(shù)量相同 122
6.1.2 類型 2：輸入是一個序列，輸出是一個標簽 123
6.1.3 類型 3：序列到序列任務 124
6.2 自注意力機制的運作原理..124
6.3 多頭自注意力 134
6.4 位置編碼 136
6.5 截斷自注意力 138
6.6 對比自注意力與卷積神經(jīng)網(wǎng)絡 139
6.7 對比自注意力與循環(huán)神經(jīng)網(wǎng)絡 141
參考資料 143
第 7 章 Transformer 145
7.1 序列到序列模型 145
7.1.1 語音識別、機器翻譯與語音翻譯 145
7.1.2 語音合成 146
7.1.3 聊天機器人 147
7.1.4 問答任務 147
7.1.5 句法分析 148
7.1.6 多標簽分類 149
7.2 Transformer 結構 149
7.3 Transformer 編碼器 151
7.4 Transformer 解碼器 154
7.4.1 自回歸解碼器 154
7.4.2 非自回歸解碼器 161
7.5 編碼器解碼器注意力 162
7.6 Transformer 的訓練過程 ..
7.7 序列到序列模型訓練常用技巧 166
7.7.1 復制機制 166
7.7.2 引導注意力 166
7.7.3 束搜索 167
7.7.4 加入噪聲 168
7.7.5 使用強化學習訓練 168
7.7.6 計劃采樣 169
參考資料 170
第 8 章生成模型 171
8.1 生成對抗網(wǎng)絡 171
8.1.1 生成器 171
8.1.2 判別器 175
8.2 生成器與判別器的訓練過程 176
8.3 GAN 的應用案例 178
8.4 GAN 的理論介紹 180
8.5 WGAN 算法 183
8.6 GAN 訓練的難點與技巧 .. 188
8.7 GAN 的性能評估方法 190
8.8 條件型生成 194
8.9 CycleGAN 196
參考資料 199
第 9 章擴散模型 201
9.1 擴散模型生成圖片的過程..201
9.2 去噪模塊 202
9.3 訓練噪聲預測器 203
第 10 章自監(jiān)督學習 206
10.1 BERT 207
10.1.1 BERT 的使用方式 211
10.1.2 BERT 有用的原因 221
10.1.3 BERT 的變體 227
10.2 GPT 230
參考資料 234
第 11 章自編碼器 235
11.1 自編碼器的概念 235
11.2 為什么需要自編碼器 237
11.3 去噪自編碼器 238
11.4 自編碼器應用之特征解耦 239
11.5 自編碼器應用之離散隱表征 242
11.6 自編碼器的其他應用 245
第 12 章對抗攻擊 246
12.1 對抗攻擊簡介 246
12.2 如何進行網(wǎng)絡攻擊 248
12.3 快速梯度符號法 251
12.4 白箱攻擊與黑箱攻擊 252
12.5 其他模態(tài)數(shù)據(jù)被攻擊案例 256
12.6 現(xiàn)實世界中的攻擊 256
12.7 防御方式中的被動防御 260
12.8 防御方式中的主動防御 262
第 13 章遷移學習
13.1 領域偏移
13.2 領域自適應 265
13.3 領域泛化 271
參考資料 272
第 14 章強化學習 273
14.1 強化學習的應用 274
14.1.1 玩電子游戲 274
14.1.2 下圍棋 276
14.2 強化學習框架 276
14.2.1 第 1 步：定義函數(shù) 277
14.2.2 第 2 步：定義損失 278
14.2.3 第 3 步：優(yōu)化 278
14.3 評價動作的標準 282
14.3.1 使用即時獎勵作為評價標準 283
14.3.2 使用累積獎勵作為評價標準 283
14.3.3 使用折扣累積獎勵作為評價標準..284
14.3.4 使用折扣累積獎勵減去基線作為評價標準.. 285
14.3.5 Actor-Critic 288
14.3.6 優(yōu)勢 Actor-Critic 293
參考資料 294
第 15 章元學習 295
15.1 元學習的概念 295
15.2 元學習的三個步驟 296
15.3 元學習與機器學習 299
15.4 元學習的實例算法 301
15.5 元學習的應用 305
參考資料 306
第 16 章終身學習 307
16.1 災難性遺忘 307
16.2 終身學習的評估方法 311
16.3 終身學習問題的主要解法 312
第 17 章網(wǎng)絡壓縮 316
17.1 網(wǎng)絡剪枝 316
17.2 知識蒸餾 321
17.3 參數(shù)量化 324
17.4 網(wǎng)絡架構設計 325
17.5 動態(tài)計算 329
參考資料 332
第 18 章可解釋性機器學習 333
18.1 可解釋性人工智能的重要性 333
18.2 決策樹模型的可解釋性 334
18.3 可解釋性機器學習的目標 335
18.4 可解釋性機器學習中的局部解釋 335
18.5 可解釋性機器學習中的全局解釋 342
18.6 擴展與小結 345
參考資料 345
第 19 章 ChatGPT 346
19.1 ChatGPT 簡介和功能 346
19.2 對 ChatGPT 的誤解 346
19.3 ChatGPT 背后的關鍵技術預訓練..349
19.4 ChatGPT 帶來的研究問題 352
索引 354

你還可能感興趣

我要評論