目錄 第Ⅰ部分 深度學(xué)習(xí)簡(jiǎn)介 1 第 1章 生物視覺(jué)與機(jī)器視覺(jué) 2 1.1 生物視覺(jué) 2 1.2 機(jī)器視覺(jué) 6 1.2.1 神經(jīng)認(rèn)知機(jī) 7 1.2.2 LeNet-5 7 1.2.3 傳統(tǒng)機(jī)器學(xué)習(xí)方法 9 1.2.4 ImageNet和ILSVRC 10 1.2.5 AlexNet 10 1.3 TensorFlow Playground 13 1.4 Quick，Draw！ 14 1.5 小結(jié) 15 第 2章 人機(jī)語(yǔ)言 16 2.1 自然語(yǔ)言處理的深度學(xué)習(xí) 16 2.1.1 深度學(xué)習(xí)網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)表征 16 2.1.2 自然語(yǔ)言處理 17 2.1.3 自然語(yǔ)言處理的深度學(xué)習(xí)簡(jiǎn)史 18 2.2 語(yǔ)言的計(jì)算表示 19 2.2.1 獨(dú)熱編碼 19 2.2.2 詞向量 20 2.2.3 詞向量算法 22 2.2.4 word2viz 23 2.2.5 局部化與分布式表示 24 2.3 自然人類語(yǔ)言要素 25 2.4 Google Duplex 27 2.5 小結(jié) 28 第3章 機(jī)器藝術(shù) 29 3.1 一個(gè)熱鬧的通宵 29 目錄 2 3.2 偽人臉?biāo)惴?31 3.3 風(fēng)格遷移：照片與莫奈風(fēng)格間的相互轉(zhuǎn)換 33 3.4 讓你的素描更具真實(shí)感 34 3.5 基于文本創(chuàng)建真實(shí)感圖像 35 3.6 使用深度學(xué)習(xí)進(jìn)行圖像處理 35 3.7 小結(jié) 36 第4章 對(duì)弈機(jī) 38 4.1 人工智能、深度學(xué)習(xí)和其他技術(shù) 38 4.1.1 人工智能 39 4.1.2 機(jī)器學(xué)習(xí) 39 4.1.3 表征學(xué)習(xí) 39 4.1.4 人工神經(jīng)網(wǎng)絡(luò) 39 4.1.5 深度學(xué)習(xí) 40 4.1.6 機(jī)器視覺(jué) 40 4.1.7 自然語(yǔ)言處理 41 4.2 機(jī)器學(xué)習(xí)問(wèn)題的3種類型 41 4.2.1 監(jiān)督學(xué)習(xí) 41 4.2.2 無(wú)監(jiān)督學(xué)習(xí) 41 4.2.3 強(qiáng)化學(xué)習(xí) 42 4.3 深度強(qiáng)化學(xué)習(xí) 43 4.4 電子游戲 44 4.5 棋盤游戲 45 4.5.1 AlphaGo 46 4.5.2 AlphaGo Zero 49 4.5.3 AlphaZero 50 4.6 目標(biāo)操縱 52 4.7 主流的深度強(qiáng)化學(xué)習(xí)環(huán)境 53 4.7.1 OpenAI Gym 53 4.7.2 DeepMind Lab 54 4.7.3 Unity ML-Agents 55 4.8 人工智能的3種類型 56 4.8.1 狹義人工智能 56 4.8.2 通用人工智能 56 4.8.3 超級(jí)人工智能 56 4.9 小結(jié) 56 目錄 3 第Ⅱ部分 圖解深度學(xué)習(xí)基本理論 57 第5章 先代碼后理論 58 5.1 預(yù)備知識(shí) 58 5.2 安裝 58 5.3 用Keras構(gòu)建淺層網(wǎng)絡(luò) 59 5.3.1 MNIST手寫數(shù)字 59 5.3.2 淺層網(wǎng)絡(luò)簡(jiǎn)圖 60 5.3.3 加載數(shù)據(jù) 61 5.3.4 重新格式化數(shù)據(jù) 63 5.3.5 設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu) 64 5.3.6 訓(xùn)練深度學(xué)習(xí)模型 65 5.4 小結(jié) 66 第6章 熱狗人工神經(jīng)元檢測(cè)器 67 6.1 生物神經(jīng)元概述 67 6.2 感知機(jī) 68 6.2.1 熱狗/非熱狗感知機(jī) 68 6.2.2 本書中最重要的公式 71 6.3 現(xiàn)代人工神經(jīng)元與激活函數(shù) 72 6.3.1 sigmoid神經(jīng)元 72 6.3.2 tanh神經(jīng)元 73 6.3.3 ReLU：線性整流單元 74 6.4 選擇神經(jīng)元 74 6.5 小結(jié) 75 6.6 核心概念 75 第7章 人工神經(jīng)網(wǎng)絡(luò) 76 7.1 輸入層 76 7.2 全連接層 76 7.3 熱狗檢測(cè)全連接網(wǎng)絡(luò) 77 7.3.1 通過(guò)第 一個(gè)隱藏層的正向傳播 78 7.3.2 通過(guò)后續(xù)層的正向傳播 79 7.4 快餐分類網(wǎng)絡(luò)的softmax層 81 目錄 4 7.5 淺層網(wǎng)絡(luò)回顧 83 7.6 小結(jié) 84 7.7 核心概念 84 第8章 訓(xùn)練深度網(wǎng)絡(luò) 85 8.1 損失函數(shù) 85 8.1.1 平方損失函數(shù) 85 8.1.2 飽和神經(jīng)元 86 8.1.3 交叉熵?fù)p失函數(shù) 86 8.2 優(yōu)化：學(xué)習(xí)最小化損失 88 8.2.1 梯度下降 88 8.2.2 學(xué)習(xí)率 89 8.2.3 batch size和隨機(jī)梯度下降 90 8.2.4 解決局部極小值問(wèn)題 92 8.3 反向傳播 94 8.4 調(diào)整隱藏層層數(shù)和神經(jīng)元數(shù)量 94 8.5 用Keras構(gòu)建中等深度的神經(jīng)網(wǎng)絡(luò) 95 8.6 小結(jié) 98 8.7 核心概念 98 第9章 改進(jìn)深度網(wǎng)絡(luò) 99 9.1 權(quán)重初始化 99 9.2 不穩(wěn)定梯度 104 9.2.1 梯度消失 104 9.2.2 梯度爆炸 105 9.2.3 批量歸一化 105 9.3 模型泛化（避免過(guò)擬合） 106 9.3.1 L1/L2正則化 107 9.3.2 dropout 108 9.3.3 數(shù)據(jù)增強(qiáng) 110 9.4 理想的優(yōu)化器 110 9.4.1 動(dòng)量 110 9.4.2 Nesterov動(dòng)量 111 9.4.3 AdaGrad 111 9.4.4 AdaDelta和RMSProp 111 目錄 5 9.4.5 Adam 112 9.5 用Keras構(gòu)建深度神經(jīng)網(wǎng)絡(luò) 112 9.6 回歸 114 9.7 TensorBoard 116 9.8 小結(jié) 118 9.9 核心概念 118 第Ⅲ部分 深度學(xué)習(xí)的交互應(yīng)用 119 第 10章 機(jī)器視覺(jué) 120 10.1 卷積神經(jīng)網(wǎng)絡(luò) 120 10.1.1 視覺(jué)圖像的二維結(jié)構(gòu) 120 10.1.2 計(jì)算復(fù)雜度 120 10.1.3 卷積層 121 10.1.4 多個(gè)卷積核 122 10.1.5 卷積示例 123 10.1.6 卷積核的超參數(shù) 126 10.2 池化層 127 10.3 用Keras實(shí)現(xiàn)LeNet-5 129 10.4 用Keras實(shí)現(xiàn)AlexNet和VGGNet 133 10.5 殘差網(wǎng)絡(luò) 136 10.5.1 梯度消失：深度CNN的最大缺點(diǎn) 136 10.5.2 殘差連接 136 10.5.3 ResNet 138 10.6 機(jī)器視覺(jué)的應(yīng)用 139 10.6.1 目標(biāo)檢測(cè) 139 10.6.2 圖像分割 142 10.6.3 遷移學(xué)習(xí) 143 10.6.4 膠囊網(wǎng)絡(luò) 147 10.7 小結(jié) 147 10.8 核心概念 147 第 11章 自然語(yǔ)言處理 149 11.1 自然語(yǔ)言數(shù)據(jù)的預(yù)處理 149 11.1.1 分詞 151 目錄 6 11.1.2 將所有字符轉(zhuǎn)換成小寫 153 11.1.3 刪除停頓詞和標(biāo)點(diǎn)符號(hào) 153 11.1.4 詞干提取 154 11.1.5 處理n-grams 155 11.1.6 預(yù)處理整個(gè)語(yǔ)料庫(kù) 156 11.2 通過(guò)word2vec創(chuàng)建詞嵌入 158 11.2.1 word2vec背后的基本理論 158 11.2.2 詞向量的評(píng)估 160 11.2.3 word2vec的運(yùn)行 160 11.2.4 詞向量的繪制 163 11.3 ROC曲線下的面積 167 11.3.1 混淆矩陣 168 11.3.2 計(jì)算ROC AUC指標(biāo) 169 11.4 通過(guò)常見(jiàn)網(wǎng)絡(luò)實(shí)現(xiàn)自然語(yǔ)言分類 171 11.4.1 加載IMDb電影評(píng)論 171 11.4.2 檢查IMDb數(shù)據(jù) 173 11.4.3 標(biāo)準(zhǔn)化評(píng)論長(zhǎng)度 176 11.4.4 全連接網(wǎng)絡(luò) 176 11.4.5 卷積網(wǎng)絡(luò) 182 11.5 序列數(shù)據(jù)的網(wǎng)絡(luò)設(shè)計(jì) 186 11.5.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 186 11.5.2 LSTM 189 11.5.3 雙向LSTM 192 11.5.4 堆疊的循環(huán)神經(jīng)網(wǎng)絡(luò) 192 11.5.5 seq2seq模型和注意力機(jī)制 193 11.5.6 自然語(yǔ)言處理中的遷移學(xué)習(xí) 194 11.6 非序列架構(gòu)——Keras函數(shù)式API 195 11.7 小結(jié) 198 11.8 核心概念 199 第 12章 生成對(duì)抗網(wǎng)絡(luò) 200 12.1 生成對(duì)抗網(wǎng)絡(luò)的基本理論 200 12.2 “Quick，Draw！”數(shù)據(jù)集 202 12.3 判別器網(wǎng)絡(luò) 205 12.4 生成器網(wǎng)絡(luò) 208 目錄 7 12.5 對(duì)抗網(wǎng)絡(luò) 211 12.6 訓(xùn)練生成對(duì)抗網(wǎng)絡(luò) 212 12.7 小結(jié) 218 12.8 核心概念 219 第 13章 深度強(qiáng)化學(xué)習(xí) 220 13.1 強(qiáng)化學(xué)習(xí)的基本理論 220 13.1.1 Cart-Pole 游戲 221 13.1.2 馬爾可夫決策過(guò)程 222 13.1.3 最優(yōu)策略 224 13.2 深度Q-Learning網(wǎng)絡(luò)的基本理論 225 13.2.1 值函數(shù) 226 13.2.2 Q值函數(shù) 226 13.2.3 估計(jì)最優(yōu)Q值 226 13.3 定義DQN智能體 227 13.3.1 初始化參數(shù) 229 13.3.2 構(gòu)建智能體的神經(jīng)網(wǎng)絡(luò)模型 231 13.3.3 記憶游戲 232 13.3.4 記憶回放訓(xùn)練 232 13.3.5 選擇要采取的行動(dòng) 233 13.3.6 保存和加載模型參數(shù) 234 13.4 與OpenAI Gym環(huán)境交互 234 13.5 通過(guò)SLM Lab進(jìn)行超參數(shù)優(yōu)化 236 13.6 DQN智能體以外的智能體 238 13.6.1 策略梯度算法和REINFORCE 算法 239 13.6.2 Actor-Critic算法 240 13.7 小結(jié) 240 13.8 核心概念 241 第Ⅳ部分 您與人工智能 243 第 14章 推進(jìn)專屬于您的深度學(xué)習(xí)項(xiàng)目 244 14.1 深度學(xué)習(xí)項(xiàng)目構(gòu)想 244 14.1.1 機(jī)器視覺(jué)和生成對(duì)抗網(wǎng)絡(luò) 244 目錄 8 14.1.2 自然語(yǔ)言處理 246 14.1.3 深度強(qiáng)化學(xué)習(xí) 246 14.1.4 轉(zhuǎn)換現(xiàn)有的機(jī)器學(xué)習(xí)項(xiàng)目 247 14.2 引申項(xiàng)目資源 248 14.3 建模過(guò)程和超參數(shù)調(diào)優(yōu) 249 14.4 深度學(xué)習(xí)框架 251 14.4.1 Keras和TensorFlow 251 14.4.2 PyTorch 253 14.4.3 MXNet、CNTK、Caffe等深度學(xué)習(xí) 框架 253 14.5 Software 2.0 253 14.6 邁向通用人工智能 255 14.7 小結(jié) 256 第Ⅴ部分 附錄 259 附錄A 神經(jīng)網(wǎng)絡(luò)的形式符號(hào) 260 附錄B 反向傳播 262 附錄C PyTorch 265 本書圖片來(lái)源 271