目錄 第 1章 深度學(xué)習(xí)簡(jiǎn)介及TensorFlow安裝 1 【學(xué)習(xí)目標(biāo)】 1 【導(dǎo)言】 1 1.1 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與人工智能 2 1.1.1 機(jī)器學(xué)習(xí) 2 1.1.2 深度學(xué)習(xí) 3 1.1.3 機(jī)器學(xué)習(xí)與深度學(xué)習(xí)同人工智能的關(guān)系 4 1.2 深度學(xué)習(xí)與回歸分析 5 1.2.1 回歸分析理論框架 5 1.2.2 深度學(xué)習(xí)與回歸分析的聯(lián)系 6 1.3 深度學(xué)習(xí)的發(fā)展歷程 7 1.4 深度學(xué)習(xí)擅長(zhǎng)的領(lǐng)域 9 1.4.1 圖像處理 9 1.4.2語(yǔ)音識(shí)別 12 1.4.3自然語(yǔ)言處理 12 1.4.4棋牌競(jìng)技 13 1.4.5視頻處理 14 1.5 安裝TensorFlow 14 1.5.1 TensorFlow和Keras介紹 15 1.5.2 硬件環(huán)境準(zhǔn)備 15 1.5.3 軟件環(huán)境準(zhǔn)備 16 1.5.4 安裝Anaconda 17 1.5.5 安裝TensorFlow及Keras軟件包 17 1.5.6 Jupyter Notebook運(yùn)行深度學(xué)習(xí) 19 課后習(xí)題 20 第 2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 21 【學(xué)習(xí)目標(biāo)】 21 【導(dǎo)言】 21 2.1 神經(jīng)網(wǎng)絡(luò)模型介紹 21 2.1.1 M-P神經(jīng)元模型 22 2.1.2 感知機(jī)模型 23 2.1.3 多層感知機(jī)模型 24 2.2 激活函數(shù) 25 2.2.1 sigmoid激活函數(shù) 26 2.2.2 tanh激活函數(shù) 27 2.2.3 Relu激活函數(shù) 28 2.3 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 29 2.3.1 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程 29 2.3.2 前向傳播算法 31 2.3.3 損失函數(shù) 32 2.3.4 基于梯度下降算法的預(yù)備知識(shí) 33 2.3.5批量梯度下降算法（Mini-batch） 35 2.3.6批量梯度下降算法的改進(jìn) 36 2.3.7 反向傳播算法 38 2.4 神經(jīng)網(wǎng)絡(luò)的過(guò)擬合及處理方法 40 2.4.1 過(guò)擬合 41 2.4.2 正則化方法 42 2.4.3 Dropout方法 44 課后習(xí)題 46 第3章 神經(jīng)網(wǎng)絡(luò)的TensorFlow實(shí)現(xiàn) 47 【學(xué)習(xí)目標(biāo)】 47 【導(dǎo)言】 47 3.1 神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)結(jié)構(gòu) 47 3.1.1 張量及其分類 47 3.1.2 張量數(shù)據(jù)示例 49 3.2 圖像數(shù)據(jù)的存儲(chǔ)與運(yùn)算 51 3.2.1圖像數(shù)據(jù)的讀入與展示 52 3.2.2 圖像數(shù)據(jù)的代數(shù)運(yùn)算 54 3.3線性回歸模型的TensorFlow實(shí)現(xiàn) 55 3.3.1 線性回歸模型 55 3.3.2 案例：美食評(píng)分 56 3.4 邏輯回歸模型的TensorFlow實(shí)現(xiàn) 63 3.4.1 邏輯回歸模型 63 3.4.2 Softmax回歸模型 64 3.4.3 案例：手寫(xiě)數(shù)字識(shí)別 65 課后習(xí)題 70 第4章 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 71 【學(xué)習(xí)目標(biāo)】 71 【導(dǎo)言】 71 4.1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 71 4.2 “卷積”與“池化”的通俗理解 72 4.2.1 對(duì)卷積的理解 72 4.2.2 對(duì)池化的理解 73 4.3 卷積 74 4.3.1 二維離散卷積 75 4.3.2 卷積結(jié)果的輸出尺寸 80 4.3.3 多深度的離散卷積 81 4.3.4 卷積運(yùn)算的三個(gè)特性 90 4.4 池化操作 92 4.4.1 same池化 92 4.4.2 valid池化 99 課后習(xí)題 105 第5章 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)（上） 106 【學(xué)習(xí)目標(biāo)】 106 【導(dǎo)言】 106 5.1 LeNet-5介紹 107 5.1.1 LeNet-5網(wǎng)絡(luò)結(jié)構(gòu) 107 5.1.2 案例：LeNet-5手寫(xiě)數(shù)字識(shí)別 108 5.2 AlexNet介紹 113 5.2.1 AlexNet網(wǎng)絡(luò)結(jié)構(gòu) 113 5.2.2 AlexNet創(chuàng)新點(diǎn) 114 5.2.3 案例：中文字體識(shí)別——隸書(shū)和行楷 115 5.3 VGG介紹 119 5.3.1 VGG網(wǎng)絡(luò)結(jié)構(gòu) 119 5.3.2 案例：加利福尼亞理工學(xué)院鳥(niǎo)類數(shù)據(jù)庫(kù)分類 121 5.4 Batch Normalization技巧 127 5.4.1 Batch Normalization核心思想 127 5.4.2 帶有BN的邏輯回歸 128 5.4.3 帶有BN的寬度模型 131 5.4.4 帶有BN的深度模型 133 5.5 Data Augmentation技巧 135 5.5.1 Data Augmentation核心思想 135 5.5.2 數(shù)據(jù)增強(qiáng)實(shí)例：貓狗分類 136 課后習(xí)題 140 第6章 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)（下） 141 【學(xué)習(xí)目標(biāo)】 141 【導(dǎo)言】 141 6.1 Inception模型介紹 141 6.1.1 Inception網(wǎng)絡(luò)結(jié)構(gòu) 142 6.1.2 案例：Flower分類 147 6.2 ResNet模型介紹 150 6.2.1 ResNet網(wǎng)絡(luò)結(jié)構(gòu) 150 6.2.2 案例：花的三分類問(wèn)題 154 6.3 DenseNet模型介紹 158 6.3.1 DenseNet網(wǎng)絡(luò)結(jié)構(gòu) 158 6.3.2案例：性別區(qū)分 163 6.4 MobileNet模型介紹 167 6.4.1 MobileNet網(wǎng)絡(luò)結(jié)構(gòu) 167 6.4.2 案例：狗的分類 172 6.5 遷移學(xué)習(xí) 176 6.5.1 深度學(xué)習(xí)的現(xiàn)實(shí)困難 176 6.5.2 遷移學(xué)習(xí)原理 177 6.5.3 Keras中的遷移學(xué)習(xí)模型 178 課后習(xí)題 182 第7章 深度學(xué)習(xí)用于文本序列 183 【學(xué)習(xí)目標(biāo)】 183 【導(dǎo)言】 183 7.1詞嵌入 184 7.1.1 詞嵌入前期知識(shí) 184 7.1.2 詞嵌入的理論原理 187 7.1.3詞嵌入的程序?qū)崿F(xiàn) 189 7.2機(jī)器“作詩(shī)”初級(jí)：邏輯回歸 192 7.2.1 機(jī)器“作詩(shī)”原理 192 7.2.2原理實(shí)現(xiàn)：數(shù)據(jù)處理 195 7.2.3原理實(shí)現(xiàn)：邏輯回歸 200 7.3機(jī)器“作詩(shī)”進(jìn)階（1）：RNN 205 7.3.1 RNN前期知識(shí) 206 7.3.2 RNN模型介紹 208 7.3.3原理實(shí)現(xiàn)：數(shù)據(jù)處理 209 7.3.4原理實(shí)現(xiàn)：RNN作詩(shī) 213 7.4 機(jī)器“作詩(shī)”進(jìn)階（2）：LSTM 216 7.4.1 LSTM前期知識(shí) 216 7.4.2 LSTM模型介紹 219 7.4.3 原理實(shí)現(xiàn)：數(shù)據(jù)準(zhǔn)備 224 7.4.4原理實(shí)現(xiàn)：LSTM代碼實(shí)現(xiàn) 225 7.5 文本序列應(yīng)用實(shí)例：機(jī)器翻譯 228 7.5.1機(jī)器翻譯原理 228 7.5.2 案例：中英文翻譯 234 課后習(xí)題 242 第8章 深度學(xué)習(xí)實(shí)驗(yàn)項(xiàng)目 243 【學(xué)習(xí)目標(biāo)】 243 【導(dǎo)言】 243 8.1實(shí)驗(yàn)一：LeNet模型 244 8.2實(shí)驗(yàn)二：AlexNet模型 244 8.3 實(shí)驗(yàn)三：VGG 16模型 244 8.4 實(shí)驗(yàn)四：Inception V3模型 245 8.5 實(shí)驗(yàn)五：ResNet模型 245 8.6 實(shí)驗(yàn)六：DenseNet模型 246 8.7 實(shí)驗(yàn)七：MobileNet模型 246 8.8 實(shí)驗(yàn)八：邏輯回歸作詩(shī) 247 8.9 實(shí)驗(yàn)九：RNN模型作詩(shī) 247 8.10 實(shí)驗(yàn)十：LSTM模型作詩(shī) 248