第1章 機(jī)器學(xué)習(xí)概述 1 1.1 機(jī)器學(xué)習(xí)的基本概念 1 1.2 機(jī)器學(xué)習(xí)的基本類(lèi)別 1 1.2.1 經(jīng)典機(jī)器學(xué)習(xí) 1 1.2.2 現(xiàn)代機(jī)器學(xué)習(xí) 6 1.3 機(jī)器學(xué)習(xí)的評(píng)估指標(biāo) 7 1.3.1 機(jī)器學(xué)習(xí)三要素 8 1.3.2 評(píng)估方法 9 1.4 機(jī)器學(xué)習(xí)典型應(yīng)用 11 1.4.1 專(zhuān)家系統(tǒng) 11 1.4.2 語(yǔ)音識(shí)別 12 1.4.3 機(jī)器翻譯 12 1.4.4 自動(dòng)駕駛 13 1.4.5 人臉檢測(cè) 13 本章小結(jié) 14 習(xí)題 14 參考文獻(xiàn) 14 第2章 數(shù)學(xué)基礎(chǔ)知識(shí) 15 2.1 矩陣論基礎(chǔ) 15 2.1.1 矩陣代數(shù)基礎(chǔ) 15 2.1.2 矩陣方程求解 18 2.1.3 矩陣分析 19 2.2 最優(yōu)化基礎(chǔ) 21 2.2.1 最小二乘與線性規(guī)劃 21 2.2.2 凸優(yōu)化 22 2.2.3 非線性?xún)?yōu)化 23 2.3 統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ) 25 2.3.1 條件概率 25 2.3.2 期望與方差 25 2.3.3 最大似然估計(jì) 26 本章小結(jié) 27 習(xí)題 27 參考文獻(xiàn) 28 第3章 線性回歸與分類(lèi)模型 29 3.1 線性回歸模型 29 3.1.1 線性函數(shù)模型 30 3.1.2 偏置與方差分解 37 3.2 貝葉斯線性回歸 38 3.2.1 問(wèn)題定義 38 3.2.2 問(wèn)題求解 39 3.3 正則化線性回歸 41 3.3.1 嶺回歸 42 3.3.2 Lasso回歸 44 3.3.3 邏輯回歸 45 3.4 線性分類(lèi)模型 46 3.4.1 生成式模型與判別式模型 47 3.4.2 線性判別分析 47 3.4.3 廣義線性判別分析 48 本章小結(jié) 49 習(xí)題 49 參考文獻(xiàn) 49 第4章 特征提取與選擇 51 4.1 經(jīng)典特征提取方法 52 4.1.1 主成分分析法 52 4.1.2 線性判別方法 54 4.1.3 流形學(xué)習(xí)方法 55 4.2 經(jīng)典特征選擇算法 58 4.2.1 特征選擇基本步驟 58 4.2.2 特征選擇搜索策略 61 4.2.3 特征選擇評(píng)價(jià)準(zhǔn)則 65 4.3 稀疏表示與字典學(xué)習(xí) 68 4.3.1 稀疏表示 69 4.3.2 字典學(xué)習(xí) 70 本章小結(jié) 71 習(xí)題 71 參考文獻(xiàn) 72 第5章 決策樹(shù)與集成學(xué)習(xí) 73 5.1 決策樹(shù) 73 5.2 經(jīng)典決策樹(shù)算法 74 5.2.1 ID3算法 74 5.2.2 C4.5算法 75 5.2.3 CART算法 75 5.3 決策樹(shù)的剪枝 76 5.3.1 預(yù)剪枝 77 5.3.2 后剪枝 77 5.4 集成學(xué)習(xí) 78 5.4.1 Bagging 80 5.4.2 Boosting 81 5.4.4 Stacking 83 5.4.5 深度集成學(xué)習(xí) 83 本章小結(jié) 87 習(xí)題 87 參考文獻(xiàn) 89 第6章 支持向量機(jī) 91 6.1 支持向量機(jī)簡(jiǎn)介 91 6.2 線性支持向量機(jī) 91 6.2.1 函數(shù)間隔與幾何間隔 92 6.2.2 線性可分問(wèn)題 93 6.2.3 對(duì)偶問(wèn)題 94 6.3 非線性支持向量機(jī) 96 6.3.1 核方法 97 6.3.2 常用核函數(shù) 98 6.3.3 非線性支持向量分類(lèi) 99 6.4 支持向量機(jī)的應(yīng)用 99 本章小結(jié) 100 習(xí)題 100 參考文獻(xiàn) 100 第7章 貝葉斯決策理論 101 7.1 貝葉斯分類(lèi)器 101 7.1.1 貝葉斯決策理論 101 7.1.2 最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則 103 7.2 樸素貝葉斯分類(lèi)器 105 7.3 貝葉斯網(wǎng)絡(luò) 106 7.4 EM算法 106 本章小結(jié) 107 習(xí)題 107 參考文獻(xiàn) 108 第8章 神經(jīng)網(wǎng)絡(luò) 109 8.1 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 109 8.1.1 神經(jīng)網(wǎng)絡(luò)發(fā)展史 109 8.1.2 神經(jīng)元 110 8.1.3 感知器 110 8.2 卷積神經(jīng)網(wǎng)絡(luò) 111 8.3 前饋神經(jīng)網(wǎng)絡(luò) 113 8.4 反向傳播算法 114 8.5 其他常見(jiàn)神經(jīng)網(wǎng)絡(luò) 115 8.5.1 RBF網(wǎng)絡(luò) 115 8.5.2 SOM網(wǎng)絡(luò) 115 8.5.3 Hopfield網(wǎng)絡(luò) 116 本章小結(jié) 118 習(xí)題 119 參考文獻(xiàn) 119 第9章 聚類(lèi)方法 121 9.1 聚類(lèi)方法概述 121 9.2 K均值聚類(lèi) 122 9.3 層次聚類(lèi) 124 9.4 密度聚類(lèi) 125 9.4.1 DBSCAN算法 126 9.4.2 OPTICS算法 126 9.4.3 Mean Shift算法 127 9.5 稀疏子空間聚類(lèi) 128 本章小結(jié) 129 習(xí)題 129 參考文獻(xiàn) 130 第10章 半監(jiān)督學(xué)習(xí) 131 10.1 半監(jiān)督學(xué)習(xí)概述 131 10.2 半監(jiān)督分類(lèi)方法 132 10.2.1 增量學(xué)習(xí) 132 10.2.2 生成式半監(jiān)督學(xué)習(xí) 132 10.2.3 半監(jiān)督支持向量機(jī) 133 10.2.4 基于圖的半監(jiān)督學(xué)習(xí) 134 10.2.5 基于分歧的半監(jiān)督學(xué)習(xí) 136 10.3 半監(jiān)督聚類(lèi)方法 136 本章小結(jié) 137 習(xí)題 138 參考文獻(xiàn) 138 第11章 深度學(xué)習(xí) 139 11.1 深度學(xué)習(xí)簡(jiǎn)介 139 11.2 深度卷積神經(jīng)網(wǎng)絡(luò) 141 11.2.1 卷積層 141 11.2.2 非線性激活層 143 11.2.3 池化層 143 11.2.4 全連接層 144 11.3 受限玻耳茲曼機(jī)（RBM）與 深度信念網(wǎng)絡(luò)（DBN） 146 11.3.1 玻耳茲曼機(jī) 146 11.3.2 受限玻耳茲曼機(jī) 147 11.3.3 深度信念網(wǎng)絡(luò) 148 11.4 深度自編碼器 151 11.4.1 欠完備自編碼器 152 11.4.2 正則自編碼器 153 11.4.3 自編碼器的應(yīng)用 154 11.5 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）與 長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò) 155 11.5.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 155 11.5.2 長(zhǎng)短期記憶網(wǎng)絡(luò) 157 本章小結(jié) 160 習(xí)題 161 參考文獻(xiàn) 161 第12章 深度強(qiáng)化學(xué)習(xí) 165 12.1 任務(wù)與獎(jiǎng)賞 166 12.2 多臂老虎機(jī) 167 12.2.1 守成與探索 167 12.2.2 多臂老虎機(jī)問(wèn)題建模及 ε貪婪法 168 12.3 馬爾可夫決策過(guò)程（MDP） 169 12.3.1 引入MDP的原因 169 12.3.2 MDP的價(jià)值函數(shù) 170 12.3.3 狀態(tài)價(jià)值函數(shù)與動(dòng)作價(jià)值函數(shù)的 關(guān)系 170 12.3.4 最優(yōu)價(jià)值函數(shù) 171 12.4 動(dòng)態(tài)規(guī)劃 172 12.5 蒙特卡羅法 173 12.5.1 不基于模型的強(qiáng)化學(xué)習(xí) 173 12.5.2 預(yù)測(cè)問(wèn)題 174 12.5.3 控制問(wèn)題 174 本章小結(jié) 175 習(xí)題 175 參考文獻(xiàn) 176 第13章 生成對(duì)抗網(wǎng)絡(luò) 179 13.1 生成對(duì)抗網(wǎng)絡(luò)簡(jiǎn)介 179 13.2 網(wǎng)絡(luò)結(jié)構(gòu) 180 13.3 訓(xùn)練過(guò)程 181 13.4 評(píng)價(jià)指標(biāo) 182 13.4.1 Inception Score(IS) 183 13.4.2 Mode Score(MS) 183 13.4.3 Fréchet Inception Distance(FID) 184 13.5 訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)面臨的 挑戰(zhàn) 184 13.5.1 模式崩潰 184 13.5.2 不收斂和不穩(wěn)定性 185 13.5.3 生成器梯度消失 185 13.6 生成對(duì)抗網(wǎng)絡(luò)經(jīng)典算法 185 13.6.1 InfoGAN 185 13.6.2 Conditional GAN(cGAN) 186 13.6.3 Deep Convolutional GAN(DCGAN) 188 13.7 生成對(duì)抗網(wǎng)絡(luò)的應(yīng)用 190 13.7.1 圖像超分辨 190 13.7.2 人臉生成 192 13.7.3 紋理合成 192 13.7.4 視頻領(lǐng)域的應(yīng)用 192 13.7.5 應(yīng)用于自然語(yǔ)言處理 193 本章小結(jié) 193 習(xí)題 193 參考文獻(xiàn) 194 第14章 膠囊網(wǎng)絡(luò) 195 14.1 膠囊網(wǎng)絡(luò)簡(jiǎn)介 195 14.2 膠囊的定義 196 14.3 膠囊網(wǎng)絡(luò)的結(jié)構(gòu) 196 14.4 動(dòng)態(tài)路由算法 198 14.5 膠囊網(wǎng)絡(luò)的損失函數(shù) 200 14.5.1 編碼器的損失函數(shù) 200 14.5.2 解碼器的損失函數(shù) 200 14.6 膠囊網(wǎng)絡(luò)典型算法 201 14.6.1 CapsuleGAN 201 14.6.2 Deep�睠onv�睠apsule 202 14.6.3 Faster MS�睠apsNet 203 14.6.4 MS�睠apsNet 205 14.7 膠囊網(wǎng)絡(luò)的應(yīng)用 207 14.7.1 醫(yī)學(xué)圖像 207 14.7.2 關(guān)系抽取 208 14.7.3 對(duì)抗性攻擊 208 本章小結(jié) 208 習(xí)題 209 參考文獻(xiàn) 209 第15章 圖卷積神經(jīng)網(wǎng)絡(luò) 211 15.1 符號(hào)的定義 212 15.2 圖卷積和圖池化的構(gòu)建 213 15.2.1 圖卷積的構(gòu)建 213 15.2.2 圖池化的構(gòu)建 217 15.3 圖卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 218 15.3.1 深層圖卷積神經(jīng)網(wǎng)絡(luò) 218 15.3.2 大規(guī)模網(wǎng)絡(luò)圖卷積技術(shù) 219 15.3.3 半監(jiān)督節(jié)點(diǎn)分類(lèi)問(wèn)題的 訓(xùn)練技術(shù) 220 15.4 圖卷積神經(jīng)網(wǎng)絡(luò)的典型算法 220 15.4.1 半監(jiān)督圖卷積網(wǎng)絡(luò) 220 15.4.2 HA�睪CN 222 15.4.3 GAT 224 15.5 圖卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用 225 15.5.1 網(wǎng)絡(luò)分析 225 15.5.2 社區(qū)發(fā)現(xiàn) 225 15.5.3 推薦系統(tǒng) 225 15.5.4 交通預(yù)測(cè) 226 15.5.5 生物化學(xué) 227 15.5.6 計(jì)算機(jī)視覺(jué) 228 15.5.7 自然語(yǔ)言處理 229 15.6 圖卷積神經(jīng)網(wǎng)絡(luò)的未來(lái)發(fā)展方向 229 15.6.1 深層的網(wǎng)絡(luò)結(jié)構(gòu) 229 15.6.2 大規(guī)模數(shù)據(jù) 230 15.6.3 多尺度的圖上任務(wù) 230 15.6.4 動(dòng)態(tài)變化的圖數(shù)據(jù) 230 15.6.5 圖神經(jīng)網(wǎng)絡(luò)的可解釋性 230 本章小結(jié) 231 習(xí)題 231 參考文獻(xiàn) 231 第16章 自監(jiān)督學(xué)習(xí) 233 16.1 自監(jiān)督學(xué)習(xí)概述 233 16.1.1 自監(jiān)督學(xué)習(xí)背景 233 16.1.2 術(shù)語(yǔ)解釋 235 16.1.3 自監(jiān)督學(xué)習(xí)前置任務(wù) 235 16.1.4 自監(jiān)督學(xué)習(xí)下游任務(wù) 238 16.1.5 自監(jiān)督學(xué)習(xí)數(shù)據(jù)集 240 16.2 自監(jiān)督學(xué)習(xí)方法 240 16.2.1 基于對(duì)比的自監(jiān)督學(xué)習(xí) 240 16.2.2 基于上下文的自監(jiān)督學(xué)習(xí) 245 16.2.3 基于時(shí)序的自監(jiān)督學(xué)習(xí) 248 16.3 自監(jiān)督學(xué)習(xí)的應(yīng)用拓展 249 16.3.1 自監(jiān)督學(xué)習(xí)輔助的知識(shí)蒸餾 249 16.3.2 自監(jiān)督半監(jiān)督學(xué)習(xí) 253 本章小結(jié) 255 習(xí)題 256 參考文獻(xiàn) 256 第17章 遷移學(xué)習(xí) 259 17.1 遷移學(xué)習(xí)概述 259 17.1.1 遷移學(xué)習(xí)的歷史 260 17.1.2 遷移學(xué)習(xí)的本質(zhì) 261 17.2 遷移學(xué)習(xí) 262 17.2.1 基于實(shí)例的遷移學(xué)習(xí) 263 17.2.2 基于特征的遷移學(xué)習(xí) 264 17.2.3 基于參數(shù)的遷移學(xué)習(xí) 266 17.2.4 基于關(guān)系的遷移學(xué)習(xí) 267 17.3 深度遷移學(xué)習(xí) 269 17.3.1 基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí) 269 17.3.2 基于生成對(duì)抗網(wǎng)絡(luò)的 深度遷移學(xué)習(xí) 272 17.4 遷移學(xué)習(xí)的應(yīng)用 274 本章小結(jié) 277 習(xí)題 277 參考文獻(xiàn) 278 第18章 自動(dòng)機(jī)器學(xué)習(xí) 281 18.1 自動(dòng)機(jī)器學(xué)習(xí)基礎(chǔ) 281 18.1.1 初識(shí)自動(dòng)機(jī)器學(xué)習(xí) 281 18.1.2 自動(dòng)機(jī)器學(xué)習(xí)的構(gòu)成 282 18.2 數(shù)據(jù)準(zhǔn)備 283 18.2.1 數(shù)據(jù)收集 284 18.2.2 數(shù)據(jù)清理 284 18.2.3 數(shù)據(jù)增強(qiáng) 284 18.3 模型生成 285 18.3.1 傳統(tǒng)模型 285 18.3.2 NAS 286 18.3.3 模型優(yōu)化 293 18.4 模型評(píng)估 299 18.4.1 低保真 299 18.4.2 權(quán)重共享 300 18.4.3 代理模型 300 18.4.4 早停法 300 18.4.5 資源感知 300 18.5 經(jīng)典N(xiāo)AS算法 301 18.5.1 NASNet 301 18.5.2 PNAS 303 18.5.3 DARTS 304 本章小結(jié) 306 習(xí)題 307 參考文獻(xiàn) 307