本書共11章，主要介紹機器學習的基本概念和兩大類常用的機器學習模型，即監(jiān)督學習模型和非監(jiān)督學習模型。針對監(jiān)督學習模型，本書介紹了線性模型（線性回歸、Logistic回歸）、非線性模型（SVM、生成式分類器、決策樹）、集成學習模型和神經網絡模型及其訓練；針對非監(jiān)督學習模型，本書講解了常用的降維技術（線性降維技術與非線性降維技術）和聚類算法（如均值聚類、GMM、層次聚類、均值漂移聚類、DBSCAN和基于密度峰值的聚類等）。
本書可作為高等院校計算機應用、人工智能等專業(yè)的機器學習相關課程的教材，也可作為計算機應用與人工智能等領域從業(yè)人員的學習參考用書。
（1）本書系統(tǒng)而詳細地介紹了常用的機器學習模型。對于每個機器學習模型，介紹了模型的表示形式、目標函數（損失函數和正則項）、優(yōu)化方法、模型評估和超參數調優(yōu)、以及模型的應用案例。
（2）本書模型原理和優(yōu)化方法中涉及的公式推導詳盡，可極大程度減少讀者額外的工作。
（3）本書案例分析中，選用了Kaggle平臺上提供的數據，代碼給出了機器學習項目的完整步驟，包括對數據的探索式分析、特征工程、模型訓練、超參數調優(yōu)和模型應用。
卿來云 中國科學院研究生院計算機博士，中國科學院大學計算機學院教授，長期從事機器學習、計算機視覺和數據壓縮方面的科研與教學工作，主要研究領域涉及機器學習、圖像識別和視頻內容分析等。
黃慶明 中國科學院大學講席教授、博導，國家杰出青年科學基金獲得者，百千萬人才工程國家級人選，被授予“有突出貢獻中青年專家”榮譽稱號，享受國務院政府特殊津貼。IEEE Fellow，IEEE CASS北京分會主席，CCF理事，CCF會士，北京市圖像圖形學會副理事長。主要研究方向涉及機器學習、計算機視覺、多媒體計算、圖像與視頻分析、模式識別等。主持國家重點研發(fā)計劃、973課題等項目20余項，多次獲得省部級科技獎勵。
01
機器學習簡介
1.1 什么是機器學習 2
1.2 機器學習簡史 2
1.3 機器學習任務的類型 6
1.3.1 監(jiān)督學習 6
1.3.2 無監(jiān)督學習 10
1.4 機器學習項目的一般步驟 10
1.5 模型評估 11
1.5.1 交叉驗證 12
1.5.2 超參數調優(yōu) 13
1.6 本章小結 14
1.7 習題 14
02
線性回歸
2.1 線性回歸簡介 16
2.2 線性回歸模型的目標函數 17
2.2.1 回歸模型的損失函數 17
2.2.2 線性回歸模型的正則函數 20
2.3 線性回歸模型的優(yōu)化求解 23
2.3.1 解析求解法 24
2.3.2 梯度下降法 26
2.3.3 坐標軸下降法 28
2.4 回歸任務的性能指標 31
2.5 線性回歸模型的超參數調優(yōu) 32
2.6 案例分析1：廣告費用與銷量預測 33
2.7 案例分析2：共享單車騎行量預測 36
2.8 本章小結 38
2.9 習題 38
03
Logistic回歸
3.1 Logistic回歸模型 42
3.2 Logistic回歸模型的目標函數 44
3.3 Logistic回歸目標函數優(yōu)化求解 45
3.3.1 梯度下降法 45
3.3.2 牛頓法 46
3.3.3 擬牛頓法 48
3.4 多類分類任務 50
3.5 分類任務的性能指標 51
3.6 數據不均衡分類問題 55
3.6.1 重采樣 55
3.6.2 代價敏感學習 56
3.7 案例分析：奧拓商品分類 57
3.8 本章小結 58
3.9 習題 59
04
SVM
4.1 SVM的基本型 64
4.1.1 最大間隔 64
4.1.2 SVM的對偶問題 67
4.2 帶松弛因子的SVM 69
4.3 合頁損失函數 72
4.4 核方法 73
4.4.1 核技巧 73
4.4.2 核函數構造 75
4.5 SVM優(yōu)化求解：SMO 77
4.5.1 SMO算法原理 77
4.5.2 對原始解進行修剪 79
4.5.3 α選擇 80
4.5.4 更新截距項b 81
4.5.5 SMO小結 82
4.6 支持向量回歸 83
4.6.1 不敏感損失函數 83
4.6.2 支持向量回歸 83
4.7 案例分析1：奧拓商品分類 85
4.8 案例分析2：共享單車騎行量預測 86
4.9 本章小結 87
4.10 習題 88
05
生成式分類器
5.1 生成式分類器 92
5.2 貝葉斯規(guī)則 92
5.2.1 貝葉斯公式 92
5.2.2 樸素貝葉斯分類器 93
5.2.3 樸素貝葉斯分類器的訓練 94
5.2.4 案例分析1：奧拓商品分類 98
5.2.5 案例分析2：新聞分類 99
5.3 高斯判別分析 100
5.3.1 高斯判別分析的基本原理 100
5.3.2 高斯判別分析的模型訓練 102
5.3.3 案例分析3：MNIST手寫數字識別 102
5.4 本章小結 102
5.5 習題 103
06
決策樹
6.1 決策樹基本原理 106
6.2 建樹 107
6.2.1 ID3和C4.5 107
6.2.2 CART 111
6.3 剪枝 113
6.4 提前終止 114
6.5 案例分析1：蘑菇分類 114
6.6 案例分析2：共享單車騎行量預測 116
6.7 本章小結 117
6.8 習題 117
07
集成學習
7.1 誤差的偏差-方差分解 120
7.1.1 點估計的偏差-方差分解 120
7.1.2 預測誤差的偏差-方差分解 120
7.2 Bagging 122
7.3 隨機森林 124
7.3.1 隨機森林的基本原理 124
7.3.2 案例分析：奧拓商品分類 124
7.4 梯度提升 124
7.5 XGBoost 126
7.5.1 XGBoost基本原理 126
7.5.2 XGBoost優(yōu)化 129
7.5.3 XGBoost使用指南 129
7.5.4 案例分析：奧拓商品分類 132
7.6 LightGBM 133
7.6.1 基于直方圖的決策樹構造算法 133
7.6.2 直方圖加速：基于梯度的單邊采樣算法 134
7.6.3 直方圖加速：互斥特征捆綁算法 135
7.6.4 支持離散型特征 136
7.6.5 帶深度限制的按葉子生長策略 137
7.6.6 案例分析：奧拓商品分類 137
7.7 融合 137
7.8 本章小結 138
7.9 習題 138
08
神經網絡結構
8.1 神經元的基本結構 142
8.2 前饋全連接神經網絡 142
8.3 卷積神經網絡 143
8.3.1 卷積層 143
8.3.2 池化層 146
8.3.3 CNN示例：AlexNet 146
8.4 循環(huán)神經網絡 148
8.4.1 簡單循環(huán)神經網絡 148
8.4.2 長短時記憶網絡 149
8.5 殘差神經網絡 151
8.6 丟棄法 152
8.7 本章小結 153
8.8 習題 154
09
深度神經模型訓練
9.1 梯度計算：反向傳播 156
9.1.1 微積分中的鏈式法則 156
9.1.2 計算圖和反向傳播 157
9.1.3 DNN的反向傳播算法 158
9.1.4 DNN的計算圖 160
9.1.5 CNN的反向傳播算法 162
9.1.6 循環(huán)神經網絡的反向傳播算法 164
9.2 激活函數 168
9.3 深度學習中的優(yōu)化算法 171
9.3.1 動量法 172
9.3.2 自適應學習率 174
9.4 權重初始化 175
9.5 減弱過擬合策略 179
9.6 案例分析：MNIST手寫數字識別 180
9.7 本章小結 182
9.8 習題 182
10
降維
10.1 主成分分析 186
10.2 自編碼器 188
10.3 多維縮放 191
10.4 等度量映射 193
10.5 局部線性嵌入 194
10.6 拉普拉斯特征映射 196
10.7 基于T分布的隨機鄰域嵌入 197
10.8 案例分析：MNIST數據集 199
10.9 本章小結 202
10.10 習題 202
11
聚類
11.1 聚類算法的性能指標 204
11.1.1 外部指標 204
11.1.2 內部指標 206
11.2 相似性度量 207
11.3 K均值聚類 210
11.4 高斯混合模型 212
11.5 層次聚類 215
11.5.1 凝聚式層次聚類 215
11.5.2 分裂式層次聚類 217
11.6 均值漂移聚類 217
11.7 DBSCAN 218
11.8 基于密度峰值的聚類 220
11.9 基于深度學習的聚類 222
11.10 案例分析：MNIST數據集聚類 222
11.11 本章小結 224
11.12 習題 224
附錄 225
A 奇異值分解 226
A.1 特征值和特征向量 226
A.2 SVD的定義 226
B 拉格朗日乘子法和卡羅需-庫恩-塔克條件 227
B.1 拉格朗日乘子法 227
B.2 為什么拉格朗日乘子法能夠求得最優(yōu)值 228
B.3 KKT條件 228
C 對偶問題 230
C.1 原始問題 230
C.2 對偶問題 231
C.3 原始問題和對偶問題的關系 231
參考文獻 233
書單推薦
