第1章 走進(jìn)機器學(xué)習(xí)的世界 1 1.1　機器學(xué)習(xí)概述 2 1.1.1　什么是機器學(xué)習(xí) 2 1.1.2　機器學(xué)習(xí)的分類 2 1.1.3　常用的機器學(xué)習(xí)算法 3 1.1.4　機器學(xué)習(xí)的流程 5 1.2　Python編程語言 6 1.2.1　Python環(huán)境搭建 6 1.2.2　機器學(xué)習(xí)相關(guān)軟件包介紹 8 1.3　機器學(xué)習(xí)的數(shù)學(xué)知識 9 1.3.1　導(dǎo)數(shù) 9 1.3.2　基本函數(shù)的求導(dǎo)公式 9 1.3.3　求導(dǎo)法則 10 1.3.4　Python實現(xiàn)求導(dǎo) 10 1.3.5　泰勒展開式 12 1.3.6　微積分基本定理 14 1.3.7　基本函數(shù)的積分公式 14 1.3.8　Python實現(xiàn)積分 16 第2章 人工智能數(shù)學(xué)基礎(chǔ) 18 2.1　線性代數(shù) 19 2.1.1　向量及其線性運算 19 2.1.2　矩陣及其線性運算 20 2.2　隨機變量 26 2.2.1　離散型隨機變量 26 2.2.2　連續(xù)型隨機變量 27 2.3　隨機變量概率分布 28 2.3.1　伯努利分布 28 2.3.2　泊松分布 29 2.3.3　指數(shù)分布 30 2.3.4　二項分布 31 2.3.5　正態(tài)分布 32 2.3.6　伽馬分布 33 2.3.7　貝塔分布 34 2.3.8　卡方分布 35 2.3.9　t分布 37 2.3.10　F分布 40 第3章 數(shù)據(jù)獲取和預(yù)處理 42 3.1　數(shù)據(jù)獲取 43 3.1.1　自帶和下載數(shù)據(jù)集 43 3.1.2　創(chuàng)建數(shù)據(jù)集 45 3.1.3　數(shù)據(jù)集 49 3.2　標(biāo)準(zhǔn)化 50 3.2.1　Z?score標(biāo)準(zhǔn)化 50 3.2.2　Min?Max標(biāo)準(zhǔn)化 51 3.3　二值化 52 3.3.1　特征二值化 52 3.3.2　標(biāo)簽二值化 53 3.4　特征處理 54 3.4.1　獨熱編碼 54 3.4.2　多項式特征 56 3.4.3　PCA降維 57 3.5　數(shù)據(jù)清洗 59 3.5.1　Pandas數(shù)據(jù)清洗 59 3.5.2　sklearn處理缺失值 62 3.6　文本特征提取 64 3.6.1　字典提取器 64 3.6.2　詞袋模型 65 3.6.3　權(quán)重向量 67 3.7　圖像特征提取 69 3.7.1　提取像素矩陣 69 3.7.2　提取角點 71 3.7.3　提取輪廓 74 3.7.4　提取局部特征點 74 3.8　特征選擇 76 3.8.1　Filter過濾法 76 3.8.2　Wrapper包裝法 78 3.8.3　Embedded嵌入法 79 第4章 線性回歸和邏輯回歸 81 4.1　線性回歸 82 4.1.1　最小二乘法 82 4.1.2　梯度下降法 84 4.1.3　線性回歸實現(xiàn) 86 4.1.4　Lasso回歸和嶺回歸 90 4.1.5　回歸模型評估 93 4.1.6　多項式回歸 94 4.2　邏輯回歸 96 4.2.1　邏輯回歸算法 96 4.2.2　邏輯回歸實現(xiàn) 98 4.2.3　分類模型評估 100 第5章 KNN和貝葉斯分類算法 107 5.1　KNN算法 108 5.1.1　KNN算法的距離度量 108 5.1.2　KNN算法代碼實現(xiàn) 112 5.1.3　交叉驗證 113 5.1.4　KD樹 115 5.2　貝葉斯分類算法 118 5.2.1　貝葉斯定理 118 5.2.2　高斯樸素貝葉斯 119 5.2.3　多項式樸素貝葉斯 121 5.2.4　伯努利樸素貝葉斯 123 第6章 決策樹和隨機森林 125 6.1　決策樹 126 6.1.1　熵 126 6.1.2　決策樹算法 129 6.1.3　剪枝算法 131 6.2　決策樹代碼實現(xiàn) 133 6.2.1　可視化決策樹 133 6.2.2　分類樹 136 6.2.3　回歸樹 143 6.3　隨機森林 144 6.3.1　集成學(xué)習(xí)算法 144 6.3.2　隨機森林分類 145 6.3.3　隨機森林回歸 148 第7章 支持向量機 150 7.1　SVM核心概念 151 7.1.1　線性可分 151 7.1.2　核函數(shù) 153 7.2　SVM代碼實現(xiàn) 154 7.2.1　SVC 154 7.2.2　SVM人臉識別 158 7.2.3　SVR 161 第8章 聚類算法 163 8.1　K?means聚類算法 164 8.1.1　K?means聚類算法原理 164 8.1.2　模型評估 166 8.1.3　圖像處理 167 8.1.4　K?means聚類算法實例 169 8.2　層次聚類算法 173 8.2.1　層次聚類算法原理 173 8.2.2　層次聚類算法實例 174 8.3　密度聚類算法 176 8.3.1　密度聚類算法原理 176 8.3.2　密度聚類算法實例 177 第9章 EM和HMM聚類算法 179 9.1　EM聚類算法 180 9.1.1　最大似然估計 180 9.1.2　詹森不等式 181 9.1.3　EM算法原理 182 9.2　EM算法代碼實現(xiàn) 183 9.3　HMM聚類算法 186 9.3.1　馬爾可夫過程 186 9.3.2　隱馬爾可夫模型 187 第10章 主題模型 190 10.1　LDA主題模型 191 10.1.1　Dirichlet分布 191 10.1.2　LDA貝葉斯模型 192 10.2　自然語言處理常用工具包 193 10.2.1　NLTK 193 10.2.2　spaCy 196 10.2.3　Gensim 197 10.2.4　jieba 201 10.2.5　Stanford NLP 202 10.2.6　FuzzyWuzzy 203 10.2.7　HanLP 204 10.3　LDA主題模型實例 207 第11章 推薦算法 212 11.1　關(guān)聯(lián)規(guī)則 213 11.1.1　置信度 213 11.1.2　支持度 213 11.1.3　提升度 214 11.1.4　關(guān)聯(lián)規(guī)則代碼實現(xiàn) 214 11.2　基于用戶行為的推薦算法 217 11.2.1　矩陣分解 217 11.2.2　SVD算法代碼實現(xiàn) 219 11.3　基于評分的推薦算法 221 11.3.1　SlopeOne算法 221 11.3.2　SlopeOne算法代碼實現(xiàn) 222 11.4　協(xié)同過濾 222 第12章 數(shù)據(jù)建模 226 12.1　監(jiān)督學(xué)習(xí) 227 12.1.1　監(jiān)督學(xué)習(xí)回歸 227 12.1.2　監(jiān)督學(xué)習(xí)分類 228 12.2　半監(jiān)督學(xué)習(xí) 235 12.2.1　標(biāo)簽傳播算法 235 12.2.2　半監(jiān)督學(xué)習(xí)分類 236 12.3　保存模型 239 12.3.1　pickle 239 12.3.2　joblib 240 12.3.3　sklearn2pmml 240 第13章 Spark機器學(xué)習(xí) 244 13.1　Spark分布式集群搭建 245 13.1.1　創(chuàng)建CentOS 7虛擬機 245 13.1.2　設(shè)置靜態(tài)IP 247 13.1.3　配置SSH服務(wù) 248 13.1.4　安裝Java 248 13.1.5　搭建三臺CentOS 7主機 249 13.1.6　修改hosts文件 250 13.1.7　配置SSH免密碼登錄 251 13.1.8　搭建Hadoop集群 252 13.1.9　搭建ZooKeeper集群 255 13.1.10　啟動Hadoop和ZooKeeper集群 257 13.1.11　搭建Spark集群 260 13.2　Hadoop和Spark的基礎(chǔ)知識 262 13.2.1　HDFS 262 13.2.2　Spark Shell 264 13.2.3　RDD編程 268 13.2.4　Spark SQL 273 13.3　Spark MLlib 279 13.3.1　回歸模型 279 13.3.2　分類模型 281