本書介紹了機器學習的基本算法、歷史發(fā)展、應用前景及相關問題。內容包括:機器學習所涉及的必要的數學知識,機器學習的基本模式和任務,神經網絡的基本理論及算法結構,分類與聚類學習算法,數據維度歸約的基本方法,圖理論及方法以及當前比較流行的機器學習理論和算法。本書在加深學生對經典機器學習方法理解的基礎上適當擴展其視野,以培養(yǎng)和提高其解決實際問題的能力。
本書可作為高等學校人工智能相關專業(yè)的教材,也適合該領域的工程技術人員參考使用。
近年來,人工智能(AI)的發(fā)展如火如荼,在很多領域都顯示了強大的生命力。機器學習算法作為人工智能的核心也受到了廣泛的重視。鑒于此,普及機器學習的基本知識,讓更多的人特別是青年學生深入了解機器學習,進而在工作中將機器學習的理論和方法進行有效應用,就成為一項很重要的工作。目前,對于機器學習進行介紹和研究的書籍已經有不少,這些書籍大多出自國內外業(yè)界翹楚之手,其學術水平自不待言。然而這些書籍更多地著眼于學術上的嚴謹性和結構上的完整性,數學分析及推導的內容較多,而且基本都是“大部頭”著作,對于處于入門階段的讀者來講,可能閱讀和理解起來較為困難。為了幫助廣大讀者打開機器學習這個領域的大門,我們精心編寫了本書。在本書的編寫過程中,我們以邏輯清晰、突出重點、簡潔明了、方便接受、好學好懂為原則,盡量用較為平實的語言對機器學習的方法進行描述,以便于理解。在此基礎上再漸次加深難度,逐步引領讀者步入機器學習的殿堂。
本書以典型和常見的機器學習算法為例進行介紹,全書內容共分八章。第一章緒論,主要介紹了機器學習的基本情況、該領域的重要人物、學術流派、發(fā)展歷程以及應用前景,同時對由機器學習發(fā)展所產生的社會影響也做了相應評述;第二章對機器學習所用到的數學知識進行了回顧和補充,主要集中在矩陣理論和統計學方面;第三章對機器學習的基本任務和學習模式進行了闡述,特別是對基于機器學習的擬合(回歸)方法進行了討論;第四章較為全面地介紹了神經網絡這一機器學習的重要分支,對神經網絡的工作機理進行了分析和評介;第五章對于作為機器學習基本任務之一的分類和聚類方法,從基本的基于統計的分類、聚類方法到現在較為先進的方法均進行了介紹;第六章對數據維度歸約方法進行了介紹,內容涉及基于多元統計的方法及多類數據特征提取等;第七章對圖方法進行了介紹,特別是對于決策樹理論進行了較為詳細的分析;第八章介紹了當前主流的、較為典型的機器學習方法,在一定程度上屬于拓展視野的內容。
本書第一至第四章、第六章、第八章由姚舜才編寫,第五章、第七章由孫傳猛編寫。全書由姚舜才統稿定稿。本書配有教學PPT演示文檔,讀者可從出版社網站下載。
本書的編寫得到了西安電子科技大學出版社李惠萍老師的幫助和鼓勵,在此表示衷心的感謝!
機器學習的發(fā)展日新月異,而本書作者的知識學養(yǎng)水平有限,書中難免存在不當之處,懇請廣大讀者及專家不吝指正。
第一章 緒論 1
1.1 機器學習發(fā)展簡史與概況 2
1.2 機器學習的研究與應用現狀 5
1.3 機器學習的相關問題 9
1.4 機器學習的發(fā)展前景 12
第二章 機器學習的數學基礎 14
2.1 線性代數與矩陣分析基礎 14
2.1.1 線性空間基礎 14
2.1.2 范數 16
2.1.3 矩陣運算及其分解 18
2.2 概率與統計基礎 21
2.2.1 概率分布 22
2.2.2 數字特征 31
2.2.3 估計理論基礎 35
2.2.4 貝葉斯理論基礎 39
2.3 優(yōu)化理論基礎 41
2.3.1 無約束最優(yōu)化 41
2.3.2 帶有約束條件的最優(yōu)化 42
復習思考題 43
第三章 機器學習基本知識 44
3.1 機器學習的建模問題 44
3.1.1 線性擬合(回歸)及建模問題 44
3.1.2 非線性擬合(回歸)及建模問題 50
3.2 機器學習模式概述 54
3.2.1 有監(jiān)督學習模式 55
3.2.2 無監(jiān)督學習模式 60
復習思考題 66
第四章 神經網絡學習算法 67
4.1 神經網絡概述 67
4.2 典型前饋型神經網絡 73
4.2.1 前饋型(BP)神經網絡基本運行模式 76
4.2.2 前饋型(BP)神經網絡的相關問題 80
4.3 典型反饋型神經網絡 83
4.3.1 反饋型神經網絡基本運行模式 83
4.3.2 反饋型神經網絡的相關問題 87
4.4 其他典型神經網絡 91
4.4.1 徑向基神經網絡 91
4.4.2 自組織競爭神經網絡 96
4.4.3 小腦模型神經網絡 102
4.4.4 卷積神經網絡 105
復習思考題 109
第五章 分類與聚類學習算法 110
5.1 分類學習算法 110
5.1.1 線性分類算法 111
5.1.2 非線性分類算法 120
5.1.3 核方法與支持向量機 128
5.2 聚類學習算法 134
5.2.1 K均值聚類算法 135
5.2.2 其他聚類算法 138
復習思考題 139
第六章 數據維度歸約方法 140
6.1 單類數據降維 140
6.1.1 主成分分析 140
6.1.2 因子分析 148
6.1.3 相關分析 157
6.2 非線性降維算法簡介 161
6.2.1 等距映射 162
6.2.2 拉普拉斯特征映射 163
6.2.3 局部線性嵌入 166
6.3 多類數據特征選擇與提取 167
復習思考題 170
第七章 圖方法 171
7.1 貝葉斯網絡 171
7.1.1 貝葉斯網絡理論 171
7.1.2 貝葉斯網絡推理 173
7.2 決策樹理論 176
7.2.1 定義與結構 176
7.2.2 特征選擇準則 177
7.2.3 “過擬合”問題 179
7.2.4 連續(xù)值處理 180
7.2.5 決策樹生成 180
7.2.6 算法實例 181
7.3 馬爾可夫網絡 189
復習思考題 191
第八章 其他典型機器學習方法概述 192
8.1 隱含馬爾可夫模型 192
8.2 蒙特卡洛方法 196
8.3 組合多學習器 201
8.4 近似推斷 206
8.5 增強學習方法 210
8.6 深度學習方法概述 214
8.7 深度學習方法應用舉例 221
復習思考題 229
參考文獻 230