統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)
定 價(jià):43 元
- 作者:【美】桑吉夫·庫(kù)爾卡尼 吉爾伯特·哈曼
- 出版時(shí)間:2017/3/1
- ISBN:9787111555223
- 出 版 社:機(jī)械工業(yè)出版社
- 中圖法分類:C81
- 頁碼:169
- 紙張:膠版紙
- 版次:1
- 開本:16開
全書共包含18個(gè)章節(jié),從概率密度、貝葉斯決策理論引入樣本學(xué)習(xí)的基本概念,進(jìn)而介紹了近鄰域?qū)W習(xí)、核學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),在此基礎(chǔ)上探討了PCA學(xué)習(xí)、VC維概念、函數(shù)估計(jì)問題等,后重點(diǎn)介紹了非常實(shí)用的支持向量機(jī)SVM及Boosting方法。各章均包含小結(jié)、附錄、習(xí)題及參考資料,非常適合于大專院校計(jì)算機(jī)及電氣工程類碩博士研究生及高年級(jí)學(xué)生作為教學(xué)參考書。
前言本書為新興領(lǐng)域的統(tǒng)計(jì)學(xué)習(xí)理論提供了一個(gè)寬泛和易于理解的入門性介紹,這一領(lǐng)域的發(fā)展源于對(duì)模式識(shí)別和機(jī)器學(xué)習(xí)、非參數(shù)統(tǒng)計(jì)、計(jì)算機(jī)科學(xué)、語言學(xué)中的語言學(xué)習(xí)和認(rèn)知心理學(xué)、哲學(xué)問題中的歸納法以及哲學(xué)和科學(xué)方法論等學(xué)科與技術(shù)的研究。
本書是學(xué)習(xí)理論與認(rèn)知論課程的非常好的入門教材,目前已在普林斯頓大學(xué)電氣工程專業(yè)的教學(xué)中使用。學(xué)習(xí)理論與認(rèn)知論課程并沒有特定的基礎(chǔ)要求,向所有對(duì)其感興趣的學(xué)生開放,包括新生、主修科學(xué)的高年級(jí)學(xué)生,以及來自工程、人文、社會(huì)科學(xué)的學(xué)生。雖然許多材料技術(shù)性較強(qiáng),但是我們發(fā)現(xiàn)大部分學(xué)生可以體會(huì)和領(lǐng)悟本書的要點(diǎn)。
模式識(shí)別的工程研究關(guān)注的是基于一個(gè)有用的方法研發(fā)出的自動(dòng)化系統(tǒng)來區(qū)分不同的輸入模式。為郵局開發(fā)的系統(tǒng)用于如何掃描手寫地址并將郵件排序,制造商關(guān)注如何設(shè)計(jì)一個(gè)計(jì)算機(jī)系統(tǒng)把普通的談話內(nèi)容進(jìn)行文字轉(zhuǎn)錄,還有諸如計(jì)算機(jī)能否用來分析醫(yī)學(xué)圖像,進(jìn)而做出診斷等此類問題。
機(jī)器學(xué)習(xí)提供了對(duì)一些模式識(shí)別問題進(jìn)行求解的有效方法。它可能是采用受過訓(xùn)練的系統(tǒng)來識(shí)別手寫郵政編碼,或能使自動(dòng)化系統(tǒng)與用戶進(jìn)行交互使其學(xué)會(huì)實(shí)現(xiàn)對(duì)語音的識(shí)別;也許是使用機(jī)器學(xué)習(xí)算法來開發(fā)一套醫(yī)學(xué)圖像分析系統(tǒng)。
機(jī)器學(xué)習(xí)和模式識(shí)別也關(guān)注學(xué)習(xí)系統(tǒng)所包含的一般原則。一種系統(tǒng)化的方法技術(shù)非常有用,因?yàn)槲覀儾⒉皇菑臒o到有開發(fā)算法并在每個(gè)新的應(yīng)用程序中特設(shè)某一種方式。評(píng)估一個(gè)學(xué)習(xí)系統(tǒng)的性能所采用的技術(shù)也是非常重要的。對(duì)學(xué)習(xí)算法的實(shí)踐環(huán)節(jié)而言,知道什么是可實(shí)現(xiàn)的,什么是可用的評(píng)價(jià)基準(zhǔn),并提出新的技術(shù)也同等重要。
這些問題也出現(xiàn)在認(rèn)知論與哲學(xué)問題中。我們能學(xué)到什么?以及我們?nèi)绾芜M(jìn)行學(xué)習(xí)?我們能夠從其他思想和外部世界學(xué)到什么?通過歸納法我們又能學(xué)到什么?哲學(xué)問題的歸納法關(guān)注的是如何在歸納推理的基礎(chǔ)上學(xué)到一些新東西。而給定的事實(shí)是歸納推理前提的真實(shí)性無法保證其結(jié)論的真實(shí)性。這個(gè)問題沒有唯一解,這并不是因?yàn)闊o解,而是因?yàn)橛刑嘟,這取決于采用什么學(xué)習(xí)方法。在本書中,我們解釋了如何根據(jù)歸納形成各種不同的解決方案。
因此,我們希望本書能為廣大讀者在統(tǒng)計(jì)學(xué)習(xí)理論中提供一個(gè)簡(jiǎn)便的入門性介紹。對(duì)于那些對(duì)學(xué)習(xí)理論或?qū)嶋H算法的深入研究感興趣的讀者,我們希望本書提供給他們一個(gè)有益的出發(fā)點(diǎn)。而對(duì)于那些對(duì)一般的認(rèn)知論和哲學(xué)感興趣的讀者,我們希望本書有助于他們從其他領(lǐng)域中領(lǐng)悟一些重要的想法。對(duì)其他讀者而言,我們也希望本書有助于他們對(duì)統(tǒng)計(jì)學(xué)習(xí)理論有更深層次的理解,因?yàn)樗沂玖藢W(xué)習(xí)的本質(zhì)及其限制,這也是人工智能的核心進(jìn)展。
感謝普林斯頓大學(xué)本科教育創(chuàng)新課程發(fā)展250周年紀(jì)念基金的資助。Rajeev Kulkarni對(duì)全書提供了非常有用的意見。Joel Predd和Maya Gupta提供了許多寶貴的意見。此外,感謝Joshua Harris對(duì)本書的仔細(xì)審讀。同時(shí)也感謝幾年來,我的助教和學(xué)生們一起對(duì)該課程內(nèi)容的討論。謝謝!
目錄
譯者序
前言
第1章引言:分類、學(xué)習(xí)、
特征及應(yīng)用
11范圍
12為什么需要機(jī)器學(xué)習(xí)?
13一些應(yīng)用
131圖像識(shí)別
132語音識(shí)別
133醫(yī)學(xué)診斷
134統(tǒng)計(jì)套利
14測(cè)量、特征和特征向量
15概率的需要
16監(jiān)督學(xué)習(xí)
17小結(jié)
18附錄:歸納法
19問題
110參考文獻(xiàn)
第2章概率
21一些基本事件的概率
22復(fù)合事件的概率
23條件概率
24不放回抽取
25一個(gè)經(jīng)典的生日問題
26隨機(jī)變量
27期望值
28方差
29小結(jié)
210附錄:概率詮釋
211問題
212參考文獻(xiàn)
第3章概率密度
31一個(gè)二維實(shí)例
32在\[0,1\]區(qū)間的隨機(jī)數(shù)
33密度函數(shù)
34高維空間中的概率密度
35聯(lián)合密度和條件密度
36期望和方差
37大數(shù)定律
38小結(jié)
39附錄:可測(cè)性
310問題
311參考文獻(xiàn)
第4章模式識(shí)別問題
41一個(gè)簡(jiǎn)單例子
42決策規(guī)則
43成功基準(zhǔn)
44最佳分類器:貝葉斯決策
規(guī)則
45連續(xù)特征和密度
46小結(jié)
47附錄:不可數(shù)概念
48問題
49參考文獻(xiàn)
第5章最優(yōu)貝葉斯決策規(guī)則
51貝葉斯定理
52貝葉斯決策規(guī)則
53最優(yōu)及其評(píng)論
54一個(gè)例子
55基于密度函數(shù)的貝葉斯定理
及決策規(guī)則
56小結(jié)
57附錄:條件概率的定義
58問題
59參考文獻(xiàn)
第6章從實(shí)例中學(xué)習(xí)
61概率分布知識(shí)的欠缺
62訓(xùn)練數(shù)據(jù)
63對(duì)訓(xùn)練數(shù)據(jù)的假設(shè)
64蠻力學(xué)習(xí)方法
65維數(shù)災(zāi)難、歸納偏置以及
無免費(fèi)午餐原理
66小結(jié)
67附錄:學(xué)習(xí)的類型
68問題
69參考文獻(xiàn)
第7章最近鄰規(guī)則
71最近鄰規(guī)則
72最近鄰規(guī)則的性能
73直覺判斷與性能證明框架
74使用更多鄰域
75小結(jié)
76附錄:當(dāng)人們使用最近鄰域
進(jìn)行推理時(shí)的一些問題
761誰是單身漢?
762法律推理
763道德推理
77問題
78參考文獻(xiàn)
第8章核規(guī)則
81動(dòng)機(jī)
82最近鄰規(guī)則的變體
83核規(guī)則
84核規(guī)則的通用一致性
85勢(shì)函數(shù)
86更多的通用核
87小結(jié)
88附錄:核、相似性和特征
89問題
810參考文獻(xiàn)
第9章神經(jīng)網(wǎng)絡(luò):感知器
91多層前饋網(wǎng)絡(luò)
92神經(jīng)網(wǎng)絡(luò)用于學(xué)習(xí)和分類
93感知器
931閾值
94感知器學(xué)習(xí)規(guī)則
95感知器的表達(dá)能力
96小結(jié)
97附錄:思想模型
98問題
99參考文獻(xiàn)
第10章多層神經(jīng)網(wǎng)絡(luò)
101多層網(wǎng)絡(luò)的表征能力
102學(xué)習(xí)及S形輸出
103訓(xùn)練誤差和權(quán)值空間
104基于梯度下降的誤差最小化
105反向傳播
106反向傳播方程的推導(dǎo)
1061單神經(jīng)元情況下的推導(dǎo)
1062多層網(wǎng)絡(luò)情況下的推導(dǎo)
107小結(jié)
108附錄:梯度下降與反射平衡
推理
109問題
1010參考文獻(xiàn)
第11章可能近似正確(PAC)
學(xué)習(xí)
111決策規(guī)則分類
112來自一個(gè)類中的最優(yōu)規(guī)則
113可能近似正確準(zhǔn)則
114PAC學(xué)習(xí)
115小結(jié)
116附錄:識(shí)別不可辨元
117問題
118參考文獻(xiàn)
第12章VC維
121近似誤差和估計(jì)誤差
122打散
123VC維
124學(xué)習(xí)結(jié)果
125舉例
126神經(jīng)網(wǎng)絡(luò)應(yīng)用
127小結(jié)
128附錄:VC維與波普爾
(Popper)維度
129問題
1210參考文獻(xiàn)
第13章無限VC維
131類層次及修正的PAC準(zhǔn)則
132失配與復(fù)雜性間的平衡
133學(xué)習(xí)結(jié)果
134歸納偏置與簡(jiǎn)單性
135小結(jié)
136附錄:均勻收斂與泛
致性
137問題
138參考文獻(xiàn)
第14章函數(shù)估計(jì)問題
141估計(jì)
142成功準(zhǔn)則
143最優(yōu)估計(jì):回歸函數(shù)
144函數(shù)估計(jì)中的學(xué)習(xí)
145小結(jié)
146附錄:均值回歸
147問題
148參考文獻(xiàn)
第15章學(xué)習(xí)函數(shù)估計(jì)
151函數(shù)估計(jì)與回歸問題回顧
152最近鄰規(guī)則
153核方法
154神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)
155基于確定函數(shù)類的估計(jì)
156打散、偽維數(shù)與學(xué)習(xí)
157結(jié)論
158附錄:估計(jì)中的準(zhǔn)確度、
精度、偏差及方差
159問題
1510參考文獻(xiàn)
第16章簡(jiǎn)明性
161科學(xué)中的簡(jiǎn)明性
1611對(duì)簡(jiǎn)明性的明確倡導(dǎo)
1612這個(gè)世界簡(jiǎn)單嗎?
1613對(duì)簡(jiǎn)明性的錯(cuò)誤訴求
1614對(duì)簡(jiǎn)明性的隱性訴求
162排序假設(shè)
1621兩種簡(jiǎn)明性排序法
163兩個(gè)實(shí)例
1631曲線擬合
1632枚舉歸納
164簡(jiǎn)明性即表征簡(jiǎn)明性
1641要確定表征系統(tǒng)嗎?
1642參數(shù)越少越簡(jiǎn)單嗎?
165簡(jiǎn)明性的實(shí)用理論
166簡(jiǎn)明性和全局不確定性
167小結(jié)
168附錄:基礎(chǔ)科學(xué)和統(tǒng)計(jì)學(xué)習(xí)
理論
169問題
1610參考文獻(xiàn)
第17章支持向量機(jī)
171特征向量的映射
172間隔最大化
173優(yōu)化與支持向量
174實(shí)現(xiàn)及其與核方法的關(guān)聯(lián)
175優(yōu)化問題的細(xì)節(jié)
1751改寫分離條件
1752間隔方程
1753用于不可分實(shí)例的松弛
變量
1754優(yōu)化問題的重構(gòu)和求解
176小結(jié)
177附錄:計(jì)算
178問題
179參考文獻(xiàn)
第18章集成學(xué)習(xí)
181弱學(xué)習(xí)規(guī)則
182分類器組合
183訓(xùn)練樣本的分布
184自適應(yīng)集成學(xué)習(xí)算法
(AdaBoost)
185訓(xùn)練數(shù)據(jù)的性能
186泛化性能
187小結(jié)
188附錄:集成方法
189問題
1810參考文獻(xiàn)