稀疏統(tǒng)計模型只具有少數(shù)非零參數(shù)或權(quán)重,經(jīng)典地體現(xiàn)了化繁為簡的理念,因而廣泛應(yīng)用于諸多領(lǐng)域。本書就稀疏性統(tǒng)計學(xué)習(xí)做出總結(jié),以 lasso方法為中心,層層推進(jìn),逐漸囊括其他方法,深入探討諸多稀疏性問題的求解和應(yīng)用;不僅包含大量的例子和清晰的圖表,還附有文獻(xiàn)注釋和課后練習(xí),是深入學(xué)習(xí)統(tǒng)計學(xué)知識的參考。
本書適合算法、統(tǒng)計學(xué)和機(jī)器學(xué)習(xí)專業(yè)人士。
“作者們在書中研究分析了用一些統(tǒng)計模型中的稀疏特性來處理大數(shù)據(jù)的方法,主要關(guān)注lasso模型的求解算法和近年研究成果。”
——《數(shù)學(xué)文摘》
“本書涵蓋了統(tǒng)計學(xué)的所有重要分支,每個主題都有基本問題的詳盡介紹和求解算法,給出了基于稀疏性的分析方案。可以說,此書就是稀疏統(tǒng)計學(xué)習(xí)的標(biāo)準(zhǔn)教材!
——Anand Panangadan,加州大學(xué)富勒頓分校
“毋庸置疑,這本書是大數(shù)據(jù)技術(shù)領(lǐng)域重要著作。作為研究大數(shù)據(jù)的重要手段,lasso模型一直備受關(guān)注,但尚未有系統(tǒng)介紹其的相關(guān)資料,本書填補(bǔ)了這一空白,而且由領(lǐng)域內(nèi)的三位大咖執(zhí)筆,值得期待!
——Norm Matloff,加州大學(xué)戴維斯分校
Trevor Hastie 美國統(tǒng)計學(xué)家和計算機(jī)科學(xué)家,斯坦福大學(xué)統(tǒng)計學(xué)教授,英國統(tǒng)計學(xué)會、國際數(shù)理統(tǒng)計協(xié)會和美國統(tǒng)計學(xué)會會士。Hastie參與開發(fā)了R中的大部分統(tǒng)計建模軟件和環(huán)境,發(fā)明了主曲線和主曲面。
Robert Tibshirani 斯坦福大學(xué)統(tǒng)計學(xué)教授,國際數(shù)理統(tǒng)計協(xié)會、美國統(tǒng)計學(xué)會和加拿大皇家學(xué)會會士,1996年COPSS總統(tǒng)獎得主,提出lasso方法。Hastie和Tibshirani都是統(tǒng)計學(xué)習(xí)領(lǐng)域的泰山北斗,兩人合著了The Elements of Statistical Learning,還合作講授斯坦福大學(xué)的公開課“統(tǒng)計學(xué)習(xí)”。
Martin Wainwright 畢業(yè)于MIT,加州大學(xué)伯克利分校教授,以對統(tǒng)計與計算交叉學(xué)的理論和方法研究而聞名于學(xué)界,主要關(guān)注高維統(tǒng)計、機(jī)器學(xué)習(xí)、圖模型和信息理論。2014年COPSS總統(tǒng)獎得主。
劉波 博士,重慶工商大學(xué)計算機(jī)科學(xué)與信息工程學(xué)院教師,主要從事機(jī)器學(xué)習(xí)理論、計算機(jī)視覺技術(shù)研究,同時愛好Hadoop和Spark平臺上的大數(shù)分析,也對Linux平臺的編程和Oracle數(shù)據(jù)庫感興趣。
景鵬杰 碩士,畢業(yè)于上海交通大學(xué)。碩士階段主要從事模式識別與數(shù)據(jù)挖掘基礎(chǔ)理論、生物醫(yī)學(xué)大數(shù)據(jù)挖掘與建模等工作,在國際期刊及會議Bioinformatics,CCPR等上面發(fā)表數(shù)篇論文。目前從事期貨交易系統(tǒng)開發(fā)工作。
第 1章引言 1
第 2章 lasso線性模型 6
2.1引言 6
2.2 lasso估計 7
2.3交叉驗(yàn)證和推斷 10
2.4 lasso解的計算 12
2.4.1基于單變量的軟閾值法 12
2.4.2基于多變量的循環(huán)坐標(biāo)下降法 13
2.4.3軟閾值與正交基 15
2.5自由度 15
2.6 lasso解 16
2.7理論概述 17
2.8非負(fù) garrote 17
2.9烏q懲罰和貝葉斯估計 19
2.10一些觀點(diǎn) 20
習(xí)題 21
第 3章廣義線性模型 24
3.1引言 24
3.2邏輯斯蒂回歸模型 26
3.2.1示例:文本分類 27
3.2.2算法 29
3.3多分類邏輯斯蒂回歸 30
3.3.1示例:手寫數(shù)字 31
3.3.2算法 32
3.3.3組 lasso多分類 33
3.4對數(shù)線性模型及泊松廣義線性模型 33
3.5 Cox比例風(fēng)險模型 35
3.5.1交叉驗(yàn)證 37
3.5.2預(yù)驗(yàn)證 38
3.6支持向量機(jī) 39
3.7計算細(xì)節(jié)及 glmnet 43
參考文獻(xiàn)注釋 44
習(xí)題 45
第 4章廣義 lasso懲罰 47
4.1引言 47
4.2彈性網(wǎng)懲罰 47
4.3組 lasso 50
4.3.1組 lasso計算 53
4.3.2稀疏組 lasso 54
4.3.3重疊組 lasso 56
4.4稀疏加法模型和組 lasso 59
4.4.1加法模型和 back.tting 59
4.4.2稀疏加法模型和 back.tting 60
4.4.3優(yōu)化方法與組 lasso 61
4.4.4稀疏加法模型的多重懲罰 64
4.5融合 lasso 65
4.5.1擬合融合 lasso 66
4.5.2趨勢濾波 69
4.5.3近保序回歸 70
4.6非凸懲罰 72
參考文獻(xiàn)注釋 74
習(xí)題 75
第 5章優(yōu)化方法 80
5.1引言 80
5.2凸優(yōu)化條件 80
5.2.1優(yōu)化可微問題 80
5.2.2非可微函數(shù)和次梯度 83
5.3梯度下降 84
5.3.1無約束的梯度下降 84
5.3.2投影梯度法 86
5.3.3近點(diǎn)梯度法 87
5.3.4加速梯度方法 90
5.4坐標(biāo)下降 92
5.4.1可分性和坐標(biāo)下降 93
5.4.2線性回歸和 lasso 94
5.4.3邏輯斯蒂回歸和廣義線性模型 97
5.5仿真研究 99
5.6z小角回歸 100
5.7交替方向乘子法 103
5.8優(yōu)化–zui小化算法 104
5.9雙凸問題和交替zui小化 105
5.10篩選規(guī)則 108
參考文獻(xiàn)注釋 111
附錄 A lasso的對偶 112
附錄 B DPP規(guī)則的推導(dǎo) 113
習(xí)題 114
第 6章統(tǒng)計推斷 118
6.1貝葉斯 lasso 118
6.2自助法 121
6.3 lasso法的后選擇推斷 125
6.3.1協(xié)方差檢驗(yàn) 125
6.3.2選擇后推斷的更廣方案 128
6.3.3檢驗(yàn)何種假設(shè) 133
6.3.4回到向前逐步回歸 134
6.4通過去偏 lasso推斷 134
6.5后選擇推斷的其他建議 136
參考文獻(xiàn)注釋 137
習(xí)題 138
第 7章矩陣的分解、近似及填充 141
7.1引言 141
7.2奇異值分解 142
7.3缺失數(shù)據(jù)和矩陣填充 143
7.3.1 Net.x電影挑戰(zhàn)賽 144
7.3.2基于原子范數(shù)的矩陣填充 146
7.3.3矩陣填充的理論結(jié)果 149
7.3.4間隔分解及相關(guān)方法 153
7.4減秩回歸 154
7.5通用矩陣回歸框架 156
7.6懲罰矩陣分解 157
7.7矩陣分解的相加形式 160
參考文獻(xiàn)注釋 164
習(xí)題 165
第 8章稀疏多元方法 169
8.1引言 169
8.2稀疏組成分分析 169
8.2.1背景 169
8.2.2稀疏主成分 171
8.2.3秩大于 1的解 174
8.2.4基于 Fantope投影的稀疏 PCA 176
8.2.5稀疏自編碼和深度學(xué)習(xí) 176
8.2.6稀疏 PCA的一些理論 178
8.3稀疏典型相關(guān)分析 179
8.4稀疏線性判別分析 182
8.4.1標(biāo)準(zhǔn)理論和貝葉斯規(guī)則 182
8.4.2最近收縮中心 183
8.4.3 Fisher線性判別分析 184
8.4.4評分 188
8.5稀疏聚類 190
8.5.1聚類的一些背景知識 191
8.5.2稀疏層次聚類 191
8.5.3稀疏 K均值聚類 192
8.5.4凸聚類 193
參考文獻(xiàn)注釋 195
習(xí)題 196
第 9章圖和模型選擇 202
9.1引言 202
9.2圖模型基礎(chǔ) 202
9.2.1分解和馬爾可夫特性 202
9.2.2幾個例子 204
9.3基于懲罰似然的圖選擇 206
9.3.1高斯模型的全局似然性 207
9.3.2圖 lasso算法 208
9.3.3利用塊對角化結(jié)構(gòu) 210
9.3.4圖 lasso的理論保證 211
9.3.5離散模型的全局似然性 212
9.4基于條件推斷的圖選擇 213
9.4.1高斯分布下基于近鄰的似然概率 214
9.4.2離散模型下基于近鄰的似然概率 214
9.4.3混合模型下的偽似然概率 217
9.5帶隱變量的圖模型 218
參考文獻(xiàn)注釋 219
習(xí)題 221
第 10章信號近似與壓縮感知 225
10.1引言 225
10.2信號與稀疏表示 225
10.2.1正交基 225
10.2.2用正交基逼近 228
10.2.3用過完備基來重構(gòu) 229
10.3隨機(jī)投影與近似 231
10.3.1 Johnson–Lindenstrauss近似 231
10.3.2壓縮感知 232
10.4烏0恢復(fù)與烏1恢復(fù)之間的等價性 234
10.4.1受限零空間性質(zhì) 235
10.4.2受限零空間的充分條件 235
10.4.3證明 237
參考文獻(xiàn)注釋 238
習(xí)題 239
第 11章 lasso的理論結(jié)果 242
11.1引言 242
11.1.1損失函數(shù)類型 242
11.1.2稀疏模型類型 243
11.2 lasso烏2誤差的界限 244
11.2.1經(jīng)典情形中的強(qiáng)凸性 244
11.2.2回歸受限特征值 245
11.2.3基本一致性結(jié)果 246
11.3預(yù)測誤差的界 250
11.4線性回歸中的支持恢復(fù) 252
11.4.1 lasso的變量選擇一致性 252
11.4.2定理 11.3的證明 256
11.5超越基礎(chǔ) lasso 259
參考文獻(xiàn)注釋 260
習(xí)題 261
參考文獻(xiàn) 264