定 價(jià):49 元
叢書名:經(jīng)典譯叢·信息與通信技術(shù)
- 作者:(美)Irina Rish(伊琳娜 里什), Genady Ya. Grabarnik(賈納德里 亞 格拉巴爾尼克)
- 出版時(shí)間:2018/1/1
- ISBN:9787121333569
- 出 版 社:電子工業(yè)出版社
- 中圖法分類:O141.4
- 頁碼:184
- 紙張:膠版紙
- 版次:1
- 開本:16開
內(nèi)容簡介:稀疏建模與現(xiàn)代統(tǒng)計(jì)學(xué)、信號處理、機(jī)器學(xué)習(xí)聯(lián)系密切,可以實(shí)現(xiàn)從相對較少的觀測數(shù)據(jù)精確復(fù)原待估信號,廣泛應(yīng)用于圖像重構(gòu)、數(shù)據(jù)的參數(shù)學(xué)習(xí)模型、故障診斷、模式識(shí)別與雷達(dá)信號處理等領(lǐng)域。本書詳細(xì)討論了稀疏建模的相關(guān)內(nèi)容,包括對稀疏解產(chǎn)生的問題描述、尋找稀疏解的求解算法、稀疏復(fù)原的理論成果以及應(yīng)用實(shí)例等。封底文字:稀疏模型在一些科學(xué)應(yīng)用領(lǐng)域(如基因或神經(jīng)成像數(shù)據(jù)中的生物標(biāo)記發(fā)現(xiàn))特別有用,預(yù)測模型的可解譯性是其*根本的特點(diǎn)。稀疏性可以極大地提高信號處理的成本效益!断∈杞@碚摗⑺惴捌鋺(yīng)用》一書提供了對稀疏建模領(lǐng)域的介紹,包括應(yīng)用實(shí)例、產(chǎn)生稀疏解的問題描述、用于尋找稀疏解的算法以及稀疏復(fù)原領(lǐng)域中*近的理論成果。該書將帶讀者了解稀疏建模有關(guān)的*進(jìn)展,增加對該領(lǐng)域的理解,激發(fā)在該領(lǐng)域深入學(xué)習(xí)的興趣。在本書中,作者首先提出引導(dǎo)性示例,并對稀疏建模領(lǐng)域的關(guān)鍵*進(jìn)展進(jìn)行較高層次的探索。然后,該書描述了常用的強(qiáng)化稀疏的工具中涉及的優(yōu)化問題,給出了本質(zhì)性的理論結(jié)果,并討論了若干尋找稀疏解的*算法。作者接下來研究了稀疏復(fù)原問題,將基本形式擴(kuò)展到更復(fù)雜的結(jié)構(gòu)性稀疏問題與不同的損失函數(shù)。該過程也檢驗(yàn)了一類特定的稀疏圖形模型,并涵蓋了字典學(xué)習(xí)與稀疏矩陣分解內(nèi)容。本書特色● 介紹了稀疏建模與信號復(fù)原中的一些關(guān)鍵概念與主要結(jié)果;● 涵蓋了稀疏建模的基本理論、*的算法與方法,以及實(shí)際應(yīng)用;● 描述了流行的強(qiáng)化稀疏方法,如l0與l1范數(shù)*小化;● 研究了稀疏建模領(lǐng)域中若干快速發(fā)展的子領(lǐng)域,如稀疏高斯馬爾可夫*場、結(jié)構(gòu)性稀疏、字典學(xué)習(xí)與稀疏矩陣分解。
本書特色 ● 介紹了稀疏建模與信號復(fù)原中的一些關(guān)鍵概念與主要結(jié)果; ● 涵蓋了稀疏建模的基本理論、*的算法與方法,以及實(shí)際應(yīng)用; ● 描述了流行的強(qiáng)化稀疏方法,如l0與l1范數(shù)*小化; ● 研究了稀疏建模領(lǐng)域中若干快速發(fā)展的子領(lǐng)域,如稀疏高斯馬爾可夫隨機(jī)場、結(jié)構(gòu)性稀疏、字典學(xué)習(xí)與稀疏矩陣分解。
本書在翻譯過程中,所有譯者一直堅(jiān)持忠于原書,以謹(jǐn)慎細(xì)致的態(tài)度開展工作,但是其中難免存在疏漏,懇請廣大讀者批評指正。前言如果托勒密、阿加莎?克里斯蒂與奧卡姆的威廉聚在一起,他們很可能認(rèn)同一個(gè)共同的思想。托勒密會(huì)說,我們認(rèn)為用最簡單的假設(shè)對現(xiàn)象進(jìn)行解釋是一種很好的準(zhǔn)則。阿加莎可能會(huì)補(bǔ)充,最簡單的解釋總是最適合的。奧卡姆的威廉將可能點(diǎn)頭同意,如無必要,勿增實(shí)體。該節(jié)省性原則,就是今天有名的奧卡姆剃刀原理,是滲透于從古至今所有哲學(xué)、藝術(shù)與科學(xué)領(lǐng)域的一個(gè)基礎(chǔ)性思想。至繁歸于至簡(萊昂納多?達(dá)?芬奇)。盡量把所有事情變得簡單,以致不能更簡單(阿爾伯特?愛因斯坦)。在人類歷史上,先哲支持簡單性的名言可以無休無盡,很容易寫滿許多頁紙。但是,我們希望保持該序言簡短。該書的主題稀疏建模,是節(jié)省性原則在現(xiàn)代統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)與信號處理領(lǐng)域的特殊體現(xiàn)。在這些領(lǐng)域,一個(gè)基礎(chǔ)性的問題就是由于觀測成本或其他限制,需要從數(shù)量相對較少的觀測中對未觀測高維信號進(jìn)行精確復(fù)原。圖像重構(gòu)、從數(shù)據(jù)中學(xué)習(xí)模型參數(shù)、系統(tǒng)故障或人類疾病診斷,是逆問題出現(xiàn)后要解決的一些例子。一般地,高維、小樣本推斷問題是欠定的,且在計(jì)算上是難于處理的,除非該問題具有某一特定的結(jié)構(gòu),如稀疏性。事實(shí)上,當(dāng)僅有少量變量為真正重要的變量時(shí),真實(shí)解可以很好地由稀疏向量來近似,將剩余變量設(shè)置為零或接近零。換言之,少量最相關(guān)的變量(起因、預(yù)測因子等)通常對于解釋感興趣的現(xiàn)象來說是充分的。更一般地,即使原始問題并沒有產(chǎn)生稀疏解,我們也可以找到一個(gè)到新坐標(biāo)系統(tǒng)的映射或字典,從而實(shí)現(xiàn)稀疏表示。因此,稀疏結(jié)構(gòu)看上去是很多自然信號固有的性質(zhì)沒有該結(jié)構(gòu),認(rèn)知并適應(yīng)這個(gè)世界是相當(dāng)具有挑戰(zhàn)性的。本書提供對稀疏建模簡要的介紹,包括應(yīng)用實(shí)例、導(dǎo)致稀疏解的問題描述、尋找稀疏解的算法,以及一些關(guān)于稀疏復(fù)原最新的理論成果。該書的內(nèi)容基于我們幾年前在國際機(jī)器學(xué)習(xí)大會(huì)(ICML2010)上的輔導(dǎo)性講座,以及2011年春季學(xué)期在哥倫比亞大學(xué)教授的研究生課程。第1章從引導(dǎo)性示例開始,對稀疏建模關(guān)鍵的最新進(jìn)展進(jìn)行了概述。第2章對優(yōu)化問題進(jìn)行了描述,該優(yōu)化問題涉及常用于強(qiáng)化稀疏的工具,如l0與l1范數(shù)約束。必要的理論結(jié)果在第3章與第4章中進(jìn)行介紹,第5章討論了若干用于尋找稀疏解的著名算法。然后,在第6章與第7章討論了大量的稀疏復(fù)原問題,分別將基本的問題形式擴(kuò)展到更為復(fù)雜的結(jié)構(gòu)性稀疏形式與不同的損失函數(shù)。第8章介紹了特殊的稀疏圖模型,如稀疏高斯馬爾可夫隨機(jī)場,該模型是稀疏建模中熱門且快速發(fā)展的子領(lǐng)域。最后,第9章研究了字典學(xué)習(xí)與稀疏矩陣分解。注意,本書并不能對所有與稀疏有關(guān)的最新進(jìn)展進(jìn)行全部研究。事實(shí)上,僅僅一本書不可能對這個(gè)快速發(fā)展的領(lǐng)域全面涉獵。然而,我們希望本書能夠作為稀疏建模的入門書籍,激勵(lì)讀者繼續(xù)學(xué)習(xí)本書之外的內(nèi)容。最后,我們想感謝以不同方式對本書作出貢獻(xiàn)的人。Irina感謝IBM沃特森研究中心的同事Chid Apte、Guillermo Cecchi、James Kozloski、Laxmi Parida、Charles Peck、Ravi Rao、Jeremy Rice與Ajay Royyuru,感謝他們這些年來給予的鼓勵(lì)與支持。同時(shí),其他同事與朋友的想法也有助于本書的成稿,包括Narges Bani Asadi、Alina Beygelzimer、Melissa Carroll、Gaurav Chandalia、Jean Honorio、Natalia Odintsova、Dimitris Samaras、Katya Scheinberg與Ben Taskar。Ben于去年去世,但他仍然活在我們的記憶與他優(yōu)秀的工作中。感謝Dmitry Malioutov、Aurelie Lozano與Francisco Pereira,他們閱讀了手稿,并提出了很多有價(jià)值的建議,對本書改進(jìn)幫助很大。還要特別感謝本書的編輯Randi Cohen,他使我們一直保持積極性并耐心地等待本書完稿。最后,感謝我們的家人,是他們的愛、支持與耐心成為我們靈感的無限源泉。我們不得不承認(rèn)該書花費(fèi)了比預(yù)期長的時(shí)間(多了幾年)。因此,Irina(很高興地)輸?shù)袅伺c她女兒Natalie關(guān)于誰先出版一本書的賭約。
Irina Rish:目前是IBM T.J. Watson研究中心的研究人員,她在俄羅斯的Moscow Gubkin Institute獲得應(yīng)用數(shù)學(xué)碩士學(xué)位,并在加利福尼亞大學(xué)Irvine分校獲得計(jì)算機(jī)科學(xué)博士學(xué)位。主要研究領(lǐng)域包括概率推理、機(jī)器學(xué)習(xí)和信息理論。Genady Grabarnik:現(xiàn)為美國圣約翰大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院助理教授,在美國科學(xué)院獲得博士學(xué)位。
欒悉道,長沙學(xué)院副教授,畢業(yè)于國防科學(xué)技術(shù)大學(xué),獲工學(xué)博士學(xué)位,主要研究領(lǐng)域?yàn)椋憾嗝襟w信息系統(tǒng)、圖像處理。王衛(wèi)威,畢業(yè)于國防科學(xué)技術(shù)大學(xué),獲工學(xué)博士學(xué)位,主要研究領(lǐng)域?yàn)椋盒盘栂∈璞硎,壓縮感知與圖像處理。謝毓湘:國防科學(xué)技術(shù)大學(xué)副教授,畢業(yè)于國防科學(xué)技術(shù)大學(xué),獲工學(xué)博士學(xué)位,主要研究領(lǐng)域?yàn)椋憾嗝襟w信息系統(tǒng)、圖像處理。魏迎梅:國防科學(xué)技術(shù)大學(xué)教授,畢業(yè)于國防科學(xué)技術(shù)大學(xué),獲工學(xué)博士學(xué)位,主要研究領(lǐng)域?yàn)椋禾摂M現(xiàn)實(shí)、大數(shù)據(jù)分析與處理。
第1章 導(dǎo)論
1.1 引導(dǎo)性示例
1.1.1 計(jì)算機(jī)網(wǎng)絡(luò)診斷
1.1.2 神經(jīng)影像分析
1.1.3 壓縮感知
1.2 稀疏復(fù)原簡介
1.3 統(tǒng)計(jì)學(xué)習(xí)與壓縮感知
1.4 總結(jié)與參考書目
第2章 稀疏復(fù)原:問題描述
2.1 不含噪稀疏復(fù)原
2.2 近似
2.3 凸性: 簡要回顧
2.4 問題(P0)的松弛
2.5 lq-正則函數(shù)對解的稀疏性的影響
2.6 l1范數(shù)最小化與線性規(guī)劃的等價(jià)性
2.7 含噪稀疏復(fù)原
2.8 稀疏復(fù)原問題的統(tǒng)計(jì)學(xué)視角
2.9 擴(kuò)展LASSO:其他損失函數(shù)與正則函數(shù)
2.10 總結(jié)與參考書目
第3章 理論結(jié)果(確定性部分)
3.1 采樣定理
3.2 令人驚訝的實(shí)驗(yàn)結(jié)果
3.3 從不完全頻率信息中進(jìn)行信號復(fù)原
3.4 互相關(guān)
3.5 Spark與問題(P0)解的唯一性
3.6 零空間性質(zhì)與問題(P1)解的唯一性
3.7 有限等距性質(zhì)
3.8 最壞情況下精確復(fù)原問題的平方根瓶頸
3.9 基于RIP的精確重構(gòu)
3.10 總結(jié)與參考書目第4章理論結(jié)果(概率部分)
4.1 RIP何時(shí)成立?
4.2 Johnson-Lindenstrauss引理與亞高斯隨機(jī)矩陣的RIP
4.2.1 Johnson-Lindenstrauss集中不等式的證明
4.2.2 具有亞高斯隨機(jī)元素的矩陣的RIP
4.3 滿足RIP的隨機(jī)矩陣
4.3.1 特征值與RIP
4.3.2 隨機(jī)向量,等距隨機(jī)向量
4.4 具有獨(dú)立有界行的矩陣與具有傅里葉變換隨機(jī)行的矩陣的RIP
4.4.1 URI的證明
4.4.2 一致大數(shù)定律的尾界
4.5 總結(jié)與參考書目
第5章 稀疏復(fù)原問題的算法
5.1 一元閾值是正交設(shè)計(jì)的最優(yōu)方法
5.1.1 l0范數(shù)最小化
5.1.2 l1范數(shù)最小化
5.2 求解l0范數(shù)最小化的算法
5.2.1 貪婪方法綜述
5.3 用于l1范數(shù)最小化的算法
5.3.1 用于求解LASSO的最小角回歸方法
5.3.2 坐標(biāo)下降法
5.3.3 近端方法
5.4 總結(jié)與參考書目
第6章 擴(kuò)展LASSO:結(jié)構(gòu)稀疏性
6.1 彈性網(wǎng)
6.1.1 實(shí)際中的彈性網(wǎng):神經(jīng)成像應(yīng)用
6.2 融合LASSO
6.3 分組LASSO:l1/l2罰函數(shù)
6.4 同步LASSO:l1/l罰函數(shù)
6.5 一般化
6.5.1 塊l1/lq范數(shù)及其擴(kuò)展
6.5.2 重疊分組
6.6 應(yīng)用
6.6.1 時(shí)間因果關(guān)系建模
6.6.2 廣義加性模型
6.6.3 多核學(xué)習(xí)
6.6.4 多任務(wù)學(xué)習(xí)
6.7 總結(jié)與參考書目
第7章 擴(kuò)展LASSO:其他損失函數(shù)
7.1 含噪觀測情況下的稀疏復(fù)原
7.2 指數(shù)族、 GLM與Bregman散度
7.2.1 指數(shù)族
7.2.2 廣義線性模型
7.2.3 Bregman散度
7.3 具有GLM回歸的稀疏復(fù)原
7.4 總結(jié)與參考書目
第8章 稀疏圖模型
8.1 背景
8.2 馬爾可夫網(wǎng)絡(luò)
8.2.1 馬爾可夫性質(zhì):更為仔細(xì)的觀察
8.2.2 高斯MRF
8.3 馬爾可夫網(wǎng)絡(luò)中的學(xué)習(xí)與推斷
8.3.1 學(xué)習(xí)
8.3.2 推斷
8.3.3 例子:神經(jīng)影像應(yīng)用
8.4 學(xué)習(xí)稀疏高斯MRF
8.4.1 稀疏逆協(xié)方差選擇問題
8.4.2 優(yōu)化方法
8.4.3 選擇正則化參數(shù)
8.5 總結(jié)與參考書目
第9章 稀疏矩陣分解:字典學(xué)習(xí)與擴(kuò)展
9.1 字典學(xué)習(xí)
9.1.1 問題描述
9.1.2 字典學(xué)習(xí)算法
9.2 稀疏PCA
9.2.1 背景
9.2.2 稀疏PCA:合成視角
9.2.3 稀疏PCA:分析視角
9.3 用于盲源分離的稀疏NMF
9.4 總結(jié)與參考書目
后記
附錄A 數(shù)學(xué)背景
參考文獻(xiàn)