前言
自美國(guó)斯坦福大學(xué)Stephen Boyd教授將交替方向乘子法引入分布式優(yōu)化和統(tǒng)計(jì)學(xué)習(xí)以來(lái)，交替方向乘子法因?qū)η蠼獯笠?guī)模問(wèn)題十分有效而風(fēng)靡機(jī)器學(xué)習(xí)界，它被廣泛地應(yīng)用于機(jī)器學(xué)習(xí)的優(yōu)化問(wèn)題求解中，尤其是分布式凸優(yōu)化問(wèn)題中。在我國(guó)曾出版過(guò)不少關(guān)于凸優(yōu)化方面的書，但大都偏重于介紹數(shù)學(xué)性的理論、應(yīng)用和算法，對(duì)交替方向乘子法求解機(jī)器學(xué)習(xí)優(yōu)化問(wèn)題的介紹不足；新近的文章和書籍雖然不少，但都比較分散或各有側(cè)重點(diǎn)，編著一本內(nèi)容新穎并具有機(jī)器學(xué)習(xí)應(yīng)用背景的交替方向乘子法的專著，是作者多年的夢(mèng)想。
全書共分為11章，第1章介紹大數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)的挑戰(zhàn)和交替方向乘子法對(duì)機(jī)器學(xué)習(xí)優(yōu)化求解的重要作用，回顧國(guó)內(nèi)外分布式優(yōu)化求解算法的研究現(xiàn)狀，并介紹本書研究?jī)?nèi)容。
第2章按照交替方向乘子法的發(fā)展歷程，介紹了掌握交替方向乘子法所需要的基礎(chǔ)知識(shí)，簡(jiǎn)要介紹了凸優(yōu)化基礎(chǔ)知識(shí)、優(yōu)化中的對(duì)偶基礎(chǔ)知識(shí)、交替方向乘子法的關(guān)聯(lián)優(yōu)化算法，為后面的章節(jié)做鋪墊。
第3章簡(jiǎn)要介紹了利用交替乘子法如何對(duì)稀疏回歸問(wèn)題進(jìn)行求解，演示了利用交替方向乘子法串行和分布式求解Lasso問(wèn)題，為后面的章節(jié)做鋪墊。
第4章討論了如何利用交替方向乘子法對(duì)魯棒性回歸問(wèn)題進(jìn)行分布式優(yōu)化求解，并討論了基于特征劃分和樣本劃分優(yōu)化求解策略。
第5章討論了交替方向乘子法在圖像處理中的應(yīng)用，將交替方向乘子法應(yīng)用到基于全變差模糊圖像恢復(fù)問(wèn)題的優(yōu)化求解中，并將交替方向乘子法應(yīng)用于遙感圖像處理中的全色圖與多光譜圖融合問(wèn)題求解。
第6章探索了針對(duì)人臉識(shí)別應(yīng)用場(chǎng)景如何建立魯棒性模型——加權(quán)Huber約束稀疏表達(dá)模型，并采用交替方向乘子法對(duì)新提出的模型進(jìn)行求解。
第7章探索了針對(duì)人臉識(shí)別應(yīng)用場(chǎng)景如何建立自適應(yīng)魯棒性模型——自適應(yīng)加權(quán)Huber約束稀疏表達(dá)模型，并采用交替方向乘子法對(duì)新提出的模型進(jìn)行求解。
第8章探索了針對(duì)傳統(tǒng)的多元邏輯回歸問(wèn)題采用極大不相關(guān)技術(shù)進(jìn)行擴(kuò)展，并采用交替方向乘子法對(duì)新提出的模型進(jìn)行求解。
第9章探索了針對(duì)傳統(tǒng)的稀疏多元邏輯回歸問(wèn)題采用交替方向乘子法進(jìn)行分布式優(yōu)化求解，并用Spark實(shí)現(xiàn)分布式算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。
第10章探索了針對(duì)傳統(tǒng)的稀疏回歸問(wèn)題采用較之交替方向乘子法效率更高的分布式優(yōu)化求解框架——高效分布式優(yōu)化框架進(jìn)行分布式優(yōu)化求解，并采用Spark實(shí)現(xiàn)分布式算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。
第11章探索了針對(duì)傳統(tǒng)的稀疏多元邏輯回歸問(wèn)題采用高效分布式優(yōu)化框架進(jìn)行分布式優(yōu)化求解，并采用Spark實(shí)現(xiàn)分布式算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。
在本書撰寫過(guò)程中，得到兩位導(dǎo)師——南開大學(xué)數(shù)學(xué)與科學(xué)學(xué)院吳春林教授、挪威奧斯陸大學(xué)Xing Cai教授的悉心指導(dǎo)和幫助，是他們把我領(lǐng)進(jìn)了分布式優(yōu)化的研究領(lǐng)域；在分布式機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)方面，作者曾請(qǐng)教過(guò)湖南大學(xué)唐卓教授、中國(guó)科學(xué)院重慶綠色智能技術(shù)研究院羅辛教授、重慶郵電大學(xué)米建勛副教授，三位老師還熱情提供了他們的科研資料。我要感謝我的研究團(tuán)隊(duì)在本書撰寫中所付出的辛勤努力，他們是杜萌、蔣志杰、張紅宇、張策、陳浩、唐建烊、黃杰、申靈和杜加浩。重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院的同事也給予作者不少幫助，在此向他們表示深深的感謝。
作者
2020年12月
目錄
第1章引言
1.1大數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)的挑戰(zhàn)
1.2分布式優(yōu)化算法國(guó)內(nèi)外研究現(xiàn)狀
1.3本書研究?jī)?nèi)容
1.4參考文獻(xiàn)
第2章交替方向乘子法
2.1凸優(yōu)化
2.1.1凸集
2.1.2凸函數(shù)
2.1.3優(yōu)化問(wèn)題
2.1.4凸優(yōu)化問(wèn)題
2.2對(duì)偶
2.2.1拉格朗日對(duì)偶函數(shù)
2.2.2對(duì)偶函數(shù)和共軛函數(shù)
2.2.3對(duì)偶問(wèn)題
2.2.4鞍點(diǎn)
2.2.5對(duì)偶上升法
2.2.6對(duì)偶分解性
2.3交替方向乘子法
2.3.1增廣拉格朗日乘子法
2.3.2交替方向乘子法
2.3.3全局變量一致性優(yōu)化
2.4參考文獻(xiàn)
第3章稀疏回歸
3.1Lasso問(wèn)題
3.2ADMM求解Lasso問(wèn)題
3.3Lasso問(wèn)題的一般求解
3.4Lasso問(wèn)題的全局一致性求解
3.4.1基于樣本劃分的Lasso問(wèn)題
3.4.2基于特征劃分的Lasso問(wèn)題
3.5參考文獻(xiàn)
第4章Huber回歸
4.1Huber損失在稀疏魯棒性編碼中的應(yīng)用
4.1.1基于回歸分析的一般分類框架
4.1.2稀疏編碼
4.1.3Huber損失函數(shù)
4.2Huber損失的一般化求解
4.3Huber損失的并行求解
4.3.1基于特征劃分的Huber函數(shù)
4.3.2基于樣本劃分的Huber函數(shù)
4.4參考文獻(xiàn)
第5章交替方向乘子法在圖像處理中的應(yīng)用
5.1基于交替方向乘子法的全變差模糊圖像恢復(fù)
5.1.1圖像退化模型
5.1.2ADMM算法圖像恢復(fù)推導(dǎo)過(guò)程
5.2基于交替方向乘子法的遙感圖像融合
5.2.1基于變分框架的圖像融合方法
5.2.2基于增強(qiáng)稀疏結(jié)構(gòu)一致性的遙感圖像融合
5.2.3實(shí)驗(yàn)結(jié)果與分析
5.3參考文獻(xiàn)
第6章加權(quán)Huber約束稀疏表達(dá)的魯棒性算法
6.1Sigmoid權(quán)重
6.2加權(quán)Huber約束稀疏編碼
6.2.1權(quán)重的初始值
6.2.2迭代條件
6.2.3查詢樣本類別判斷
6.3算法魯棒性分析
6.4算法的迭代步驟及其子問(wèn)題劃分
6.4.1ADMM求解子問(wèn)題
6.4.2計(jì)算復(fù)雜度分析
6.4.3收斂性和收斂率分析
6.5加權(quán)Huber約束稀疏編碼算法實(shí)驗(yàn)
6.5.1實(shí)驗(yàn)設(shè)置
6.5.2弱遮擋的人臉識(shí)別
6.5.3強(qiáng)遮擋的人臉識(shí)別
6.5.4圖像的重構(gòu)
6.5.5運(yùn)行時(shí)間
6.5.6參數(shù)與識(shí)別率
6.5.7實(shí)驗(yàn)結(jié)果與分析
6.6本章小結(jié)
6.7參考文獻(xiàn)
第7章自適應(yīng)加權(quán)Huber約束稀疏表達(dá)的魯棒性算法
7.1自適應(yīng)權(quán)重
7.2自適應(yīng)加權(quán)Huber約束編碼的模型
7.3自適應(yīng)加權(quán)Huber約束稀疏編碼的模型
7.3.1自適應(yīng)權(quán)重更新
7.3.2自適應(yīng)權(quán)重初始值
7.3.3迭代條件
7.3.4查詢樣本分類
7.4算法魯棒性分析
7.5算法的迭代步驟及子問(wèn)題分析
7.5.1ADMM求解子問(wèn)題
7.5.2計(jì)算復(fù)雜度分析
7.5.3收斂性和收斂率分析
7.6自適應(yīng)加權(quán)Huber約束稀疏編碼算法實(shí)驗(yàn)
7.6.1實(shí)驗(yàn)設(shè)置
7.6.2弱閉塞的人臉識(shí)別
7.6.3強(qiáng)閉塞的人臉識(shí)別
7.6.4運(yùn)行時(shí)間
7.6.5參數(shù)分析
7.6.6實(shí)驗(yàn)結(jié)果與分析
7.7本章小結(jié)
7.8參考文獻(xiàn)
第8章極大不相關(guān)多元邏輯回歸
8.1引入極大不相關(guān)約束的意義
8.2極大不相關(guān)多元邏輯回歸算法
8.2.1基于多元邏輯回歸算法的改進(jìn)
8.2.2求解算法時(shí)間復(fù)雜度分析
8.3極大不相關(guān)多元邏輯回歸算法實(shí)驗(yàn)
8.3.1數(shù)據(jù)集介紹
8.3.2人工數(shù)據(jù)集和公開數(shù)據(jù)集實(shí)驗(yàn)結(jié)果
8.3.3極大不相關(guān)神經(jīng)網(wǎng)絡(luò)算法實(shí)驗(yàn)
8.4大規(guī)模極大不相關(guān)多元邏輯回歸算法
8.4.1極大不相關(guān)多元邏輯回歸的一致性求解算法
8.4.2極大不相關(guān)多元邏輯回歸的共享求解算法
8.4.3求解算法時(shí)間復(fù)雜度分析
8.5分布式極大不相關(guān)邏輯回歸算法實(shí)驗(yàn)
8.5.1運(yùn)行環(huán)境與數(shù)據(jù)集介紹
8.5.2一致性求解算法的實(shí)驗(yàn)對(duì)比
8.5.3共享求解算法的實(shí)驗(yàn)對(duì)比
8.6本章小結(jié)
8.7參考文獻(xiàn)
第9章快速稀疏多元邏輯回歸
9.1稀疏多元邏輯回歸串行求解算法
9.1.1迭代重加權(quán)最小二乘法
9.1.2快速稀疏多元邏輯回歸算法
9.2快速稀疏多元邏輯回歸算法實(shí)驗(yàn)
9.2.1實(shí)驗(yàn)設(shè)置
9.2.2優(yōu)化算法實(shí)驗(yàn)及分析
9.2.3傳統(tǒng)算法實(shí)驗(yàn)及分析
9.3稀疏多元邏輯回歸并行求解算法
9.3.1多元邏輯回歸的一致性優(yōu)化求解
9.3.2多元邏輯回歸的共享優(yōu)化求解
9.3.3求解算法收斂性分析
9.3.4求解算法計(jì)算復(fù)雜度分析
9.4SPSMLR算法和FPSMLR算法實(shí)驗(yàn)
9.4.1實(shí)驗(yàn)設(shè)置
9.4.2樣本劃分實(shí)驗(yàn)及分析
9.4.3特征劃分實(shí)驗(yàn)及分析
9.4.4大規(guī)模算法實(shí)驗(yàn)及分析
9.5本章小結(jié)
9.6參考文獻(xiàn)
第10章CoCoA框架下的Lasso回歸分布式求解
10.1CoCoA框架介紹
10.1.1框架應(yīng)用的兩種問(wèn)題形式
10.1.2各節(jié)點(diǎn)求解的子問(wèn)題
10.1.3CoCoA總體計(jì)算框架
10.2CoCoA框架下求解Lasso回歸
10.3CoCoA框架下求解Lasso回歸實(shí)驗(yàn)
10.3.1實(shí)驗(yàn)設(shè)置
10.3.2實(shí)驗(yàn)結(jié)果與分析
10.4本章小結(jié)
10.5參考文獻(xiàn)
第11章CoCoA框架下的稀疏多元邏輯回歸分布式求解
11.1稀疏多元邏輯回歸
11.2稀疏多元邏輯回歸分布式求解
11.3CoCoA框架下求解稀疏多元邏輯回歸實(shí)驗(yàn)
11.3.1實(shí)驗(yàn)設(shè)置
11.3.2實(shí)驗(yàn)結(jié)果與分析
11.4本章小結(jié)
11.5參考文獻(xiàn)
書單推薦
