聯(lián)邦學(xué)習(xí)：算法詳解與系統(tǒng)實(shí)現(xiàn)
定 價(jià)：99 元
叢書名：智能科學(xué)與技術(shù)叢書
- 作者：薄列峰,[美]黃恒,顧松庠,陳彥卿等著
- 出版時(shí)間：2022/4/1
- ISBN：9787111703495
- 出 版 社：機(jī)械工業(yè)出版社
- 中圖法分類：TP181
- 頁碼：
- 紙張：膠版紙
- 版次：
- 開本：16開
本書首先介紹聯(lián)邦學(xué)習(xí)的定義和發(fā)展歷史，按類別介紹聯(lián)邦學(xué)習(xí)算法和發(fā)展現(xiàn)狀，介紹聯(lián)邦學(xué)習(xí)的應(yīng)用場景，以及相關(guān)安全機(jī)器學(xué)習(xí)的技術(shù)。然后我們將介紹zui新zui前沿的聯(lián)邦學(xué)習(xí)算法，用數(shù)科系統(tǒng)作為實(shí)例，對聯(lián)邦學(xué)習(xí)系統(tǒng)構(gòu)建和實(shí)現(xiàn)進(jìn)行講解。zui后我們將介紹數(shù)科自研的基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)技術(shù)。
作者都是扎根于聯(lián)邦學(xué)習(xí)前沿的研究者和從業(yè)者。
本書提出了眾多不同于其他書籍的全新聯(lián)邦學(xué)習(xí)算法，以饗讀者。
作者參考了近年全新的文章和綜述，緊跟學(xué)術(shù)和業(yè)界的聯(lián)邦學(xué)習(xí)動(dòng)態(tài)。
機(jī)器學(xué)習(xí)技術(shù)在近20年飛速發(fā)展，從一個(gè)個(gè)數(shù)學(xué)概念逐漸演變成一個(gè)個(gè)算法實(shí)現(xiàn)，為工業(yè)界和學(xué)術(shù)界帶來了新的力量。然而，近幾年，數(shù)據(jù)隱私保護(hù)問題愈發(fā)受到人們的關(guān)注，研究者們開始開發(fā)各種技術(shù)來進(jìn)行數(shù)據(jù)層面的隱私保護(hù)。聯(lián)邦學(xué)習(xí)作為其中一項(xiàng)重要技術(shù)，勢必迎來新的發(fā)展前景。本書將從概念、應(yīng)用場景到具體的先進(jìn)算法，再到后的系統(tǒng)實(shí)現(xiàn)，對聯(lián)邦學(xué)習(xí)技術(shù)進(jìn)行全盤的梳理與總結(jié)，希望給讀者一些啟發(fā)。注意，本書僅從技術(shù)視角對聯(lián)邦學(xué)習(xí)進(jìn)行回顧展望，如有涉及數(shù)據(jù)收集與授權(quán)方面的信息，還需要滿足管轄地法律法規(guī)及監(jiān)管的要求。
本書分三個(gè)部分，共17章。
部分為聯(lián)邦學(xué)習(xí)基礎(chǔ)知識(shí)，主要介紹聯(lián)邦學(xué)習(xí)的定義、挑戰(zhàn)、應(yīng)用場景和常用技術(shù)，包括以下3章。
第1章聯(lián)邦學(xué)習(xí)概述，詳細(xì)介紹了什么是聯(lián)邦學(xué)習(xí)、聯(lián)邦學(xué)習(xí)的應(yīng)用現(xiàn)狀與挑戰(zhàn)，然后介紹了分布式學(xué)習(xí)和聯(lián)邦學(xué)習(xí)的區(qū)別與關(guān)聯(lián)。
第2章聯(lián)邦學(xué)習(xí)應(yīng)用場景，本章從金融、生物醫(yī)學(xué)、計(jì)算機(jī)視覺和自然語言處理等多個(gè)方面對聯(lián)邦學(xué)習(xí)的應(yīng)用場景進(jìn)行介紹。
第3章常用隱私保護(hù)技術(shù)，我們首先對當(dāng)前基于隱私保護(hù)的機(jī)器學(xué)習(xí)算法進(jìn)行了簡要綜述，然后重點(diǎn)介紹了差分隱私、安全多方計(jì)算和同態(tài)加密等常用的隱私保護(hù)技術(shù)。
第二部分為聯(lián)邦學(xué)習(xí)算法詳述，主要介紹了我們針對縱向聯(lián)邦學(xué)習(xí)和橫向聯(lián)邦學(xué)習(xí)場景提出來的諸多創(chuàng)新性聯(lián)邦學(xué)習(xí)算法，包括以下10章。
第4章縱向聯(lián)邦樹模型算法，基于兩種不同的集成方法Bagging和Boosting分別設(shè)計(jì)了兩種算法：縱向聯(lián)邦隨機(jī)森林算法和縱向聯(lián)邦梯度提升算法。
第5章縱向聯(lián)邦線性回歸算法，提出了全新的縱向聯(lián)邦多視角線性回歸算法，從多個(gè)視角對對象進(jìn)行建模并聯(lián)合優(yōu)化所有函數(shù)。
第6章縱向聯(lián)邦核學(xué)習(xí)算法，提出了一個(gè)針對縱向聯(lián)邦場景的核學(xué)習(xí)算法，并設(shè)計(jì)了一個(gè)完整的聯(lián)邦學(xué)習(xí)框架。
第7章異步縱向聯(lián)邦學(xué)習(xí)算法，針對當(dāng)前縱向聯(lián)邦學(xué)習(xí)算法主要采用的同步并行方法提出了相應(yīng)的異步并行算法，并針對強(qiáng)凸問題提供了理論保證。
第8章基于反向更新的雙層異步縱向聯(lián)邦學(xué)習(xí)算法，提出了一個(gè)反向更新的異步并行算法，以在實(shí)際應(yīng)用中同時(shí)實(shí)現(xiàn)標(biāo)簽數(shù)據(jù)保護(hù)和并行計(jì)算（更新）。
第9章縱向聯(lián)邦深度學(xué)習(xí)算法，提出了一個(gè)針對當(dāng)下流行的深度學(xué)習(xí)模型的縱向聯(lián)邦學(xué)習(xí)基礎(chǔ)框架，并對框架進(jìn)行了簡要的綜合分析。
第10章快速安全的同態(tài)加密數(shù)據(jù)挖掘框架，針對當(dāng)前同態(tài)加密時(shí)間復(fù)雜度高的問題，提出了一個(gè)基于同態(tài)加密的快速分布式數(shù)據(jù)挖掘框架。
第11章橫向聯(lián)邦學(xué)習(xí)算法，在闡述分布式學(xué)習(xí)和橫向聯(lián)邦學(xué)習(xí)之間關(guān)系的基礎(chǔ)上，對當(dāng)前橫向聯(lián)邦學(xué)習(xí)的主流算法進(jìn)行了較為詳細(xì)的介紹。
第12章混合聯(lián)邦學(xué)習(xí)算法，結(jié)合橫向聯(lián)邦學(xué)習(xí)和縱向聯(lián)邦學(xué)習(xí)的特點(diǎn)，提出了適用性更廣、使用步驟簡單的混合聯(lián)邦學(xué)習(xí)算法。
第13章聯(lián)邦強(qiáng)化學(xué)習(xí)，首先介紹了強(qiáng)化學(xué)習(xí)的定義和常用技術(shù)方案，然后介紹了多種聯(lián)邦強(qiáng)化學(xué)習(xí)算法。
第三部分為聯(lián)邦學(xué)習(xí)系統(tǒng)相關(guān)知識(shí)，主要介紹了科技設(shè)計(jì)的聯(lián)邦學(xué)習(xí)系統(tǒng)及算法落地的性能優(yōu)化技術(shù)，包括以下4章。
第14章FedLearn聯(lián)邦學(xué)習(xí)系統(tǒng)，從編程語言與環(huán)境、系統(tǒng)架構(gòu)、跨語言算法支持（函數(shù)調(diào)用）、系統(tǒng)服務(wù)和工程部署等方面全方位地介紹了FedLearn聯(lián)邦學(xué)習(xí)系統(tǒng)。
第15章gRPC在FedLearn中的聯(lián)邦學(xué)習(xí)應(yīng)用實(shí)例，以橫向聯(lián)邦學(xué)習(xí)和縱向聯(lián)邦學(xué)習(xí)的應(yīng)用場景為切入點(diǎn)，詳細(xì)介紹了如何使用FedLearn中采用的高性能框架gRPC。
第16章落地場景中的性能優(yōu)化實(shí)踐，介紹了如何在實(shí)際應(yīng)用中對系統(tǒng)進(jìn)行性能優(yōu)化，并給出了實(shí)際應(yīng)用場景中的優(yōu)化結(jié)果。
第17章基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)，引入?yún)^(qū)塊鏈學(xué)習(xí)，介紹了基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)算法和聯(lián)邦學(xué)習(xí)系統(tǒng)的實(shí)現(xiàn)。
其中，第二部分為本書的重點(diǎn)部分，我們提出了諸多聯(lián)邦學(xué)習(xí)的算法、流程詳解及可能的理論保障。如果讀者沒有充足的時(shí)間完成全書的閱讀，可以選擇性地進(jìn)行重點(diǎn)部分的閱讀。如果讀者有一定的從業(yè)經(jīng)驗(yàn)，本書可能會(huì)是一本不錯(cuò)的參考書。然而，如果讀者是一名初學(xué)者，建議在閱讀本書之前，先進(jìn)行一些機(jī)器學(xué)習(xí)、分布式學(xué)習(xí)以及隱私保護(hù)技術(shù)等基礎(chǔ)理論知識(shí)的學(xué)習(xí)。
本書相比于其他聯(lián)邦學(xué)習(xí)書籍的特色與優(yōu)勢在于：，本書的作者是扎根于聯(lián)邦學(xué)習(xí)前沿的研究者和從業(yè)者；第二，我們在本書中提出了眾多不同于其他書籍的全新聯(lián)邦學(xué)習(xí)算法，以饗讀者；第三，我們參考了近兩年全新的文章和綜述，緊跟學(xué)術(shù)和業(yè)界的聯(lián)邦學(xué)習(xí)動(dòng)態(tài)。
在本書的編寫過程中，我們深深地感受到聯(lián)邦學(xué)習(xí)及其相關(guān)領(lǐng)域技術(shù)的繁多冗雜，因此書中難免出現(xiàn)一些錯(cuò)誤或者不準(zhǔn)確的地方，懇請讀者批評(píng)指正。
感謝科技對我們撰寫本書的大力支持與幫助!
感謝科技硅谷研發(fā)部基礎(chǔ)用戶算法部的顧彬、單華松、王家洲。
感謝科技算法工程研發(fā)部區(qū)塊鏈平臺(tái)組的王義、孫海波。
感謝科技硅谷研發(fā)部聯(lián)邦學(xué)習(xí)算法部的黨致遠(yuǎn)、范明姐、王佩琪、王新左、張青松、張文夕（按姓名首字母排序）。
前言
部分 聯(lián)邦學(xué)習(xí)基礎(chǔ)知識(shí)
第 1 章 聯(lián)邦學(xué)習(xí)概述 2
1.1 什么是聯(lián)邦學(xué)習(xí) 2
1.1.1 聯(lián)邦學(xué)習(xí)的發(fā)展歷史 3
1.1.2 聯(lián)邦學(xué)習(xí)的工作流程 4
1.1.3 聯(lián)邦學(xué)習(xí)的分類 6
1.2 聯(lián)邦學(xué)習(xí)的應(yīng)用和挑戰(zhàn) 8
1.2.1 聯(lián)邦學(xué)習(xí)的應(yīng)用現(xiàn)狀 8
1.2.2 聯(lián)邦學(xué)習(xí)的核心挑戰(zhàn) 9
1.3 分布式機(jī)器學(xué)習(xí)與聯(lián)邦學(xué)習(xí) 10
1.3.1 分布式機(jī)器學(xué)習(xí)的發(fā)展歷史 10
1.3.2 分布式機(jī)器學(xué)習(xí)概述 11
1.3.3 分布式機(jī)器學(xué)習(xí)與聯(lián)邦學(xué)習(xí)的共同發(fā)展 13
1.4 總結(jié) 14
第 2 章 聯(lián)邦學(xué)習(xí)應(yīng)用場景 15
2.1 聯(lián)邦學(xué)習(xí)與金融 15
2.2 聯(lián)邦學(xué)習(xí)與生物醫(yī)學(xué) 17
2.3 聯(lián)邦學(xué)習(xí)與計(jì)算機(jī)視覺 19
2.4 聯(lián)邦學(xué)習(xí)與自然語言處理 22
2.5 聯(lián)邦學(xué)習(xí)與邊緣計(jì)算和云計(jì)算 25
2.6 聯(lián)邦學(xué)習(xí)與計(jì)算機(jī)硬件 27
2.7 總結(jié) 29
第 3 章 常用隱私保護(hù)技術(shù) 30
3.1 面向隱私保護(hù)的機(jī)器學(xué)習(xí) 30
3.1.1 概述 30
3.1.2 面向隱私保護(hù)的機(jī)器學(xué)習(xí)發(fā)展 33
3.2 常用的隱私保護(hù)技術(shù) 34
3.2.1 差分隱私 34
3.2.2 安全多方計(jì)算 41
3.2.3 同態(tài)加密 49
3.3 總結(jié) 66
第二部分 聯(lián)邦學(xué)習(xí)算法詳述
第 4 章 縱向聯(lián)邦樹模型算法 68
4.1 樹模型簡介 68
4.2 縱向聯(lián)邦隨機(jī)森林算法 69
4.2.1 算法結(jié)構(gòu) 69
4.2.2 算法詳述 70
4.2.3 安全性分析 71
4.3 縱向聯(lián)邦梯度提升算法 75
4.3.1 XGBoost 算法 76
4.3.2 SecureBoost 算法 76
4.3.3 所提算法詳述 77
4.4 總結(jié) 78
第 5 章 縱向聯(lián)邦線性回歸算法 79
5.1 縱向聯(lián)邦線性回歸 80
5.1.1 算法訓(xùn)練過程 81
5.1.2 算法預(yù)測過程 81
5.1.3 縱向聯(lián)邦的一個(gè)困境 82
5.2 聯(lián)邦多視角線性回歸 82
5.2.1 基于 BFGS 的二階優(yōu)化方法 84
5.2.2 安全計(jì)算協(xié)議 87
5.3 總結(jié) 92
第 6 章 縱向聯(lián)邦核學(xué)習(xí)算法 93
6.1 引言 93
6.2 雙隨機(jī)核方法 95
6.2.1 問題定義 95
6.2.2 核方法的簡要介紹 96
6.2.3 隨機(jī)傅里葉特征近似 98
6.2.4 雙隨機(jī)梯度 98
6.3 所提算法 99
6.3.1 問題表示 100
6.3.2 算法結(jié)構(gòu) 100
6.3.3 算法設(shè)計(jì) 101
6.3.4 場景案例 103
6.4 理論分析 105
6.4.1 收斂性分析 105
6.4.2 安全性分析 105
6.4.3 復(fù)雜度分析 106
6.5 實(shí)驗(yàn)驗(yàn)證 106
6.5.1 實(shí)驗(yàn)設(shè)置 106
6.5.2 實(shí)驗(yàn)結(jié)果和討論 107
6.6 總結(jié) 110
第 7 章 異步縱向聯(lián)邦學(xué)習(xí)算法 111
7.1 引言 111
7.2 相關(guān)工作 112
7.2.1 現(xiàn)有工作概述 112
7.2.2 SGD 類算法回顧 113
7.3 問題表示 114
7.4 所提算法 114
7.4.1 算法框架 114
7.4.2 算法詳述 116
7.4.3 場景案例 119
7.5 理論分析 120
7.5.1 收斂性分析 120
7.5.2 安全性分析 123
7.5.3 復(fù)雜度分析 124
7.6 實(shí)驗(yàn)驗(yàn)證 125
7.6.1 實(shí)驗(yàn)設(shè)置 125
7.6.2 實(shí)驗(yàn)結(jié)果和討論 127
7.7 總結(jié) 1
書單推薦
