云邊協(xié)同大數(shù)據(jù)技術(shù)與應(yīng)用
定 價:89 元
叢書名:大數(shù)據(jù)技術(shù)叢書
本書以云邊協(xié)同技術(shù)的發(fā)展歷程為線索,介紹云邊協(xié)同技術(shù)體系,具體內(nèi)容組織如下。
第1章以云邊協(xié)同技術(shù)為線索,首先介紹云計算與邊緣計算的發(fā)展歷程,然后梳理云邊協(xié)同技術(shù)的發(fā)展,并詳細介紹云邊協(xié)同數(shù)據(jù)處理系統(tǒng)發(fā)展過程中的驅(qū)動因素,以及數(shù)據(jù)處理在云邊協(xié)同架構(gòu)下的模式演化和未來的復(fù)雜應(yīng)用的潛在計算模式。
第2章詳細介紹云邊協(xié)同環(huán)境下的數(shù)據(jù)預(yù)處理技術(shù),對云邊協(xié)同環(huán)境下需要處理的數(shù)據(jù)具有的多樣性、異構(gòu)性、限制性、穩(wěn)定性和高吞吐等特點做了介紹,然后對數(shù)據(jù)清理、集成、歸約等預(yù)處理技術(shù)以及典型批流融合處理架構(gòu)和系統(tǒng)進行詳細介紹,最后展示了典型技術(shù)案例SlimML。
第3章具體介紹邊緣智能技術(shù),包括邊緣訓(xùn)練前沿技術(shù)(如通信開銷優(yōu)化、梯度計算優(yōu)化等)和邊緣推斷前沿技術(shù)(如模型壓縮、模型分割、多模型并行、多模型流水線等)。
第4章著重介紹物聯(lián)網(wǎng)與邊緣智能數(shù)據(jù)安全隱私,從數(shù)據(jù)安全與隱私技術(shù)的起源和發(fā)展講起,對云邊協(xié)同環(huán)境下的數(shù)據(jù)安全挑戰(zhàn)進行總結(jié),最后詳細介紹實現(xiàn)數(shù)據(jù)安全與隱私保護的差分隱私技術(shù)、安全多方計算技術(shù)、同態(tài)加密技術(shù)和區(qū)塊鏈技術(shù),并展望了未來的數(shù)據(jù)安全與隱私保護技術(shù)。
第5章從實際的云邊協(xié)同應(yīng)用出發(fā),詳細介紹視頻、工業(yè)互聯(lián)網(wǎng)和智慧城市場景中的典型云邊協(xié)同技術(shù)及其面臨的挑戰(zhàn)。
本書的讀者對象主要包括大數(shù)據(jù)應(yīng)用開發(fā)人員、大數(shù)據(jù)運維工程師、高校和研究院大數(shù)據(jù)方向師生以及開源軟件愛好者。
探索云邊協(xié)同關(guān)鍵技術(shù),賦能新型大數(shù)據(jù)應(yīng)用場景。
讀者群入群通道:關(guān)注【華章計算機】公眾號,回復(fù)【大數(shù)據(jù)】
隨著物聯(lián)網(wǎng)的不斷發(fā)展,越來越多的終端設(shè)備,如可穿戴設(shè)備、環(huán)境監(jiān)控設(shè)備、傳感器、虛擬現(xiàn)實設(shè)備等,具有了接入互聯(lián)網(wǎng)的能力,并產(chǎn)生了海量的異構(gòu)數(shù)據(jù)交互。傳統(tǒng)的云平臺已經(jīng)不能滿足不斷涌現(xiàn)出來的新型應(yīng)用對數(shù)據(jù)處理任務(wù)的響應(yīng)速度、延遲、高吞吐和容錯性等方面的要求,因而引發(fā)了學(xué)術(shù)界和工業(yè)界對云邊協(xié)同平臺的數(shù)據(jù)處理技術(shù)的廣泛研究。本書以云邊協(xié)同技術(shù)為主線,首先介紹云計算與邊緣計算的發(fā)展歷程,然后詳細介紹云邊協(xié)同環(huán)境下霧計算、邊緣計算等與傳統(tǒng)云平臺相結(jié)合而催生的典型云邊協(xié)同技術(shù)及其實際應(yīng)用場景和案例。 本書作為為數(shù)不多的全面總結(jié)云邊協(xié)同技術(shù)及其應(yīng)用場景的書籍,從云計算和邊緣計算的發(fā)展歷程開始講起,由淺入深,對云邊協(xié)同的發(fā)展歷程、云邊協(xié)同所要解決的技術(shù)挑戰(zhàn)等做了總結(jié),然后詳細介紹了典型的云邊協(xié)同技術(shù)和框架,并在實際應(yīng)用場景下講述如何應(yīng)用這些技術(shù),同時對未來的云邊協(xié)同技術(shù)做了展望。本書試圖通過既簡單又系統(tǒng)的方式讓讀者了解云邊協(xié)同的前世今生,熟悉典型的云邊協(xié)同技術(shù)及其應(yīng)用場景,進而對整個云邊協(xié)同技術(shù)體系有一個全面的認(rèn)識。 為幫助讀者輕松閱讀并理解書中內(nèi)容,本書不僅有詳細的文字描述,還插入了大量的圖表。此外,對于典型的云邊協(xié)同技術(shù),書中多從具體的應(yīng)用場景出發(fā),分析所要解決的技術(shù)挑戰(zhàn),然后介紹該應(yīng)用場景中具體用到的云邊協(xié)同技術(shù),由點及面,向讀者展現(xiàn)整個云邊協(xié)同技術(shù)體系。在組織形式上,本書具有三大特色: 系統(tǒng)性:從云邊協(xié)同技術(shù)的發(fā)展背景開始,深入典型技術(shù)和實際應(yīng)用,全方位剖析云邊協(xié)同大數(shù)據(jù)技術(shù)及其應(yīng)用; 技術(shù)性:對云邊協(xié)同環(huán)境下的典型技術(shù)進行了詳盡介紹,如第2章中的云邊協(xié)同數(shù)據(jù)預(yù)處理技術(shù),第3章中的邊緣訓(xùn)練和邊緣推斷前沿技術(shù),第4章中的差分隱私技術(shù)、安全多方計算技術(shù)等; 實用性:理論和實踐相結(jié)合,介紹了大量云邊協(xié)同技術(shù)在典型場景下的挑戰(zhàn)和應(yīng)用,如第5章中的智慧倉儲、智能配電、自動駕駛、智能家居等。 本書以云邊協(xié)同技術(shù)的發(fā)展歷程為線索,介紹云邊協(xié)同技術(shù)體系,具體內(nèi)容組織如下: 第1章:主要從云計算和邊緣計算的發(fā)展歷程開始介紹,然后對云邊協(xié)同階段的問題與挑戰(zhàn)、云邊協(xié)同數(shù)據(jù)處理、云邊協(xié)同系統(tǒng)管理和云邊協(xié)同的典型場景進行詳細介紹,讓讀者從宏觀層面了解云邊協(xié)同技術(shù)體系。 第2章:重點介紹云邊協(xié)同的數(shù)據(jù)處理系統(tǒng)。先總體介紹云邊協(xié)同環(huán)境下數(shù)據(jù)處理所面臨的問題和挑戰(zhàn),然后重點介紹云邊協(xié)同環(huán)境下的數(shù)據(jù)預(yù)處理技術(shù),包括數(shù)據(jù)清理、數(shù)據(jù)集成和數(shù)據(jù)歸約;接著介紹批流融合處理架構(gòu)與系統(tǒng),包括 Lambda 和 Kappa 架構(gòu),并對云邊協(xié)同環(huán)境下的批流融合處理前沿技術(shù)進行討論;最后就典型技術(shù)案例 SlimML 進行詳細介紹。 第3章:對邊緣計算和人工智能的結(jié)合—邊緣智能進行詳細介紹。先總結(jié)了云邊協(xié)同環(huán)境下邊緣智能所面臨的技術(shù)挑戰(zhàn);然后詳細介紹邊緣訓(xùn)練前沿技術(shù),包括中心化/去中心化訓(xùn)練、隱私保護、通信開銷優(yōu)化、梯度計算優(yōu)化等;接著對邊緣推斷前沿技術(shù)進行詳細介紹,包括輸入過濾、模型壓縮、模型分割、邊緣緩存、多模型并行、多模型流水線、模型最優(yōu)選擇和模型生成等。 第4章:主要介紹云邊協(xié)同下隱私計算技術(shù)的相關(guān)應(yīng)用場景以及技術(shù)方案。首先介紹隱私保護技術(shù)的起源與發(fā)展,接著對云邊協(xié)同場景下的數(shù)據(jù)安全場景以及惡意威脅模型進行詳細介紹,之后討論差分隱私技術(shù)、安全多方計算技術(shù)、同態(tài)加密技術(shù)、區(qū)塊鏈技術(shù)的相關(guān)方案以及應(yīng)用場景,最后對隱私計算領(lǐng)域的未來趨勢做了展望。 第5章:從視頻大數(shù)據(jù)、工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)、智慧城市大數(shù)據(jù)3個方面介紹云邊協(xié)同大數(shù)據(jù)的典型應(yīng)用,著重介紹數(shù)據(jù)具有的典型特征、云邊協(xié)同在相關(guān)領(lǐng)域下的“云-邊-端”三層應(yīng)用架構(gòu)以及關(guān)鍵問題和相關(guān)前沿技術(shù),并且針對每個領(lǐng)域的一些案例,給出云邊協(xié)同場景下的解決方案。 由于筆者的水平有限,編寫時間倉促,書中難免會有一些錯誤或者不準(zhǔn)確的地方,請讀者原諒,并提出寶貴意見。
韓銳北京理工大學(xué)特別研究員,博士生導(dǎo)師。2010年畢業(yè)于清華大學(xué)并獲優(yōu)秀碩士畢業(yè)生,2014年博士畢業(yè)于英國帝國理工學(xué)院,2014年3月至2018年6月在中國科學(xué)院計算所工作。專注于研究面向典型負(fù)載(機器學(xué)習(xí)、深度學(xué)習(xí)、互聯(lián)網(wǎng)服務(wù))的云計算系統(tǒng)優(yōu)化,在 TPDS、TC、TKDE、TSC等領(lǐng)域頂級(重要)期刊和INFOCOM、ICDCS、ICPP、RTSS等會議上發(fā)表超過40篇論文,Google學(xué)術(shù)引用1000 余次。劉馳北京理工大學(xué)計算機學(xué)院副院長,教授,博士生導(dǎo)師。智能信息技術(shù)北京市重點實驗室主任,國家優(yōu)秀青年科學(xué)基金獲得者,國家重點研發(fā)計劃首席科學(xué)家,中國電子學(xué)會會士,英國工程技術(shù)學(xué)會會士,英國計算機學(xué)會會士。分別于清華大學(xué)和英國帝國理工學(xué)院獲得學(xué)士和博士學(xué)位,后在德國電信研究總院任博士后研究員,在美國IBM T.J.Watson研究中心和IBM中國研究院任研究主管。主要研究方向是智能物聯(lián)網(wǎng)技術(shù)。曾主持國家重點研發(fā)計劃“工業(yè)軟件”重點專項項目、國家自然科學(xué)基金青年/面上/優(yōu)青/重點項目、國家重點研發(fā)計劃課題等。現(xiàn)任國家信息產(chǎn)業(yè)“十四五”規(guī)劃專家顧問組成員、第四屆全國信標(biāo)委技術(shù)委員會委員、IEEE Transactions on Network Science and Engineering編委等。獲得KDD'21最佳論文亞軍,以及省部級一等獎、二等獎、三等獎各1項。
前言 作者簡介 第1章 云邊協(xié)同大數(shù)據(jù)系統(tǒng)概述 1 1.1 云邊協(xié)同發(fā)展歷程 1 1.1.1 探索階段 1 1.1.2 云階段 3 1.1.3 云邊協(xié)同階段 7 1.2 云邊協(xié)同數(shù)據(jù)處理 12 1.2.1 數(shù)據(jù)來源 12 1.2.2 處理模式 13 1.3 云邊協(xié)同系統(tǒng)管理 18 1.3.1 云邊協(xié)同負(fù)載 18 1.3.2 任務(wù)管理 25 1.3.3 資源管理 29 1.3.4 應(yīng)用管理 33 1.4 云邊協(xié)同典型場景 35 1.4.1 物聯(lián)網(wǎng)大數(shù)據(jù) 35 1.4.2 視頻大數(shù)據(jù) 41 1.4.3 智能駕駛大數(shù)據(jù) 47 1.5 本章小結(jié) 52 參考文獻 54 第2章 云邊融合的數(shù)據(jù)處理系統(tǒng) 60 2.1 云邊協(xié)同環(huán)境下的數(shù)據(jù)處理簡介 60 2.1.1 背景 60 2.1.2 環(huán)境 61 2.1.3 數(shù)據(jù) 63 2.1.4 處理模式 63 2.1.5 問題與挑戰(zhàn) 64 2.2 云邊協(xié)同環(huán)境下的數(shù)據(jù)預(yù)處理 66 2.2.1 簡介 66 2.2.2 數(shù)據(jù)質(zhì)量 67 2.2.3 數(shù)據(jù)清理 68 2.2.4 數(shù)據(jù)集成 77 2.2.5 數(shù)據(jù)歸約 80 2.2.6 數(shù)據(jù)預(yù)處理小結(jié) 84 2.3 批流融合處理架構(gòu)與系統(tǒng) 84 2.3.1 批流融合處理架構(gòu) 85 2.3.2 批流處理系統(tǒng)的發(fā)展 86 2.3.3 批流融合處理前沿技術(shù) 91 2.4 典型技術(shù)案例SlimML 95 2.4.1 背景 95 2.4.2 非關(guān)鍵點驗證 97 2.4.3 總體思想 100 2.4.4 架構(gòu) 101 2.4.5 評測 105 2.5 本章小結(jié) 112 參考文獻 112 第3章 邊緣智能 119 3.1 背景 119 3.1.1 邊緣計算 119 3.1.2 邊緣智能 119 3.2 挑戰(zhàn) 121 3.3 邊緣訓(xùn)練前沿技術(shù) 122 3.3.1 邊緣訓(xùn)練簡介 122 3.3.2 中心化/去中心化訓(xùn)練簡介 123 3.3.3 隱私保護 126 3.3.4 通信開銷優(yōu)化 131 3.3.5 梯度計算優(yōu)化 135 3.3.6 邊緣訓(xùn)練小結(jié) 139 3.4 邊緣推斷前沿技術(shù) 140 3.4.1 邊緣推斷簡介 140 3.4.2 模型角度優(yōu)化 141 3.4.3 系統(tǒng)角度優(yōu)化 151 3.4.4 模型最優(yōu)選擇 155 3.4.5 模型自動生成 156 3.4.6 邊緣推斷小結(jié) 157 3.5 本章小結(jié) 158 參考文獻 160 第4章 物聯(lián)網(wǎng)與邊緣智能數(shù)據(jù)安全隱私 165 4.1 數(shù)據(jù)安全與隱私技術(shù)的起源與發(fā)展 165 4.1.1 隱私技術(shù)的起源與發(fā)展 166 4.1.2 隱私保護技術(shù)現(xiàn)狀 168 4.2 云邊協(xié)同下的數(shù)據(jù)安全挑戰(zhàn) 169 4.2.1 云邊協(xié)同下的數(shù)據(jù)安全場景 169 4.2.2 云邊協(xié)同下的惡意威脅模型 172 4.2.3 數(shù)據(jù)安全關(guān)鍵挑戰(zhàn) 174 4.2.4 數(shù)據(jù)泄露案例 176 4.3 差分隱私技術(shù) 177 4.3.1 相關(guān)應(yīng)用場景與挑戰(zhàn) 177 4.3.2 差分隱私技術(shù)簡介 177 4.3.3 差分隱私技術(shù)應(yīng)用 182 4.3.4 相關(guān)前沿研究簡介 183 4.4 安全多方計算技術(shù) 183 4.4.1 相關(guān)應(yīng)用場景與挑戰(zhàn) 183 4.4.2 安全多方計算簡介 184 4.4.3 安全多方計算應(yīng)用 189 4.4.4 相關(guān)前沿研究簡介 192 4.5 同態(tài)加密技術(shù) 192 4.5.1 相關(guān)應(yīng)用場景與挑戰(zhàn) 192 4.5.2 同態(tài)加密技術(shù)簡介 193 4.5.3 同態(tài)加密技術(shù)應(yīng)用 195 4.5.4 相關(guān)前沿研究簡介 197 4.6 區(qū)塊鏈技術(shù) 197 4.6.1 相關(guān)應(yīng)用場景與挑戰(zhàn) 197 4.6.2 區(qū)塊鏈技術(shù)簡介 198 4.6.3 區(qū)塊鏈技術(shù)應(yīng)用 201 4.6.4 相關(guān)前沿研究簡介 202 4.7 未來技術(shù)展望 202 4.8 本章小結(jié) 203 參考文獻 203 第5章 云邊協(xié)同典型應(yīng)用 206 5.1 視頻大數(shù)據(jù) 206 5.1.1 簡介 206 5.1.2 數(shù)據(jù)特征 207 5.1.3 相關(guān)技術(shù) 209 5.1.4 典型案例 217 5.2 工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù) 219 5.2.1 簡介 219 5.2.2 數(shù)據(jù)特征 220 5.2.3 相關(guān)技術(shù) 223 5.2.4 典型案例 227 5.3 智慧城市大數(shù)據(jù) 230 5.3.1 簡介 230 5.3.2 數(shù)據(jù)特征 232 5.3.3 關(guān)鍵問題和前沿技術(shù) 233 5.3.4 典型案例 238 5.4 本章小結(jié) 243 參考文獻 243