《云存儲(chǔ)技術(shù):分析與實(shí)踐》采用循序漸進(jìn)的方法,引領(lǐng)讀者逐步了解云存儲(chǔ)領(lǐng)域的關(guān)鍵技術(shù).在力求保持全面性、通俗性的同時(shí),分析討論了一系列云存儲(chǔ)領(lǐng)域的高級(jí)話(huà)題,例如存儲(chǔ)虛擬化、系統(tǒng)虛擬化、分布式存儲(chǔ)系統(tǒng)、綠色存儲(chǔ)、固態(tài)存儲(chǔ)、重復(fù)數(shù)據(jù)刪除和大數(shù)據(jù)近似求解等內(nèi)容!对拼鎯(chǔ)技術(shù):分析與實(shí)踐》融入了作者的前期研究成果,并介紹了基于Hadoop、Swift構(gòu)建云存儲(chǔ)系統(tǒng)的實(shí)踐經(jīng)驗(yàn)。
《云存儲(chǔ)技術(shù):分析與實(shí)踐》在內(nèi)容上共分為七章,包括云存儲(chǔ)概述、存儲(chǔ)技術(shù)基礎(chǔ)、虛擬化技術(shù)、分布式存儲(chǔ)系統(tǒng)、云存儲(chǔ)關(guān)鍵技術(shù)研究、基于Hadoop構(gòu)建云存儲(chǔ)系統(tǒng)和基于Openstack Swift構(gòu)建云存儲(chǔ)系統(tǒng)。
《云存儲(chǔ)技術(shù):分析與實(shí)踐》作為科研課題結(jié)項(xiàng)的成果,既是對(duì)項(xiàng)目實(shí)踐經(jīng)驗(yàn)的總結(jié),也是對(duì)前人研究工作的梳理,可供信息存儲(chǔ)相關(guān)領(lǐng)域的系統(tǒng)管理人員及分析、設(shè)計(jì)、開(kāi)發(fā)人員參考,也可作為高等院校相關(guān)專(zhuān)業(yè)的輔修教材。
在經(jīng)歷計(jì)算浪潮和網(wǎng)絡(luò)浪潮之后,數(shù)據(jù)存儲(chǔ)技術(shù)已經(jīng)發(fā)展為信息領(lǐng)域的三大支撐技術(shù)之一。隨著云計(jì)算、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展,異構(gòu)數(shù)據(jù)源越來(lái)越多,數(shù)據(jù)量飛速增長(zhǎng),這就使得社會(huì)對(duì)數(shù)據(jù)存儲(chǔ)的需求逐日攀升。同時(shí),借力于大數(shù)據(jù)分析,數(shù)據(jù)存儲(chǔ)為社會(huì)帶來(lái)的價(jià)值也日益增大。如今,數(shù)據(jù)存儲(chǔ)作為與社會(huì)生產(chǎn)生活息息相關(guān)的關(guān)鍵性資產(chǎn)受到了社會(huì)全方位的關(guān)注。云存儲(chǔ)是一種以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng),具有易擴(kuò)展、易管理、低成本、安全可靠、服務(wù)不中斷等特點(diǎn),是大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲(chǔ)的首要選擇。
目前,云存儲(chǔ)作為云計(jì)算領(lǐng)域的細(xì)分和延伸,單獨(dú)對(duì)其進(jìn)行討論的書(shū)籍還不多。本書(shū)作為課題項(xiàng)目的成果,目標(biāo)在于彌補(bǔ)這種缺憾。全書(shū)采用循序漸進(jìn)的方法,對(duì)云存儲(chǔ)技術(shù)進(jìn)行系統(tǒng)性梳理,引導(dǎo)讀者逐步了解云存儲(chǔ)領(lǐng)域的背景知識(shí)和主流技術(shù),在力求保持通俗易懂的基礎(chǔ)上,還包含了對(duì)云存儲(chǔ)技術(shù)領(lǐng)域高級(jí)話(huà)題的討論。
本書(shū)共分為七章。第一章概括介紹云存儲(chǔ)系統(tǒng)的概念、分類(lèi)、系統(tǒng)結(jié)構(gòu)、優(yōu)勢(shì)、設(shè)計(jì)思想、技術(shù)標(biāo)準(zhǔn)、技術(shù)基礎(chǔ),為后續(xù)章節(jié)的展開(kāi)埋下伏筆。第二章介紹存儲(chǔ)技術(shù)的基礎(chǔ)。首先介紹了以磁盤(pán)驅(qū)動(dòng)器、固態(tài)盤(pán)、磁帶、光盤(pán)和相變存儲(chǔ)器為代表的外存儲(chǔ)設(shè)備,其次討論了磁盤(pán)陣列存儲(chǔ)技術(shù),再次分析比較了直連存儲(chǔ)、附網(wǎng)存儲(chǔ)和存儲(chǔ)區(qū)域網(wǎng)的相關(guān)概念、原理和特點(diǎn),最后介紹了數(shù)據(jù)保護(hù)、分級(jí)存儲(chǔ)和存儲(chǔ)系統(tǒng)的評(píng)價(jià)體系。第三章介紹虛擬化技術(shù),通過(guò)回顧其發(fā)展歷程,對(duì)其進(jìn)行歸類(lèi),著重講述了存儲(chǔ)虛擬化、系統(tǒng)虛擬化、桌面虛擬化和應(yīng)用虛擬化,并介紹了典型的虛擬化產(chǎn)品,如VMware vSphere、Microsoft Azure和Xen。第四章對(duì)分布式存儲(chǔ)系統(tǒng)進(jìn)行介紹,分別討論了以HDFS、TFS和Lustre為代表的分布式文件系統(tǒng),以Dynamo為代表的分布式鍵值系統(tǒng),以Bigtable和Hbase為代表的分布式表格系統(tǒng),以及以MongoDB為代表的分布式數(shù)據(jù)庫(kù)系統(tǒng)。第五章集中介紹在云存儲(chǔ)相關(guān)領(lǐng)域的研究成果,涵蓋了節(jié)能存儲(chǔ)、固態(tài)存儲(chǔ)、混合存儲(chǔ)、分布式文件系統(tǒng)的小文件處理、基于MapReduce的近似計(jì)算等關(guān)鍵技術(shù)。第六章從實(shí)踐的角度出發(fā),介紹了如何基于Hadoop構(gòu)建簡(jiǎn)單的云存儲(chǔ)系統(tǒng)。第七章介紹OpenStack的對(duì)象存儲(chǔ)服務(wù)Swift,從實(shí)踐的角度梳理了基于Open Stack Swift構(gòu)建云存儲(chǔ)系統(tǒng)的安裝、使用、管理過(guò)程。
本書(shū)編寫(xiě)過(guò)程中,王峰教授、趙少鋒博士、史曉東博士和華中科技大學(xué)有關(guān)老師和同學(xué)給予了支持與幫助,經(jīng)濟(jì)管理出版社的高婭老師對(duì)本書(shū)的校訂付出了大量心血,在此表示衷心的感謝。
此外,還要特別感謝經(jīng)濟(jì)管理出版社對(duì)本書(shū)出版的大力支持,感謝家人在我多年的項(xiàng)目工作中給予我最堅(jiān)定的支持和無(wú)私奉獻(xiàn)。由于筆者水平有限,書(shū)中難免有錯(cuò)誤和不妥之處,敬請(qǐng)讀者批評(píng)指正,共同進(jìn)步。
劉洋,男,1980年生,河南方城人,博士,河南財(cái)經(jīng)政法大學(xué)云計(jì)算與大數(shù)據(jù)研究所所長(zhǎng)。研究方向?yàn)楣虘B(tài)存儲(chǔ)、云存儲(chǔ)和大數(shù)據(jù)處理等。主持完成省部級(jí)項(xiàng)目2項(xiàng),參與完成國(guó)家863、973和國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目1項(xiàng),作為主要完成人參與省部級(jí)項(xiàng)目9項(xiàng),發(fā)表SCI/EI檢索論文6篇,核心論文7篇,編寫(xiě)專(zhuān)著1部,參編教材3部,CCF、ACM會(huì)員。
第一章 云存儲(chǔ)概述
第一節(jié) 引言
第二節(jié) 云存儲(chǔ)概述
第三節(jié) 云存儲(chǔ)的分類(lèi)
第四節(jié) 云存儲(chǔ)的系統(tǒng)架構(gòu)
第五節(jié) 云存儲(chǔ)的優(yōu)勢(shì)
第六節(jié) 云存儲(chǔ)的主要思想
第七節(jié) 虛擬存儲(chǔ)容器
第八節(jié) 云存儲(chǔ)的互操作性
第九節(jié) 云存儲(chǔ)技術(shù)基礎(chǔ)
第二章 存儲(chǔ)技術(shù)基礎(chǔ)
第一節(jié) 外部存儲(chǔ)設(shè)備
第二節(jié) 磁盤(pán)陣列
第三節(jié) 直連存儲(chǔ)
第四節(jié) 附網(wǎng)存儲(chǔ)
第五節(jié) 存儲(chǔ)區(qū)域網(wǎng)
第六節(jié) 分布式文件系統(tǒng)
第七節(jié) 數(shù)據(jù)保護(hù)技術(shù)
第八節(jié) 數(shù)據(jù)備份
第九節(jié) 鏡像與快照
第十節(jié) 分級(jí)存儲(chǔ)管理
第十一節(jié) 存儲(chǔ)系統(tǒng)的功能需求
第十二節(jié) 存儲(chǔ)系統(tǒng)的評(píng)價(jià)指標(biāo)
第三章 虛擬化技術(shù)
第一節(jié) 虛擬化概述
第二節(jié) 存儲(chǔ)虛擬化
第三節(jié) 系統(tǒng)虛擬化
第四節(jié) 桌面虛擬化
第五節(jié) 應(yīng)用虛擬化
第六節(jié) 典型虛擬化產(chǎn)品:VMware vSphere
第七節(jié) 典型虛擬化產(chǎn)品:Microsoft Azure
第八節(jié) 典型虛擬化產(chǎn)品:Xen
第九節(jié) 典型虛擬化產(chǎn)品:KVM
第四章 分布式存儲(chǔ)系統(tǒng)
第一節(jié) 海量數(shù)據(jù)的分類(lèi)
第二節(jié) 分布式文件系統(tǒng)
第三節(jié) 分布式鍵值系統(tǒng)
第四節(jié) 分布式表格系統(tǒng)
第五節(jié) 分布式數(shù)據(jù)庫(kù)
第五章 云存儲(chǔ)關(guān)鍵技術(shù)研究
第一節(jié) 一種基于工作集副本的存儲(chǔ)虛擬化層節(jié)能技術(shù)
第二節(jié) 基于大規(guī)模云環(huán)境的綠色資源分配協(xié)議
第三節(jié) 基于MLC/SLC雙模閃存芯片的閃存轉(zhuǎn)換層
第四節(jié) 面向混合存儲(chǔ)系統(tǒng)的塊層多順序流預(yù)取算法
第五節(jié) 云存儲(chǔ)環(huán)境下基于HDFS的海量小文件裝箱算法
第六節(jié) 一種基于兩級(jí)隨機(jī)抽樣的近似求解方法
第六章 基于Hadoop構(gòu)建云存儲(chǔ)系統(tǒng)
第七章 基于Open Stack Swift構(gòu)建云存儲(chǔ)系統(tǒng)
參考文獻(xiàn)