前　　言
分布式數(shù)據(jù)庫(kù)系統(tǒng)興起于20世紀(jì)70年代中期，推動(dòng)其發(fā)展的動(dòng)力主要來(lái)自?xún)煞矫妫阂皇谴笠?guī)模應(yīng)用的需求，二是硬件及網(wǎng)絡(luò)環(huán)境的發(fā)展。在應(yīng)用上，全國(guó)甚至全球范圍內(nèi)的航空/
鐵路/旅游訂票系統(tǒng)、銀行通存通兌系統(tǒng)、水陸空聯(lián)運(yùn)系統(tǒng)、跨國(guó)公司管理系統(tǒng)、連鎖配送管理系統(tǒng)等，都涉及地理上分布的企業(yè)或機(jī)構(gòu)的局部業(yè)務(wù)管理和與整個(gè)系統(tǒng)有關(guān)的全局業(yè)務(wù)管理，采用傳統(tǒng)的集中式數(shù)據(jù)庫(kù)管理系統(tǒng)已無(wú)法滿(mǎn)足這種分布式應(yīng)用的需求。在硬件及網(wǎng)絡(luò)環(huán)境上，計(jì)算機(jī)的功能越發(fā)強(qiáng)大，廣域公用數(shù)據(jù)網(wǎng)日趨成熟，局域網(wǎng)也在迅速發(fā)展。在上述兩方面的推動(dòng)下，人們迫切期望符合現(xiàn)實(shí)需要的、能處理分散地域的、具備數(shù)據(jù)庫(kù)系統(tǒng)特點(diǎn)的新型數(shù)據(jù)庫(kù)系統(tǒng)的出現(xiàn)。
從1970年開(kāi)始，各個(gè)發(fā)達(dá)國(guó)家紛紛投巨資支持分布式數(shù)據(jù)庫(kù)系統(tǒng)的研究和開(kāi)發(fā)計(jì)劃，歷時(shí)近十年，獲得多個(gè)劃時(shí)代的研究成果。典型的原型系統(tǒng)有美國(guó)國(guó)防部委托CCA公司設(shè)計(jì)和研制的SDD-1分布式數(shù)據(jù)庫(kù)系統(tǒng)、美國(guó)加利福尼亞大學(xué)伯克利分校研制的分布式INGRES系統(tǒng)、IBM圣何塞實(shí)驗(yàn)室研制的System R*分布式數(shù)據(jù)庫(kù)系統(tǒng)、德國(guó)斯圖加特大學(xué)研制的POREL分布式數(shù)據(jù)庫(kù)系統(tǒng)、法國(guó)SIRIUS資助計(jì)劃產(chǎn)生的若干原型系統(tǒng)（如SIRIUS-DELTA、POLYPHEME）等。隨后，商品化的數(shù)據(jù)庫(kù)系統(tǒng)Oracle、Sybase、DB2、Informix、INGRES等都從分布式數(shù)據(jù)庫(kù)系統(tǒng)研究中吸取了許多重要的概念、方法和技術(shù)，在相當(dāng)大的程度上實(shí)現(xiàn)了分布式數(shù)據(jù)管理功能。在分布式數(shù)據(jù)庫(kù)系統(tǒng)的商品化進(jìn)程中，隨著研究的深入和應(yīng)用的普及，更由于分布式數(shù)據(jù)庫(kù)管理系統(tǒng)本身的高復(fù)雜性，研究者們提出了更簡(jiǎn)潔、更靈活的實(shí)現(xiàn)技術(shù)來(lái)滿(mǎn)足分布式數(shù)據(jù)處理的要求。目前，市場(chǎng)上的數(shù)據(jù)庫(kù)產(chǎn)品如Oracle、Sybase、DB2、SQL Server、Informix都支持異構(gòu)數(shù)據(jù)庫(kù)系統(tǒng)的訪(fǎng)問(wèn)和集成功能。它們都采用基于組件和中間件的松散耦合型事務(wù)管理機(jī)制來(lái)實(shí)現(xiàn)分布式數(shù)據(jù)的管理，具有終一致性、高靈活性和可擴(kuò)展性。
隨著Internet和Web的蓬勃發(fā)展，Web環(huán)境下的分布式系統(tǒng)已成為當(dāng)前的主流應(yīng)用，如電子商務(wù)系統(tǒng)、Web搜索系統(tǒng)、互聯(lián)網(wǎng) 政務(wù)系統(tǒng)等。接著，隨著物聯(lián)網(wǎng)和云計(jì)算技術(shù)的發(fā)展，我們進(jìn)入萬(wàn)物互聯(lián)時(shí)代，實(shí)現(xiàn)了智能設(shè)備與信息的互聯(lián)互通，如醫(yī)療設(shè)備、智能手機(jī)、智能汽車(chē)等，并提供了許多惠民服務(wù)，如智慧交通、智慧醫(yī)療、基于手機(jī)的各類(lèi)服務(wù)等。當(dāng)前，進(jìn)入了大數(shù)據(jù)時(shí)代，數(shù)據(jù)無(wú)所不在，如Web數(shù)據(jù)、移動(dòng)數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)、電子商務(wù)數(shù)據(jù)、企業(yè)數(shù)據(jù)、科學(xué)數(shù)據(jù)等，各行各業(yè)都期望得益于大數(shù)據(jù)中蘊(yùn)含的有價(jià)值的知識(shí)。為此，支持大數(shù)據(jù)管理和分析的大數(shù)據(jù)技術(shù)迅猛發(fā)展，如大數(shù)據(jù)存儲(chǔ)模型、MapReduce與Spark分布式處理架構(gòu)、改進(jìn)的分布式事務(wù)協(xié)議、結(jié)合MVCC的并發(fā)控制技術(shù)以及相應(yīng)的副本管理技術(shù)等，并出現(xiàn)了許多類(lèi)型的大數(shù)據(jù)庫(kù)系統(tǒng)，主要包括NoSQL大數(shù)據(jù)庫(kù)系統(tǒng)、面向OLTP的大數(shù)據(jù)庫(kù)系統(tǒng)、HTAP混合的大數(shù)據(jù)庫(kù)系統(tǒng)、云原生的大數(shù)據(jù)庫(kù)系統(tǒng)以及多存儲(chǔ)系統(tǒng)融合的大數(shù)據(jù)存儲(chǔ)系統(tǒng)等。而支持大數(shù)據(jù)管理的基礎(chǔ)理論和技術(shù)，是對(duì)經(jīng)典分布式數(shù)據(jù)庫(kù)理論和技術(shù)的擴(kuò)展，旨在滿(mǎn)足大數(shù)據(jù)處理的實(shí)時(shí)性、高性能和可擴(kuò)展性需求。
近年來(lái)，區(qū)塊鏈技術(shù)和深度學(xué)習(xí)技術(shù)的興起為分布式數(shù)據(jù)庫(kù)技術(shù)的發(fā)展增添了新的動(dòng)力。區(qū)塊鏈被認(rèn)為是一種分布式數(shù)據(jù)庫(kù)，具有去中心化、防篡改、分布共識(shí)、可溯源和終一致性等特點(diǎn)，為分布式可信數(shù)據(jù)管理提供支持。目前已有許多相關(guān)研究成果，主要包括區(qū)塊鏈數(shù)據(jù)的分布存儲(chǔ)管理、結(jié)合Merkle樹(shù)的可信查詢(xún)、支持事務(wù)的共識(shí)算法、鏈上鏈下結(jié)合的可信數(shù)據(jù)管理等。深度學(xué)習(xí)等人工智能技術(shù)已初步被應(yīng)用于大數(shù)據(jù)管理中，例如自適應(yīng)數(shù)據(jù)分布存儲(chǔ)、索引學(xué)習(xí)、查詢(xún)優(yōu)化、數(shù)據(jù)庫(kù)系統(tǒng)調(diào)優(yōu)等，并取得了良好的效果。
作者多年來(lái)在國(guó)家自然科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家973計(jì)劃、國(guó)家863計(jì)劃等課題的支持下，以分布式查詢(xún)、分布式事務(wù)處理、數(shù)據(jù)庫(kù)集成、大數(shù)據(jù)存儲(chǔ)與管理、大數(shù)據(jù)挖掘與分析為應(yīng)用背景，針對(duì)分布環(huán)境下的數(shù)據(jù)管理進(jìn)行深入研究。同時(shí)，作者一直承擔(dān)東北大學(xué)計(jì)算機(jī)專(zhuān)業(yè)碩士研究生的分布式數(shù)據(jù)庫(kù)系統(tǒng)、大數(shù)據(jù)管理與分析、數(shù)據(jù)科學(xué)原理與實(shí)踐等課程和計(jì)算機(jī)專(zhuān)業(yè)本科生的數(shù)據(jù)庫(kù)系統(tǒng)概論、數(shù)據(jù)庫(kù)系統(tǒng)實(shí)現(xiàn)、數(shù)據(jù)科學(xué)導(dǎo)論、區(qū)塊鏈技術(shù)與應(yīng)用等課程的教學(xué)工作。本書(shū)正是基于以上工作而撰寫(xiě)的。
本書(shū)部分為基礎(chǔ)篇（第1～10章），重點(diǎn)介紹經(jīng)典分布式數(shù)據(jù)庫(kù)系統(tǒng)的基本理論和關(guān)鍵技術(shù)、當(dāng)前流行的商品化數(shù)據(jù)庫(kù)系統(tǒng)的分布式數(shù)據(jù)管理機(jī)制以及大數(shù)據(jù)庫(kù)管理的關(guān)鍵技術(shù)和流行的大數(shù)據(jù)庫(kù)系統(tǒng)。第二部分為擴(kuò)展篇（第11～13章），介紹當(dāng)下流行的區(qū)塊鏈分布式數(shù)據(jù)管理技術(shù)、AI賦能的數(shù)據(jù)管理技術(shù)以及分布式數(shù)據(jù)庫(kù)系統(tǒng)發(fā)展與前瞻。
全書(shū)共13章，包括分布式數(shù)據(jù)庫(kù)系統(tǒng)概論、分布式數(shù)據(jù)庫(kù)系統(tǒng)的體系結(jié)構(gòu)、分布式數(shù)據(jù)庫(kù)的設(shè)計(jì)、分布式數(shù)據(jù)存儲(chǔ)、分布式查詢(xún)處理與優(yōu)化、查詢(xún)存取優(yōu)化、分布式事務(wù)管理、分布式恢復(fù)管理、分布式并發(fā)控制、數(shù)據(jù)復(fù)制與一致性、區(qū)塊鏈分布式數(shù)據(jù)管理、AI賦能的數(shù)據(jù)管理，以及分布式數(shù)據(jù)庫(kù)系統(tǒng)發(fā)展與前瞻。
第1章主要介紹數(shù)據(jù)庫(kù)基本知識(shí)、分布式數(shù)據(jù)庫(kù)的概念及特性，以及分布式數(shù)據(jù)庫(kù)系統(tǒng)的作用和特點(diǎn)。之后，概述大數(shù)據(jù)庫(kù)概念和大數(shù)據(jù)管理，主要包括大數(shù)據(jù)的類(lèi)型、特點(diǎn)、處理過(guò)程、管理新模式和大數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)。
第2章主要介紹分布式數(shù)據(jù)庫(kù)系統(tǒng)的體系結(jié)構(gòu)，包括分布式數(shù)據(jù)庫(kù)系統(tǒng)的物理結(jié)構(gòu)、邏輯結(jié)構(gòu)、模式結(jié)構(gòu)和軟件組件結(jié)構(gòu)，闡述典型的分布式數(shù)據(jù)庫(kù)集成系統(tǒng)的異同點(diǎn)，給出分布式數(shù)據(jù)庫(kù)系統(tǒng)的分類(lèi)和Oracle系統(tǒng)的體系結(jié)構(gòu)。之后，介紹大數(shù)據(jù)庫(kù)系統(tǒng)的典型體系結(jié)構(gòu)和三種大數(shù)據(jù)庫(kù)系統(tǒng)（HBase、Spanner、OceanBase）的體系結(jié)構(gòu)。
第3章主要介紹分布式數(shù)據(jù)庫(kù)設(shè)計(jì)方法，包括分片定義、分片設(shè)計(jì)、分配設(shè)計(jì)以及數(shù)據(jù)復(fù)制技術(shù)，具體包括水平分片、垂直分片和混合分片的設(shè)計(jì)，以及Oracle數(shù)據(jù)庫(kù)的數(shù)據(jù)分布設(shè)計(jì)。之后，介紹支持大數(shù)據(jù)庫(kù)管理的大數(shù)據(jù)模型、數(shù)據(jù)分區(qū)策略以及三種大數(shù)據(jù)庫(kù)系統(tǒng)（HBase、Spanner、OceanBase）的數(shù)據(jù)分布設(shè)計(jì)案例。
第4章主要介紹分布式數(shù)據(jù)存儲(chǔ)技術(shù)，包括分布式數(shù)據(jù)存儲(chǔ)類(lèi)型、分布式文件存儲(chǔ)技術(shù)、分布式對(duì)象存儲(chǔ)技術(shù)、分布式索引結(jié)構(gòu)和分布式緩存技術(shù)。之后，介紹Oracle數(shù)據(jù)庫(kù)以及三種大數(shù)據(jù)庫(kù)系統(tǒng)（HBase、Spanner、OceanBase）的分布存儲(chǔ)案例。
第5章主要介紹分布式查詢(xún)處理與優(yōu)化技術(shù)，包括查詢(xún)優(yōu)化的基本概念、查詢(xún)處理與優(yōu)化過(guò)程、查詢(xún)分解、數(shù)據(jù)局部化、片段查詢(xún)優(yōu)化方法以及Oracle數(shù)據(jù)庫(kù)的查詢(xún)計(jì)劃案例。之后，介紹大數(shù)據(jù)庫(kù)的查詢(xún)處理與優(yōu)化策略以及三種大數(shù)據(jù)庫(kù)系統(tǒng)（HBase、Spanner、OceanBase）的查詢(xún)處理與優(yōu)化案例。
第6章主要介紹分布式查詢(xún)的存取優(yōu)化技術(shù)，包括存取優(yōu)化的基本概念、存取優(yōu)化的代價(jià)模型、典型的半連接優(yōu)化技術(shù)、枚舉法優(yōu)化技術(shù)，以及幾種典型的集中式查詢(xún)優(yōu)化算法、分布式查詢(xún)優(yōu)化算法和Oracle數(shù)據(jù)庫(kù)的存取優(yōu)化技術(shù)。之后，介紹大數(shù)據(jù)管理的存取優(yōu)化技術(shù)和三種大數(shù)據(jù)庫(kù)系統(tǒng)（HBase、Spanner、OceanBase）的查詢(xún)存取優(yōu)化案例。
第7章主要介紹分布式事務(wù)管理技術(shù)，包括分布式事務(wù)的概念、分布式事務(wù)的實(shí)現(xiàn)模型、分布式事務(wù)執(zhí)行的控制模型、分布式事務(wù)管理的實(shí)現(xiàn)模型、分布式事務(wù)提交協(xié)議以及Oracle數(shù)據(jù)庫(kù)的事務(wù)管理技術(shù)。之后，介紹大數(shù)據(jù)庫(kù)的事務(wù)管理理論、擴(kuò)展的事務(wù)模型、實(shí)現(xiàn)方法以及三種大數(shù)據(jù)庫(kù)系統(tǒng)（HBase、Spanner、OceanBase）的事務(wù)管理案例。
第8章主要介紹分布式恢復(fù)管理技術(shù)，包括分布式數(shù)據(jù)庫(kù)系統(tǒng)中的故障類(lèi)型、集中式數(shù)據(jù)庫(kù)的故障恢復(fù)方法、分布式數(shù)據(jù)庫(kù)的恢復(fù)方法、分布式數(shù)據(jù)庫(kù)的可靠性協(xié)議以及Oracle數(shù)據(jù)庫(kù)的故障恢復(fù)技術(shù)。之后，介紹大數(shù)據(jù)庫(kù)系統(tǒng)中的恢復(fù)管理問(wèn)題、故障類(lèi)型、故障檢測(cè)技術(shù)、容錯(cuò)技術(shù)以及三種大數(shù)據(jù)庫(kù)系統(tǒng)（HBase、Spanner、OceanBase）的恢復(fù)管理案例。
第9章主要介紹分布式并發(fā)控制技術(shù)，包括分布式并發(fā)控制的概念及理論基礎(chǔ)、基于鎖的并發(fā)控制方法、基于時(shí)間戳的并發(fā)控制算法、樂(lè)觀(guān)的并發(fā)控制算法、分布式死鎖管理以及Oracle數(shù)據(jù)庫(kù)的并發(fā)控制技術(shù)。之后，介紹支持大數(shù)據(jù)并發(fā)控制的擴(kuò)展技術(shù)和三種大數(shù)據(jù)庫(kù)系統(tǒng)（HBase、Spanner、OceanBase）的分布式并發(fā)控制案例。
第10章主要介紹分布式數(shù)據(jù)庫(kù)的數(shù)據(jù)復(fù)制與一致性技術(shù)，包括復(fù)制策略、復(fù)制協(xié)議、一致性協(xié)議以及Oracle數(shù)據(jù)庫(kù)的復(fù)制技術(shù)。之后，結(jié)合大數(shù)據(jù)庫(kù)一致性協(xié)議介紹大數(shù)據(jù)庫(kù)系統(tǒng)所采用的副本一致性實(shí)現(xiàn)策略以及三種大數(shù)據(jù)庫(kù)系統(tǒng)（HBase、Spanner、OceanBase）的數(shù)據(jù)復(fù)制與一致性管理案例。
第11章主要介紹區(qū)塊鏈分布式數(shù)據(jù)管理技術(shù)，包括區(qū)塊鏈的相關(guān)概念及其與傳統(tǒng)分布式數(shù)據(jù)庫(kù)的異同點(diǎn)。之后，從分布式數(shù)據(jù)庫(kù)的角度介紹區(qū)塊鏈體系架構(gòu)、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理和事務(wù)管理。
第12章主要介紹AI賦能的數(shù)據(jù)管理新技術(shù)，包括數(shù)據(jù)存儲(chǔ)問(wèn)題中的數(shù)據(jù)分區(qū)與索引構(gòu)建的學(xué)習(xí)型方法、查詢(xún)優(yōu)化過(guò)程中基于人工智能的代價(jià)模型、基數(shù)估計(jì)和連接優(yōu)化技術(shù)，以及AI賦能的負(fù)載管理、負(fù)載預(yù)測(cè)、配置參數(shù)調(diào)優(yōu)方法和AI賦能的自治數(shù)據(jù)庫(kù)的發(fā)展現(xiàn)狀。
第13章主要介紹分布式數(shù)據(jù)系統(tǒng)的發(fā)展與前瞻，結(jié)合具體案例介紹云原生數(shù)據(jù)庫(kù)系統(tǒng)和HTAP數(shù)據(jù)庫(kù)系統(tǒng)，主要包括系統(tǒng)體系結(jié)構(gòu)、存儲(chǔ)管理、查詢(xún)處理、事務(wù)管理、分析處理等關(guān)鍵技術(shù)，還介紹其他幾種典型的分布式大數(shù)據(jù)庫(kù)管理系統(tǒng)，包括NoSQL分布式大數(shù)據(jù)庫(kù)系統(tǒng)、面向OLTP的分布式大數(shù)據(jù)庫(kù)系統(tǒng)和跨異構(gòu)存儲(chǔ)的Polystore系統(tǒng)。之后，介紹大數(shù)據(jù)管理的發(fā)展方向，主要包括數(shù)據(jù)科學(xué)、數(shù)據(jù)治理、云數(shù)據(jù)庫(kù)服務(wù)、數(shù)據(jù)庫(kù)引擎以及新型數(shù)據(jù)庫(kù)應(yīng)用。
本書(shū)由東北大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院的于戈、申德榮、趙志濱、聶鐵錚、李芳芳、寇月、馮時(shí)、谷峪撰寫(xiě)。其中，于戈、申德榮負(fù)責(zé)撰寫(xiě)本書(shū)前言部分、第1章和第13章，趙志濱、申德榮負(fù)責(zé)撰寫(xiě)第2章，申德榮、聶鐵錚負(fù)責(zé)撰寫(xiě)第3章和第4章，聶鐵錚負(fù)責(zé)撰寫(xiě)第6章和第11章，李芳芳、聶鐵錚負(fù)責(zé)撰寫(xiě)第5章，李芳芳負(fù)責(zé)撰寫(xiě)第9章和第10章，寇月負(fù)責(zé)撰寫(xiě)第7章和第8章，谷峪負(fù)責(zé)撰寫(xiě)第12章，馮時(shí)負(fù)責(zé)撰寫(xiě)各章中Oracle數(shù)據(jù)庫(kù)的案例部分。全書(shū)由于戈和申德榮統(tǒng)稿。
本教材全面落實(shí)黨的二十大報(bào)告關(guān)于深入實(shí)施科教興國(guó)戰(zhàn)略、人才強(qiáng)國(guó)戰(zhàn)略、創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略的重要論述，把培養(yǎng)大國(guó)工匠和高技能人才作為重要目標(biāo)，大力弘揚(yáng)勞模精神、勞動(dòng)精神、工匠精神，提升我國(guó)科技發(fā)展的獨(dú)立性、自主性和安全性。為此，我們?cè)谧珜?xiě)本書(shū)的過(guò)程中，努力覆蓋已有分布式數(shù)據(jù)庫(kù)系統(tǒng)的經(jīng)典理論和技術(shù)，盡力跟蹤該學(xué)科的新發(fā)展和新技術(shù)，力求本書(shū)具備先進(jìn)性和實(shí)用性。本書(shū)強(qiáng)調(diào)理論和實(shí)際相結(jié)合，強(qiáng)調(diào)研究與產(chǎn)業(yè)相融合，重視我國(guó)分布式數(shù)據(jù)庫(kù)技術(shù)的發(fā)展。每章用大量篇幅介紹了商業(yè)化數(shù)據(jù)庫(kù)產(chǎn)品Oracle應(yīng)用案例和具有代表性的大數(shù)據(jù)庫(kù)系統(tǒng)HBase、Spanner和OceanBase。除國(guó)產(chǎn)數(shù)據(jù)庫(kù)系統(tǒng)OceanBase之外，還專(zhuān)門(mén)介紹了另外兩個(gè)國(guó)產(chǎn)數(shù)據(jù)庫(kù)系統(tǒng)PolarDB和TiDB。在分布式數(shù)據(jù)庫(kù)技術(shù)的進(jìn)展方面，本書(shū)涵蓋了區(qū)塊鏈技術(shù)、AI賦能技術(shù)和大數(shù)據(jù)管理技術(shù)發(fā)展方向。但由于作者學(xué)識(shí)有限，書(shū)中可能存在一些不足之處，敬請(qǐng)專(zhuān)家和學(xué)者批評(píng)指正。