大數(shù)據(jù)是信息化發(fā)展的新階段，隨著全球數(shù)據(jù)存儲(chǔ)量的不斷提高，大數(shù)據(jù)正進(jìn)入發(fā)展加速時(shí)期。近年來(lái)，隨著5G、AI、云計(jì)算、區(qū)塊鏈等新一代信息技術(shù)的蓬勃發(fā)展，大數(shù)據(jù)技術(shù)走向融合發(fā)展的關(guān)鍵階段。同時(shí)，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)保持良好發(fā)展勢(shì)頭，大數(shù)據(jù) 行業(yè)滲透融合全面展開(kāi)，融合生態(tài)加速構(gòu)建，新技術(shù)、新業(yè)態(tài)、新模式不斷涌現(xiàn)，政策支持、戰(zhàn)略引領(lǐng)、標(biāo)準(zhǔn)規(guī)范、產(chǎn)業(yè)創(chuàng)新的良性互動(dòng)局面正在形成。
隨著大數(shù)據(jù)時(shí)代的到來(lái)，各企業(yè)都積累了大量的數(shù)據(jù)，隨著數(shù)據(jù)量的不斷增長(zhǎng)，企業(yè)不僅需要花費(fèi)巨大的硬件成本來(lái)存儲(chǔ)這些數(shù)據(jù)，而且還需要人員成本來(lái)維護(hù)這些數(shù)據(jù)。對(duì)于一個(gè)企業(yè)來(lái)說(shuō)，如果只是單純地存儲(chǔ)和維護(hù)這些數(shù)據(jù)，那么這些數(shù)據(jù)將變得毫無(wú)價(jià)值，只是一種單純的消耗品，于是企業(yè)開(kāi)始利用這些持續(xù)不斷增長(zhǎng)的數(shù)據(jù)，從中挖掘出具有潛在商業(yè)價(jià)值的信息，幫助企業(yè)從數(shù)據(jù)中獲取經(jīng)驗(yàn)，從而為企業(yè)創(chuàng)造有效價(jià)值。對(duì)于這些積累下來(lái)的大量數(shù)據(jù)，通常稱為離線數(shù)據(jù)。常見(jiàn)的離線計(jì)算框架有MapReduce和Spark，然而使用這些框架需要開(kāi)發(fā)人員至少擁有Java語(yǔ)言的基礎(chǔ)，對(duì)于那些熟悉使用SQL的傳統(tǒng)數(shù)據(jù)分析人員來(lái)說(shuō)并不能得心應(yīng)手，于是一個(gè)全新的技術(shù)Hive離線處理工具進(jìn)入了大眾的視野。
Hive提出海量數(shù)據(jù)可以繼續(xù)沿用傳統(tǒng)數(shù)據(jù)分析方法SQL語(yǔ)句來(lái)處理的思想，開(kāi)發(fā)人員不需要學(xué)習(xí)新的計(jì)算機(jī)語(yǔ)言而繼續(xù)使用熟悉的SQL結(jié)構(gòu)化查詢語(yǔ)句來(lái)處理大規(guī)模的數(shù)據(jù)，Hive中的SQL語(yǔ)句稱為HiveQL查詢語(yǔ)句，HiveQL查詢語(yǔ)句的語(yǔ)法結(jié)構(gòu)與傳統(tǒng)SQL語(yǔ)句的語(yǔ)法結(jié)構(gòu)幾乎一樣。Hive運(yùn)行在Hadoop分布式系統(tǒng)中，這使得Hive不僅可以使用HDFS進(jìn)行分布式存儲(chǔ)，還可以通過(guò)MapReduce分布式計(jì)算框架來(lái)查詢數(shù)據(jù)，相比于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)來(lái)說(shuō)，Hive在存儲(chǔ)性能和查詢效率上都得到了很好的提升。
本書帶領(lǐng)大家認(rèn)識(shí)Hive的相關(guān)技術(shù)。通過(guò)學(xué)習(xí)本書，使讀者對(duì)Hive有深刻的認(rèn)識(shí)，本書共分為9章，接下來(lái)分別對(duì)每章所講解的知識(shí)內(nèi)容進(jìn)行簡(jiǎn)要介紹。
第1章主要從數(shù)據(jù)倉(cāng)庫(kù)和Hive的理論知識(shí)出發(fā)，講解數(shù)據(jù)倉(cāng)庫(kù)和Hive的相關(guān)概念，包括數(shù)據(jù)倉(cāng)庫(kù)分層、數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型、Hive架構(gòu)、Hive工作原理等內(nèi)容。
第2章講解如何部署Hive的嵌入模式、本地模式和遠(yuǎn)程模式，本章從0開(kāi)始教會(huì)讀者如何部署Hive，其中包括虛擬機(jī)的創(chuàng)建、Linux操作系統(tǒng)的安裝與配置、Hadoop高可用集群的部署等內(nèi)容。
第3章主要講解了Hive數(shù)據(jù)定義語(yǔ)言的相關(guān)操作，包括數(shù)據(jù)庫(kù)的基本操作、數(shù)據(jù)表的基本操作，以及分區(qū)表、分桶表、臨時(shí)表、視圖和索引的相關(guān)操作。
第4章主要講解了Hive數(shù)據(jù)操作語(yǔ)言的相關(guān)操作，包括加載文件、基本查詢、插入數(shù)據(jù)以及IMPORT和EXPORT。
第5章主要講解了Hive數(shù)據(jù)查詢語(yǔ)言的相關(guān)操作，包括SELECT句式分析、Hive運(yùn)算符、公用表表達(dá)式、分組操作、排序操作、UNION語(yǔ)句、JOIN語(yǔ)句以及抽樣查詢。
第6章主要講解了Hive函數(shù)的相關(guān)操作，針對(duì)Hive的內(nèi)置函數(shù)和自定義函數(shù)兩方面進(jìn)行詳細(xì)講解。
第7章主要講解了Hive事務(wù)的相關(guān)概念和操作，包括ACID概述、Hive事務(wù)的設(shè)計(jì)與實(shí)現(xiàn)、開(kāi)啟Hive事務(wù)、事務(wù)表的更新操作和刪除操作。
第8章主要講解了Hive優(yōu)化的相關(guān)知識(shí)，包括Hive存儲(chǔ)優(yōu)化、Hive參數(shù)優(yōu)化和HiveQL語(yǔ)句優(yōu)化技巧。
第9章講解了一個(gè)綜合項(xiàng)目教育大數(shù)據(jù)分析平臺(tái)，主要針對(duì)Hive數(shù)據(jù)倉(cāng)庫(kù)在實(shí)際應(yīng)用中涉及的相關(guān)知識(shí)內(nèi)容進(jìn)行詳細(xì)講解，包括使用Hive實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)分層、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分析，以及相關(guān)大數(shù)據(jù)工具Sqoop和FineBI的使用。

致謝
本書的編寫和整理由江蘇傳智播客教育科技股份有限公司教材研發(fā)中心完成，主要參與人員有高美云、張明強(qiáng)、李丹等，全體人員在近一年的編寫過(guò)程中付出了許多辛勤的汗水。除此之外，還有傳智播客600多名學(xué)員參與了本書的試讀工作，他們站在初學(xué)者的角度對(duì)本書提供了許多寶貴的修改意見(jiàn)，在此一并表示衷心的感謝。

意見(jiàn)反饋
盡管我們盡了的努力，但書中難免會(huì)有不妥之處，歡迎各界專家和讀者來(lái)信給予寶貴意見(jiàn)，我們將不勝感激。您在閱讀本書時(shí)，如果發(fā)現(xiàn)任何問(wèn)題或有不認(rèn)同之處可以通過(guò)電子郵件與我們?nèi)〉寐?lián)系。
請(qǐng)發(fā)送電子郵件至: itcast_book@vip.sina.com。

江蘇傳智播客教育科技股份有限公司教材研發(fā)中心2021年5月于北京