隨著計(jì)算機(jī)及互聯(lián)網(wǎng)的飛速發(fā)展，當(dāng)今社會已進(jìn)入大數(shù)據(jù)時代，大數(shù)據(jù)帶來了信息技術(shù)的巨大變革，并深刻影響著人類社會生產(chǎn)和生活的方方面面。2020 年，國家推出了新基建戰(zhàn)略，將5G、大數(shù)據(jù)中心、人工智能和工業(yè)互聯(lián)網(wǎng)等列為新型基礎(chǔ)設(shè)施建設(shè)的重點(diǎn)。在國家政策的引領(lǐng)下，各行各業(yè)都將大數(shù)據(jù)產(chǎn)業(yè)列為優(yōu)先發(fā)展目標(biāo)，而任何行業(yè)的興起最需要的就是相關(guān)人才，特別是會分析數(shù)據(jù)、懂領(lǐng)域業(yè)務(wù)的復(fù)合型人才，目前大數(shù)據(jù)相關(guān)人才供不應(yīng)求。在新的需求背景下，我國的高等教育也進(jìn)入一個新的發(fā)展時期，尤其是相關(guān)大數(shù)據(jù)與人工智能方面的教育。
本書以大數(shù)據(jù)技術(shù)為中心，系統(tǒng)論述了大數(shù)據(jù)處理生態(tài)系統(tǒng)的核心開發(fā)技術(shù)。本書共分十一章。第1 章緒論，介紹了大數(shù)據(jù)的發(fā)展背景、大數(shù)據(jù)處理的關(guān)鍵技術(shù)和系統(tǒng)框架以及大數(shù)據(jù)的應(yīng)用。第2 章大數(shù)據(jù)處理框架Hadoop，論述了Hadoop 的發(fā)展歷程、生態(tài)系統(tǒng)、特點(diǎn)和應(yīng)用場景，并論述了Hadoop 集群搭建和安裝配置。第3 章分布式文件系統(tǒng)HDFS，論述了HDFS 的體系結(jié)構(gòu)、工作機(jī)制和訪問方式，并用Java 復(fù)制文件到HDFS。第4 章分布式計(jì)算框架MapReduce，論述了MapReduce 的設(shè)計(jì)構(gòu)思、運(yùn)行理論、編程模型和機(jī)制，并開發(fā)詞頻統(tǒng)計(jì)MapReduce 程序。第5 章Hadoop 的發(fā)展與優(yōu)化，論述了HDFS 的高可用和聯(lián)邦、資源管理調(diào)度框架YARN 和分布式協(xié)調(diào)服務(wù)組件Zookeeper，并開發(fā)一個YARN 客戶端應(yīng)用。第6 章分布式數(shù)據(jù)HBase，論述了HBase 的使用場景、架構(gòu)和存儲原理以及安裝，并實(shí)踐HBase Shell 操作。第7 章數(shù)據(jù)倉庫Hive，論述了Hive 的運(yùn)行原理、數(shù)據(jù)類型與HiveQL 語句使用、分區(qū)和分桶使用、自定義函數(shù)開發(fā)等，并使用HiveQL 語句導(dǎo)入數(shù)據(jù)到HDFS。第8 章基于內(nèi)存的分布式計(jì)算框架Spark，論述了Spark 的相關(guān)背景知識、生態(tài)系統(tǒng)、架構(gòu)及運(yùn)行原理和應(yīng)用場景，以及Spark 的安裝啟動和Spark shell 的基本操作。第9 章Spark 核心編程，對RDD 各種操作進(jìn)行了較為全面的解釋，還對Spark DAG 機(jī)制和Spark Stage 進(jìn)行了詳細(xì)的論述，可以讓讀者更好地理解RDD 的執(zhí)行過程。第10 章Spark 生態(tài)系統(tǒng)，論述了Spark SQL、Spark Streaming 及 Structured Streaming、Spark MLlib、Spark GraphX 及其應(yīng)用場景等。第11 章流式數(shù)據(jù)處理引擎Flink，論述了Flink 的基本組件和架構(gòu)、Flink編程模型、Flink 的部署及應(yīng)用等。
本書具有以下特點(diǎn)：
1. 強(qiáng)調(diào)目標(biāo)性，融入思政元素。每章設(shè)置學(xué)習(xí)目標(biāo)，引導(dǎo)學(xué)生學(xué)習(xí)，啟發(fā)學(xué)生思考。本書結(jié)合課程教學(xué)內(nèi)容融入思政元素，在章末尾設(shè)置思政小講堂，以學(xué)生為中心，將課程思政真正融入課堂教學(xué)中。
2. 強(qiáng)化實(shí)踐性。本書基于新工科課程體系建設(shè)過程中大數(shù)據(jù)運(yùn)維、大數(shù)據(jù)分析處理等技術(shù)基礎(chǔ)的理論與實(shí)踐，在介紹實(shí)用知識體系的同時注重對相關(guān)基礎(chǔ)理論的講解，以便學(xué)生融會貫通，達(dá)到理論與實(shí)踐的有機(jī)結(jié)合，并強(qiáng)調(diào)實(shí)踐性，在每章都提供了比較充足的實(shí)踐內(nèi)容。感謝合作企業(yè)的工程師和課程教學(xué)團(tuán)隊(duì)的每位成員，是他們的幫助，使本書得以順利完成編寫并不斷完善。書中的實(shí)戰(zhàn)內(nèi)容由編者聯(lián)合江蘇知途教育科技有限公司的工程師共同完成。
在本書的編寫過程中，編者參考了國內(nèi)外出版的一些教材、報刊、文獻(xiàn)和網(wǎng)絡(luò)資源，吸收了學(xué)者們最新的研究成果，在此謹(jǐn)對所參考的資料的版權(quán)所有者表示衷心感謝！在編寫過程中，得到了江蘇知途教育科技有限公司李瑞芝經(jīng)理的幫助，他為完善本書付出了很多努力，同時還得到了華納信息科技有限公司的大力支持，在此一并表示感謝!
由于時間倉促、編者水平有限，書中的不足之處在所難免，尚望同行專家及讀者不吝賜教，以便今后進(jìn)一步完善修改。