近幾年來(lái)，隨著計(jì)算機(jī)和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴(kuò)大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長(zhǎng)。大數(shù)據(jù)技術(shù)快速火熱，大數(shù)據(jù)開(kāi)發(fā)工程師更是供不應(yīng)求。本書(shū)是一本Hadoop Spark快速上手的書(shū)，從Hadoop生態(tài)系統(tǒng)和Spark生態(tài)系統(tǒng)全面原理解析和實(shí)戰(zhàn)操作每一個(gè)組件，每一個(gè)知識(shí)點(diǎn)都講得十分細(xì)致，讓讀者能夠輕松地跨入大數(shù)據(jù)開(kāi)發(fā)工程師的大門(mén)。

大數(shù)據(jù)工程師薪資

近幾年大數(shù)據(jù)崗位尤其火熱，大數(shù)據(jù)開(kāi)發(fā)工程師供不應(yīng)求，市面上大數(shù)據(jù)開(kāi)發(fā)工程師起步就是8千元，1年工作經(jīng)驗(yàn)1萬(wàn)2千元，2年工作經(jīng)驗(yàn)1萬(wàn)5千元，3年工作經(jīng)驗(yàn)2萬(wàn)以上。根據(jù)每個(gè)人自身學(xué)習(xí)能力不同，有人2年就可以達(dá)到2萬(wàn)元以上。

下圖是神州數(shù)碼于2017年6月6日發(fā)布的一則招聘信息。

本書(shū)內(nèi)容

全書(shū)共12章，分為3個(gè)部分，第1部分（第1~7章）講解了Hadoop的原生態(tài)組件，包括Hadoop、ZooKeeper、HBase、Hive環(huán)境搭建與安裝，以及如何對(duì)MapReduce、HDFS、ZooKeeper、HBase、Hive進(jìn)行原理介紹和Apache版本環(huán)境下實(shí)戰(zhàn)的操作。第2部分（第8~11章）講解Spark的原生態(tài)組件，包括Spark Core、Spark SQL、Spark Streaming、DataFrame，以及如何對(duì)Scala、Spark API、Spark SQL、Spark Streaming、DataFrame進(jìn)行原理介紹和CDH版本環(huán)境下實(shí)戰(zhàn)的操作，其中Flume和Kafka屬于Apache頂級(jí)開(kāi)源項(xiàng)目也放在本篇講解。第3部分（第12章）講解大數(shù)據(jù)項(xiàng)目，包絡(luò)網(wǎng)頁(yè)日志離線項(xiàng)目和實(shí)時(shí)項(xiàng)目，在CDH版本環(huán)境下通過(guò)兩個(gè)項(xiàng)目將Hadoop和Spark原生態(tài)組件進(jìn)行整合，一步步帶領(lǐng)讀者實(shí)戰(zhàn)大數(shù)據(jù)項(xiàng)目。

本書(shū)特色

本書(shū)是一本Hadoop Spark的快速入門(mén)書(shū)籍，以通俗易懂的方式介紹了Hadoop Spark原生態(tài)組件的原理、實(shí)戰(zhàn)操作以及集群搭建方面的知識(shí)。其中，Hadoop原生態(tài)組件包括：MapReduce、HDFS、ZooKeeper、HBase、Hive；Spark原生態(tài)組件包括：Spark Core、Spark SQL、Spark Streaming、Dataframe；同時(shí)包括Apache版本和CDH5版本的Hadoop集群搭建。本書(shū)的特點(diǎn)是：注重實(shí)戰(zhàn)訓(xùn)練，強(qiáng)調(diào)知識(shí)系統(tǒng)性，關(guān)注內(nèi)容實(shí)用性。

（1）本書(shū)從培訓(xùn)角度對(duì)讀者簡(jiǎn)述Hadoop Spark中常用組件的原理和實(shí)戰(zhàn)操作，讓讀者快速了解組件原理和功能使用。

（2）每一個(gè)操作都配有實(shí)例代碼或者圖片來(lái)幫助理解，每一章的最后還有小節(jié)，以歸納總結(jié)本章的內(nèi)容，幫助讀者對(duì)Hadoop Spark原生態(tài)系統(tǒng)有一個(gè)大的全局觀。

（3）目前市面上關(guān)于Hadoop的書(shū)很多，關(guān)于Spark的書(shū)也很多，但是很少有對(duì)Hadoop Spark 結(jié)合進(jìn)行講解。本書(shū)首先講解Hadoop Spark原理，接著講解Hadoop Spark原生態(tài)組件的實(shí)例操作，最后結(jié)合大數(shù)據(jù)網(wǎng)站日志離線和實(shí)時(shí)兩個(gè)項(xiàng)目融合Hadoop Spark所有生態(tài)系統(tǒng)功能，使讀者對(duì)本書(shū)有一個(gè)由淺入深且快速上手的過(guò)程。

本書(shū)適合讀者

本書(shū)適合Hadoop Spark的初學(xué)者，希望深入了解Hadoop Spark安裝部署、開(kāi)發(fā)優(yōu)化的大數(shù)據(jù)工程師，希望深入了解Hadoop Spark管理、業(yè)務(wù)框架擴(kuò)展的大數(shù)據(jù)架構(gòu)師，以及任何對(duì)Hadoop Spark相關(guān)技術(shù)感興趣的讀者。

本書(shū)代碼、軟件、文檔下載

本書(shū)代碼、軟件、文檔下載地址（注意數(shù)字和字母大小寫(xiě)）如下：

http://pan.baidu.com/s/1cCi0k2

如果下載有問(wèn)題，請(qǐng)聯(lián)系電子郵箱booksaga@163.com，郵件主題為Hadoop Spark生態(tài)系統(tǒng)與實(shí)戰(zhàn)指南。

本書(shū)作者

余輝，中國(guó)科學(xué)院大學(xué)碩士研究生畢業(yè)，研究方向?yàn)樵朴?jì)算和大數(shù)據(jù)�，F(xiàn)供職于某上市公司技術(shù)經(jīng)理，并在Oracle OAEC人才產(chǎn)業(yè)集團(tuán)大數(shù)據(jù)學(xué)院（http://www.oracleoaec.com.cn/）擔(dān)任大數(shù)據(jù)講師。曾在清華大學(xué)電子工程系NGNLab研究室（http://ngn.ee.tsinghua.edu.cn/）擔(dān)任軟件工程師。

已發(fā)表兩篇大數(shù)據(jù)論文：《微博輿情的Hadoop存儲(chǔ)和管理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)》和《跨媒體多源網(wǎng)絡(luò)輿情分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)》

博客：http://blog.csdn.net/silentwolfyh

微博：http://weibo.com/u/3195228233

電子郵箱：yuhuiqh2009@163.com

致謝

趕在兒子1歲生日之際，趕在我告別30歲之際，我撰寫(xiě)《Hadoop Spark生態(tài)系統(tǒng)操作與實(shí)戰(zhàn)指南》一書(shū)，作為我兒子的生日禮物。感謝父母提供了良好的生活環(huán)境，感謝舅舅、舅媽提供了良好的學(xué)習(xí)平臺(tái)，感謝我的老婆、姐姐、姐夫在生活上對(duì)我的支持和奉獻(xiàn)。最后，感謝清華工作和學(xué)習(xí)的那些時(shí)光，清華六年，我學(xué)會(huì)了生存技能、找到了研究方向、培養(yǎng)了生活習(xí)慣。

余 輝

2017年7月