全書(shū)共十個(gè)項(xiàng)目,除了項(xiàng)目一介紹大數(shù)據(jù)基礎(chǔ)理論外,其余項(xiàng)目均以實(shí)戰(zhàn)為主線(xiàn),內(nèi)容循序漸進(jìn),逐步深入,圍繞大數(shù)據(jù)技術(shù)的應(yīng)用層層展開(kāi)。內(nèi)容主要包括大數(shù)據(jù)的基本概念、Ubuntu及服務(wù)安裝配置、Hadoop集群部署、MapReduce編程、HBase數(shù)據(jù)庫(kù)部署與應(yīng)用、Hive數(shù)據(jù)倉(cāng)庫(kù)安裝與應(yīng)用、Pig數(shù)據(jù)分析、Sqoop數(shù)據(jù)遷移、Spark部署及數(shù)據(jù)分析等知識(shí),最后以大數(shù)據(jù)技術(shù)的具體應(yīng)用介紹了MapReduce大數(shù)據(jù)編程、Mahout的K-Means計(jì)算、決策樹(shù)和隨機(jī)森林的分類(lèi)預(yù)測(cè)、頻繁項(xiàng)集運(yùn)算和關(guān)聯(lián)分析等知識(shí)。本書(shū)秉承“實(shí)踐為主、理論夠用,注重實(shí)用”原則,將實(shí)驗(yàn)環(huán)節(jié)及實(shí)操內(nèi)容融入各個(gè)知識(shí)點(diǎn)與課程教學(xué)中,以便讀者能更好地學(xué)習(xí)和掌握大數(shù)據(jù)關(guān)鍵技術(shù)。
李俊杰,雙師型骨干教師,華中科技大學(xué)軟件工程碩士,汕尾職業(yè)技術(shù)學(xué)院云計(jì)算技術(shù)與應(yīng)用教研室主任,汕尾市創(chuàng)新工業(yè)設(shè)計(jì)研究院云計(jì)算與數(shù)據(jù)中心工程設(shè)計(jì)研究所首席技術(shù)專(zhuān)家,廣東省高等教育學(xué)會(huì)高職高專(zhuān)云計(jì)算與大數(shù)據(jù)專(zhuān)業(yè)委員會(huì)秘書(shū)處干事。從事計(jì)算機(jī)相關(guān)專(zhuān)業(yè)教學(xué)和教科研工作十多年,培養(yǎng)和輔導(dǎo)學(xué)生參加省級(jí)、***云計(jì)算和大數(shù)據(jù)比賽多次獲獎(jiǎng)。
項(xiàng)目一 走進(jìn)大數(shù)據(jù) 1
任務(wù)1 概述大數(shù)據(jù)的內(nèi)涵 2
任務(wù)2 關(guān)注大數(shù)據(jù)的影響 6
任務(wù)3 認(rèn)識(shí)常見(jiàn)的大數(shù)據(jù)計(jì)算模式 11
任務(wù)4 厘清大數(shù)據(jù)處理的基本流程 14
任務(wù)5 大數(shù)據(jù)應(yīng)用大顯神通 15
任務(wù)6 大數(shù)據(jù)的發(fā)展及面臨的挑戰(zhàn) 18
【同步訓(xùn)練】 22
項(xiàng)目二 Ubuntu及服務(wù)安裝配置 23
任務(wù)1 安裝Ubuntu Server 24
任務(wù)2 搭建FTP系統(tǒng) 33
任務(wù)3 搭建MySQL數(shù)據(jù)庫(kù)系統(tǒng) 37
任務(wù)4 安裝Ubuntu Desktop 41
【同步訓(xùn)練】 47
項(xiàng)目三 Hadoop集群部署 48
任務(wù)1 構(gòu)建集群系統(tǒng) 49
任務(wù)2 SSH證書(shū)登錄 54
任務(wù)3 Hadoop部署與使用 56
【同步訓(xùn)練】 76
項(xiàng)目四 MapReduce編程 77
任務(wù)1 搭建MapReduce開(kāi)發(fā)平臺(tái) 78
任務(wù)2 編寫(xiě)單詞計(jì)數(shù)程序 82
任務(wù)3 編寫(xiě)氣象數(shù)據(jù)分析程序 96
【同步訓(xùn)練】 111
項(xiàng)目五 HBase數(shù)據(jù)庫(kù)部署與應(yīng)用 112
任務(wù)1 HBase部署 113
任務(wù)2 HBase Shell 125
任務(wù)3 HBase編程 136
任務(wù)4 MapReduce與HBase集成 144
【同步訓(xùn)練】 154
項(xiàng)目六 Hive數(shù)據(jù)倉(cāng)庫(kù)安裝與應(yīng)用 155
任務(wù)1 安裝Hive 155
任務(wù)2 Hive CLI 168
任務(wù)3 Hive編程 182
任務(wù)4 Hive與HBase集成 186
【同步訓(xùn)練】 187
項(xiàng)目七 Pig數(shù)據(jù)分析 188
任務(wù)1 Pig安裝及使用 188
任務(wù)2 Pig高級(jí)編程 200
【同步訓(xùn)練】 209
項(xiàng)目八 Sqoop數(shù)據(jù)遷移 210
任務(wù)1 Sqoop安裝及MySQL與HDFS數(shù)據(jù)遷移 210
任務(wù)2 MySQL與Hive/HBase數(shù)據(jù)轉(zhuǎn)移 216
【同步訓(xùn)練】 218
項(xiàng)目九 Spark部署及數(shù)據(jù)分析 219
任務(wù)1 Spark部署 220
任務(wù)2 Spark數(shù)據(jù)分析 229
任務(wù)3 Spark編程 241
【同步訓(xùn)練】 252
項(xiàng)目十 大數(shù)據(jù)綜合實(shí)例編程 253
任務(wù)1 MapReduce大數(shù)據(jù)處理 254
任務(wù)2 Mahout的K-Means計(jì)算 266
任務(wù)3 決策樹(shù)和隨機(jī)森林的分類(lèi)預(yù)測(cè) 272
任務(wù)4 頻繁項(xiàng)集計(jì)算與關(guān)聯(lián)分析 287
【同步訓(xùn)練】 297
參考文獻(xiàn) 298
收起全部↑