第 1章　Spark導(dǎo)論 1
1.1　認(rèn)識Spark　1
1.1.1　Spark的演進路線　1
1.1.2　Spark的特點　2
1.1.3　Spark與Hadoop的聯(lián)系　3
1.2　Spark的生態(tài)系統(tǒng)　4
1.2.1　Spark Core　5
1.2.2　Spark SQL　5
1.2.3　Spark Streaming　5
1.2.4　Spark MLlib　5
1.2.5　Spark GraphX　5
1.3　Spark運行模式　5
1.3.1　Standalone模式　6
1.3.2　Mesos模式　6
1.3.3　YARN模式　6
1.4　Spark架構(gòu)　6
1.4.1　Spark架構(gòu)組成　6
1.4.2　Spark架構(gòu)運行流程　7
1.4.3　Spark架構(gòu)特點　7
1.5　Spark應(yīng)用場景　8
1.6　本章小結(jié)　8
1.7　習(xí)題　8
第 2章　Spark環(huán)境搭建與使用　10
2.1　搭建環(huán)境前的準(zhǔn)備　10
2.1.1　Spark的下載　10
2.1.2　Scala的下載　11
2.1.3　Spark的前置配置　13
2.2　Spark集群的部署與操作　14
2.2.1　Spark集群的部署　14
2.2.2　Spark集群的啟動與停止　17
2.3　第 一個Spark程序　19
2.4　Spark Shell的啟動　21
2.5　本章小結(jié)　21
2.6　習(xí)題　21
第3章　Scala語言　23
3.1　Scala簡介　23
3.1.1　什么是Scala　23
3.1.2　Scala的特性　24
3.1.3　Scala的優(yōu)勢　24
3.2　Scala的安裝　25
3.2.1　Windows下安裝Scala
編譯器　25
3.2.2　Linux下安裝Scala
編譯器　26
3.3　Scala基礎(chǔ)　26
3.3.1　Scala快速入門　26
3.3.2　在IntelliJ IDEA中創(chuàng)建Scala
項目　27
3.4　Scala的基本語法　28
3.4.1　聲明變量　29
3.4.2　定義字符串　29
3.4.3　數(shù)據(jù)類型　31
3.4.4　運算符　32
3.4.5　塊表達(dá)式　33
3.5　Scala的流程控制結(jié)構(gòu)　33
3.5.1　順序結(jié)構(gòu)　33
3.5.2　分支結(jié)構(gòu)　34
3.5.3　循環(huán)結(jié)構(gòu)　36
3.5.4　breakable和break()方法　38
3.6　Scala的方法與函數(shù)　39
3.6.1　Scala中方法的定義和調(diào)用　39
3.6.2　Scala中函數(shù)的定義和調(diào)用　42
3.6.3　Scala中將方法轉(zhuǎn)換成函數(shù)　43
3.7　Scala面向?qū)ο蟮奶匦浴?4
3.7.1　類和對象　44
3.7.2　private關(guān)鍵字　45
3.7.3　繼承　45
3.7.4　單例對象　46
3.7.5　伴生對象　46
3.7.6　構(gòu)造器　47
3.7.7　特質(zhì)　48
3.7.8　抽象類　50
3.8　Scala的數(shù)據(jù)結(jié)構(gòu)　50
3.8.1　數(shù)組　50
3.8.2　元組　52
3.8.3　集合　53
3.9　lazy關(guān)鍵字　56
實戰(zhàn)訓(xùn)練：數(shù)組合并去重　57
3.10　本章小結(jié)　59
3.11　習(xí)題　59
第4章　Spark彈性分布式數(shù)據(jù)集　61
4.1　RDD簡介　61
4.1.1　RDD的產(chǎn)生背景　61
4.1.2　RDD的特性　62
4.2　RDD的創(chuàng)建操作　64
4.2.1　從文件系統(tǒng)中加載數(shù)據(jù)創(chuàng)建
RDD　64
4.2.2　通過并行集合創(chuàng)建RDD　64
4.2.3　從父RDD轉(zhuǎn)換成新的子
RDD　64
4.3　RDD算子　64
4.3.1　轉(zhuǎn)換算子　65
4.3.2　動作算子　71
4.3.3　RDD常用算子練習(xí)　72
4.3.4　算子進階　74
實戰(zhàn)訓(xùn)練4-1：WordCount詞頻統(tǒng)計
案例　77
4.4　RDD的分區(qū)　78
4.5　RDD的依賴關(guān)系　79
4.5.1　劃分依賴的背景　79
4.5.2　劃分依賴的依據(jù)　80
4.5.3　窄依賴　80
4.5.4　寬依賴　80
4.5.5　Stage的劃分　81
4.6　RDD機制　81
4.6.1　持久化機制　81
4.6.2　RDD緩存方式　81
4.6.3　容錯機制Checkpoint　82
4.7　Spark作業(yè)流程　83
4.7.1　DAG的生成　83
4.7.2　任務(wù)調(diào)度流程　83
4.7.3　提交任務(wù)的4個階段　84
4.8　共享變量　84
4.8.1　廣播變量　85
4.8.2　累加器　85
實戰(zhàn)訓(xùn)練4-2：通過相關(guān)信息計算用戶
停留時間　85
實戰(zhàn)訓(xùn)練4-3：統(tǒng)計學(xué)生信息　87
4.9　本章小結(jié)　92
4.10　習(xí)題　93
第5章　Spark SQL、DataFrame和
DataSet　95
5.1　Spark SQL簡介　95
5.1.1　Spark SQL的概念　95
5.1.2　Spark SQL的特點　96
5.1.3　Spark SQL的運行架構(gòu)　97
5.2　DataFrame基礎(chǔ)知識　98
5.2.1　DataFrame概念　98
5.2.2　創(chuàng)建DataFrame對象　99
5.2.3　DataFrame常用操作　99
5.3　DataSet基礎(chǔ)知識　100
5.3.1　DataSet編程　101
5.3.2　DataSet的DSL風(fēng)格操作　101
5.4　將RDD轉(zhuǎn)為DataFrame的
操作　102
5.4.1　通過反射推斷Schema　102
5.4.2　DSL風(fēng)格語法　103
5.4.3　通過StructType直接指定
Schema　104
5.5　RDD、DataFrame和DataSet的
區(qū)別　105
5.5.1　RDD的優(yōu)缺點　105
5.5.2　DataFrame的優(yōu)缺點　106
5.5.3　DataSet的優(yōu)缺點　106
5.5.4　Spark SQL的性能與優(yōu)化　106
5.6　通過Spark SQL操作數(shù)據(jù)源　106
5.6.1　操作MySQL數(shù)據(jù)源　106
5.6.2　操作Hive數(shù)據(jù)源　108
實戰(zhàn)訓(xùn)練5-1：獲取連續(xù)活躍用戶的
記錄　108
實戰(zhàn)訓(xùn)練5-2：計算店鋪銷售額　110
5.7　本章小結(jié)　113
5.8　習(xí)題　113
第6章　Kafka分布式發(fā)布-訂閱消息
系統(tǒng)　115
6.1　Kafka簡介　115
6.1.1　什么是Kafka　115
6.1.2　消息系統(tǒng)簡介　116
6.1.3　Kafka術(shù)語　117
6.2　Kafka與傳統(tǒng)消息系統(tǒng)的區(qū)別　117
6.2.1　應(yīng)用場景　117
6.2.2　架構(gòu)模型　118
6.2.3　吞吐量　118
6.2.4　可用性　118
6.2.5　集群負(fù)載均衡　118
6.3　Kafka工作原理　118
6.3.1　Kafka的拓?fù)浣Y(jié)構(gòu)　118
6.3.2　分析Kafka工作流程　119
6.4　Kafka集群的部署與測試　121
6.4.1　集群部署的基礎(chǔ)環(huán)境準(zhǔn)備　121
6.4.2　安裝Kafka　121
6.4.3　啟動Kafka服務(wù)并進行
測試　123
6.5　Kafka的入門使用　124
6.5.1　Kafka命令行的入門使用　124
6.5.2　Kafka API案例　124
6.6　Kafka整合Flume　126
6.7　Kafka涉及的問題　127
6.7.1　存儲機制　127
6.7.2　Kafka是如何保證數(shù)據(jù)
不丟失的　127
6.7.3　如何消費已經(jīng)被消費過的
數(shù)據(jù)　128
6.7.4　Kafka Partition和Consumer的
數(shù)量關(guān)系　128
6.7.5　Kafka Topic 副本問題　129
6.7.6　ZooKeeper如何管理
Kafka　129
實戰(zhàn)訓(xùn)練：使用Kafka生產(chǎn)車輛模擬
信息　129
6.8　本章小結(jié)　133
6.9　習(xí)題　133
第7章　Spark Streaming實時計算
框架　135
7.1　流式計算概述　135
7.1.1　流式計算簡介　135
7.1.2　常用的流式計算框架　136
7.2　Spark Streaming概述　137
7.2.1　Spark Streaming簡介　137
7.2.2　Spark Streaming工作原理　137
7.3　Spark的DStream　141
7.3.1　DStream概念　141
7.3.2　DStream的轉(zhuǎn)換操作　142
7.4　Spark Streaming的數(shù)據(jù)源　144
7.4.1　基本數(shù)據(jù)源　144
7.4.2　高級數(shù)據(jù)源之Kafka　145
7.5　DStream的窗口操作　150
7.6　DStream的輸出操作　151
7.7　Spark Streaming的Checkpoint
機制　153
7.7.1　Spark Streaming Checkpoint
概述　153
7.7.2　Checkpoint-MySQL校驗　153
7.7.3　Checkpoint-Redis校驗　154
實戰(zhàn)訓(xùn)練：新聞熱詞排序　155
7.8　本章小結(jié)　157
7.9　習(xí)題　157
第8章　Spark MLlib機器學(xué)習(xí)
算法庫　159
8.1　初識機器學(xué)習(xí)　159
8.1.1　什么是機器學(xué)習(xí)　159
8.1.2　機器學(xué)習(xí)的應(yīng)用　160
8.1.3　分類和聚類　160
8.1.4　常見的分類與聚類算法　160
8.1.5　監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)與
半監(jiān)督學(xué)習(xí)　161
8.2　機器學(xué)習(xí)算法庫MLlib概述　161
8.2.1　MLlib簡介　161
8.2.2　Spark機器學(xué)習(xí)的工作
流程　161
8.2.3　Spark MLlib的架構(gòu)　162
8.3　數(shù)據(jù)類型　162
8.3.1　本地向量　162
8.3.2　標(biāo)簽點　163
8.3.3　本地矩陣　164
8.4　Spark MLlib的基本統(tǒng)計方法　165
8.4.1　摘要統(tǒng)計　165
8.4.2　相關(guān)性　165
8.4.3　分層抽樣　167
8.5　分類和回歸　168
8.5.1　線性支持向量機　168
8.5.2　邏輯回歸　169
8.5.3　線性最小二乘法　170
8.5.4　流的線性回歸　171
8.6　隨機森林　171
8.6.1　隨機注入　172
8.6.2　隨機森林的預(yù)測　172
8.6.3　3個案例　172
8.7　樸素貝葉斯　174
8.8　協(xié)同過濾　175
8.8.1　協(xié)同過濾推薦算法的原理　175
8.8.2　案例需求　175
8.8.3　算法實現(xiàn)　176
8.8.4　計算相似度的3種常用
方法　178
8.8.5　案例如何使用協(xié)同
過濾　179
8.8.6　使用協(xié)同過濾算法時的常見
問題　179
實戰(zhàn)訓(xùn)練：利用MLlib實現(xiàn)電影推薦
引擎　180
8.9　本章小結(jié)　183
8.10　習(xí)題　183
第9章　Redis數(shù)據(jù)庫　185
9.1　Redis簡介　185
9.1.1　常見的Redis應(yīng)用場景　185
9.1.2　Redis的特性　186
9.1.3　持久化機制　187
9.2　Redis的安裝和啟動　187
9.2.1　Redis的安裝　187
9.2.2　前端啟動　189
9.2.3　后端啟動　189
9.3　Redis的客戶端　190
9.3.1　Redis自帶的客戶端　190
9.3.2　Redis桌面管理工具　190
9.3.3　Java客戶端Jedis　191
9.4　Redis的數(shù)據(jù)類型　192
9.5　Redis的持久化和高可用性　194
9.5.1　RDB方式和AOF方式　194
9.5.2　Redis的高可用性　196
實戰(zhàn)訓(xùn)練：Spark　SQL整合Redis分析
電商數(shù)據(jù)　197
9.6　本章小結(jié)　199
9.7　習(xí)題　199
第 10章　綜合案例Spark電商實時
數(shù)據(jù)處理　201
10.1　項目概述　201
10.1.1　介紹項目背景　201
10.1.2　設(shè)計項目架構(gòu)　201
10.2　搭建項目環(huán)境　202
10.3　初始化項目結(jié)構(gòu)　203
10.3.1　創(chuàng)建Maven工程　203
10.3.2　構(gòu)建SparkSession和
StreamingContext實例
對象　207
10.3.3　構(gòu)建屬性配置文件　208
10.3.4　配置Spark Streaming停止
工具　210
10.4　開發(fā)訂單數(shù)據(jù)模塊　211
10.4.1　模擬訂單數(shù)據(jù)　211
10.4.2　啟動Kafka服務(wù)　213
10.5　訂單數(shù)據(jù)處理模塊　214
10.6　開發(fā)報表　216
10.7　本章小結(jié)　218