目錄
譯者序
致謝
前言
關(guān)于本書
關(guān)于作者
關(guān)于封面
第1部分 第1步
第1章 Apache Spark介紹
1.1什么是Spark
1.1.1 Spark革命
1.1.2 MapReduce的缺點(diǎn)
1.1.3 Spark帶來了什么有價(jià)值的東西
1.2 Spark組件
1.2.1 Spark核心
1.2.2 Spark SQL
1.2.3 Spark Streaming
1.2.4 Spark MLlib
1.2.5 Spark GraphX
1.3 Spark程序流
1.4 Spark生態(tài)系統(tǒng)
1.5 建立spark-in-action 虛擬機(jī)
1.5.1下載啟動(dòng)虛擬機(jī)
1.5.2 停止虛擬機(jī)
1.6總結(jié)
第2章 Spark基礎(chǔ)
2.1使用spark-in-action虛擬機(jī)
2.1.1 復(fù)制Spark in Action GitHub存儲(chǔ)庫
2.1.2 找到j(luò)ava
2.1.3 用虛擬機(jī)的Hadoop安裝
2.1.4 檢查虛擬機(jī)的Spark安裝
2.2用Spark shell（殼）編寫第一個(gè)Spark程序
2.2.1 啟動(dòng)Spark shell
2.2.2 第一個(gè)Spark代碼示例
2.2.3 彈性分布式數(shù)據(jù)集的概念
2.3基礎(chǔ)RDD行為和轉(zhuǎn)換
2.3.1 使用用map轉(zhuǎn)換
2.3.2 使用distinct和flatMap 轉(zhuǎn)換
2.3.3 使用sample、take和takeSample操作獲取RDD的元素
2.4 Double RDD功能
2.4.1 Double RDD基本統(tǒng)計(jì)
2.4.2 使用直方圖可視化數(shù)據(jù)分布
2.4.3 近似求和與平均值
2.5 總結(jié)
第3章 編寫Spark應(yīng)用程序
3.1在Eclipse上生成一個(gè)新的Spark項(xiàng)目
3.2開發(fā)應(yīng)用程序
3.2.1 準(zhǔn)備 GitHub 檔案數(shù)據(jù)
3.2.2 加載 JSON
3.2.3 從Eclipse運(yùn)行應(yīng)用
3.2.4 數(shù)據(jù)匯總
3.2.5 排除非公司員工
3.2.6 廣播變量
3.2.7 使用整個(gè)數(shù)據(jù)集
3.3提交應(yīng)用程序
3.3.1 建立uberjar
3.3.2 調(diào)整應(yīng)用程序
3.3.3 使用spark-submit
3.4 總結(jié)
第4章 深入Spark API
4.1使用鍵值對RDD
4.1.1 創(chuàng)建鍵值對RDD
4.1.2 鍵值對RDD的基本功能
4.2了解數(shù)據(jù)分區(qū)和減少數(shù)據(jù)混排
4.2.1 使用spark數(shù)據(jù)分區(qū)器
4.2.2 了解和避免不必要的數(shù)據(jù)混排
4.2.3 RDD重新分區(qū)
4.2.4 在分區(qū)中映射數(shù)據(jù)
4.3 連接、排序、分組數(shù)據(jù)
4.3.1 連接數(shù)據(jù)
4.3.2 數(shù)據(jù)排序
4.3.3 數(shù)據(jù)分組
4.4 理解RDD依賴
4.4.1 RDD依賴和Spark執(zhí)行
4.4.2 Spark階段和任務(wù)
4.4.3 使用檢查點(diǎn)保存Spark譜系
4.5 使用累加器和廣播變量與spark執(zhí)行器進(jìn)行溝通
4.5.1 使用累加器從執(zhí)行器獲取數(shù)據(jù)
4.5.2 使用廣播變量將數(shù)據(jù)發(fā)送數(shù)據(jù)到執(zhí)行器
4.6總結(jié)
第二部分 認(rèn)識Spark家族
第5章 Spark SQL查詢
5.1使用DataFrames
5.1.1 從RDD創(chuàng)建DataFrames
5.1.2 DataFrame API 基礎(chǔ)知識
5.1.3 用SQL函數(shù)執(zhí)行數(shù)據(jù)計(jì)算
5.1.4 使用缺失值
5.1.5 將DataFrames轉(zhuǎn)換為RDD
5.1.6 分組和連接數(shù)據(jù)
5.1.7 執(zhí)行連接
5.2超越DataFrames：引入DataSet
5.3使用SQL命令
5.3.1 表目錄和Hive metastore
5.3.2 執(zhí)行SQL查詢
5.3.3 通過Thrift服務(wù)器連接到Spark SQL
5.4保存并加載DataFrame 數(shù)據(jù)
5.4.1 內(nèi)置數(shù)據(jù)源
5.4.2 保存數(shù)據(jù)
5.4.3 加載數(shù)據(jù)
5.5 Catalyst 優(yōu)化器
5.6 Tungsten性能改進(jìn)
5.7總結(jié)
第6章 使用Spark Streaming提取數(shù)據(jù)
6.1編寫Spark Streaming應(yīng)用程序
6.1.1 介紹示例程序
6.1.2 創(chuàng)建流上下文
6.1.3 創(chuàng)建離散流
6.1.4 使用離散流
6.1.5 把結(jié)果保存到文檔
6.1.6 啟動(dòng)和停止流計(jì)算
6.1.7 隨著保存計(jì)算狀態(tài)
6.1.8 使用窗口操作進(jìn)行限制計(jì)算
6.1.9 檢查其他內(nèi)置輸入流
6.2使用外部數(shù)據(jù)源
6.2.1 設(shè)置kafka
6.2.2 使用kafka更改流應(yīng)用程序
6.3 Spark Streaming任務(wù)的性能
6.3.1 獲得良好的性能
6.3.2 實(shí)現(xiàn)容錯(cuò)
6.4結(jié)構(gòu)化流
6.4.1 創(chuàng)建流式DataFrame
6.4.2 輸出流數(shù)據(jù)
6.4.3 檢查流執(zhí)行
6.4.4 結(jié)構(gòu)化流的未來方向
6.5總結(jié)
第7章 使用MLlib變聰明
7.1機(jī)器學(xué)習(xí)簡介
7.1.1 機(jī)器學(xué)習(xí)的定義
7.1.2 機(jī)器學(xué)習(xí)算法分類
7.1.3 使用Spark進(jìn)行機(jī)器學(xué)習(xí)
7.2 Spark中的線性代數(shù)
7.2.1 本地向量與矩陣實(shí)現(xiàn)
7.2.2 分布式矩陣
7.3線性回歸
7.3.1 有關(guān)線性回歸
7.3.2 簡單的線性回歸
7.3.3 將模型擴(kuò)展到多元線性回歸
7.4分析和準(zhǔn)備數(shù)據(jù)
7.4.1 分析數(shù)據(jù)分布
7.4.2 分析列余弦相似性
7.4.3 協(xié)方差矩陣的計(jì)算
7.4.4 轉(zhuǎn)化為標(biāo)記點(diǎn)
7.4.5 拆分?jǐn)?shù)據(jù)
7.4.6 特征縮放和平均歸一化
7.5擬合和使用線性回歸模型
7.5.1 預(yù)測目標(biāo)值
7.5.2 評估模型性能
7.5.3 解釋模型參數(shù)
7.5.4 加載和保存模型
7.6調(diào)整算法
7.6.1 找到正確的步長和迭代次數(shù)
7.6.2 添加高階多項(xiàng)式
7.6.3 偏差-方差權(quán)衡和模型復(fù)雜度
7.6.4 繪制殘差圖
7.6.5 利用正則化避免過度擬合
7.6.6 k折交叉驗(yàn)證
7.7優(yōu)化線性回歸
7.7.1 小批量隨機(jī)梯度下降
7.7.2 LBFGS優(yōu)化
7.8總結(jié)
八、ML：分類和聚類
8.1 Spark ML 圖書館
8.1.1 估計(jì)器，變壓器和評估器
8.1.2 ML參數(shù)
8.1.3 ML管道
8.2邏輯回歸
8.2.1 二元邏輯回歸模型
8.2.2準(zhǔn)備數(shù)據(jù)在Spark中使用邏輯回歸
8.2.3 訓(xùn)練模型
8.2.4 評估分類模型
8.2.5 執(zhí)行k折交叉驗(yàn)證
8.2.6 多類邏輯回歸
8.3決策樹和隨機(jī)森林
8.3.1 決策樹
8.3.2 隨機(jī)森林
8.4使用k均值聚類
8.4.1 k均值聚類
8.5總結(jié)
第9章 使用GraphX連接點(diǎn)
9.1 Spark圖處理
9.1.1 使用GraphX API構(gòu)造圖
9.1.2 轉(zhuǎn)換圖
9.2圖算法
9.2.1 數(shù)據(jù)集的介紹
9.2.2 最短路徑算法
9.2.3 頁面排名
9.2.4 連通分量
9.2.5 強(qiáng)連通分量
9.3實(shí)現(xiàn)A *搜索算法
9.3.1 了解A *搜索算法
9.3.2 實(shí)現(xiàn)A *搜索算法
9.3.3 測試實(shí)現(xiàn)
9.4總結(jié)
第3部分 Spark ops
第10章 運(yùn)行Spark
10.1 Spark的運(yùn)行時(shí)架構(gòu)概述
10.1.1 Spark運(yùn)行組件
10.1.2 Spark集群類型
10.2作業(yè)與資源調(diào)度
10.2.1 集群資源調(diào)度
10.2.2 Spark作業(yè)調(diào)度
10.2.3 數(shù)據(jù)局部性考慮
10.2.4 Spark內(nèi)存調(diào)度
10.3配置Spark
10.3.1 Spark配置文件
10.3.2 命令行參數(shù)
10.3.3 系統(tǒng)環(huán)境變量
10.3.4 譯編程方式設(shè)置配置
10.3.5 master參數(shù)
10.3.6 查看所有配置的參數(shù)
10.4 Spark Web UI （網(wǎng)絡(luò)用戶界面）
10.4.1 Jobs（作業(yè)）頁面
10.4.2 Stages（階段）頁面
10.4.3 Storage（存儲(chǔ)）頁面
10.4.4 Environment（環(huán)境）頁面
10.4.5 Executors（執(zhí)行器）頁面
10.5在本地機(jī)器運(yùn)行Spark
10.5.1 本地模式
10.5.2 本地集群模式
10.6總結(jié)
第11章 在Spark獨(dú)立集群上運(yùn)行
11.1 Spark Standalone集群組件
11.1.1 啟動(dòng)Stanalone集群
11.1.2 用shell腳本啟動(dòng)群集
11.1.3 手動(dòng)啟動(dòng)集群
11.1.4 查看Spark進(jìn)程
11.1.5 Standalone master高可用性和恢復(fù)
11.3 Standalone集群網(wǎng)絡(luò)用戶界面
11.4 在3Standalone集群中運(yùn)行應(yīng)用程序
11.4.1 驅(qū)動(dòng)器的位置
11.4.2 指定執(zhí)行器的數(shù)量
11.4.3 指定額外的類路徑和文件
11.4.4 終止應(yīng)用程序
11.4.5 應(yīng)用程序自動(dòng)重啟
11.5 Spark歷史記錄服務(wù)器和事件日志記錄
11.6 在Amazon EC2上運(yùn)行
11.6.1 先決條件
11.6.2 創(chuàng)建一個(gè)E2C獨(dú)立集群
11.6.3 使用E2C集群
11.6.4 銷毀集群
11.7 總結(jié)
第12章 在YARN and Mesos運(yùn)行
12.1 在YARN上運(yùn)行Spark
12.1.1 YARN架構(gòu)
12.1.2 安裝配置啟動(dòng)YARN
12.1.3 YARN中的資源調(diào)度
12.1.4 向YARN提交Spark應(yīng)用程序
12.1.5 在YARN上配置Spark
12.1.6 為Spark工作配置資源
12.1.7 YARN UI
12.1.8 在YARN上尋找日志
12.1.9 安全注意事項(xiàng)
12.1.10 動(dòng)態(tài)資源分配
12.2在Mesos上運(yùn)行Spark
12.2.1 Mesos架構(gòu)
12.2.2 安裝配置Mesos
12.2.3 Mesos Web UI
12.2.4 Mesos資源調(diào)度
12.2.5 向Mesos提交Spark應(yīng)用程序
12.2.6 使用 Docker運(yùn)行Spark
12.3總結(jié)
第4部分 協(xié)同使用
第13章 實(shí)例學(xué)習(xí)：實(shí)時(shí)儀表盤
13.1了解用例
13.1.1 概況
13.1.2 了解應(yīng)用程序組件
13.2 運(yùn)行應(yīng)用程序
13.2.1 在spark-in-action VM中運(yùn)行應(yīng)用程序
13.2.2 手動(dòng)啟動(dòng)應(yīng)用程序
13.3 理解源代碼
13.3.1 KafkaLogsSimulator項(xiàng)目
13.3.2 Streaming Log Analyzer項(xiàng)目
13.3.3 Web統(tǒng)計(jì)信息顯示板項(xiàng)目
13.3.4 建設(shè)項(xiàng)目
13.4總結(jié)
第14章 H20深入學(xué)習(xí)Spark
14.1什么是深入學(xué)習(xí)
14.2 在Spark中使用H2O和
14.2.1 什么是H2O
14.4.2 在Spark中啟動(dòng)Sparkling Water
14.4.3 啟動(dòng)H2O集群
14.4.4 訪問Flow UI
14.3 使用H2O的深度學(xué)習(xí)進(jìn)行回歸
14.4.3 將數(shù)據(jù)加載到H2O框架中
14.4.4 使用Flow UI構(gòu)建和評估深度學(xué)習(xí)模型
14.4.5 使用Sparkling Water API構(gòu)建和評估深度學(xué)習(xí)模型
14.4使用H2O的深度學(xué)習(xí)進(jìn)行分類
14.4.1 加載和拆分?jǐn)?shù)據(jù)
14.4.2 通過Flow UI 建造模型
14.4.3 通過Sparkling Water API建造模型
14.4.4 停止H2O集群
14.5總結(jié)
附錄A 安裝Apache Spark
附錄B 了解MapReduce
附錄C 線性代數(shù)基礎(chǔ)