目錄

前言
項目1 Hadoop 安裝
1.1 大數(shù)據(jù)認(rèn)知
1.1.1 大數(shù)據(jù)是什么
1.1.2 大數(shù)據(jù)應(yīng)用領(lǐng)域
1.1.3 大數(shù)據(jù)的特點
1.1.4 大數(shù)據(jù)的技術(shù)架構(gòu)
1.2 Hadoop 認(rèn)知
1.2.1 Hadoop 起源
1.2.2 Hadoop 的特點
1.2.3 Hadoop 生態(tài)圈
1.2.4 Hadoop 核心架構(gòu)
項目實現(xiàn)
任務(wù)1 安裝前準(zhǔn)備
任務(wù)2 虛擬機的安裝
任務(wù)3 Ubuntu 的安裝
任務(wù)4 解壓與壓縮命令
任務(wù)5 JDK 安裝和配置
任務(wù)6 Hadoop 的安裝
拓展項目
課后練習(xí)
項目2 Hadoop 集群部署
2.1 Linux 環(huán)境設(shè)置
2.1.1 Linux 常用命令
2.1.2 用戶（組）創(chuàng)建
2.1.3 FileZilla 文件傳輸
2.1.4 apt 更新
2.1.5 vim 編輯器的應(yīng)用
2.1.6 網(wǎng)絡(luò)配置
2.2 Hadoop 配置文件
2.2.1 環(huán)境變量的配置
2.2.2 SSH 安裝
2.2.3 core-site.xml 配置文件
2.2.4 hdfs-site.xml 配置文件
2.2.5 Hadoop 偽分布式運行實例
2.3 YARN 認(rèn)知
2.3.1 初識YARN
2.3.2 YARN 基本服務(wù)組件
2.3.3 YARN 執(zhí)行過程
項目實現(xiàn)
任務(wù)1 部署前準(zhǔn)備
任務(wù)2 集群網(wǎng)絡(luò)配置
任務(wù)3 配置文件的設(shè)置
任務(wù)4 集群部署
拓展項目
課后練習(xí)
項目3 HDFS-電影信息管理
3.1 HDFS 認(rèn)知
3.1.1 HDFS 簡介
3.1.2 HDFS 特點
3.1.3 HDFS 設(shè)計原則
3.1.4 HDFS 核心概念
3.2 HDFS 常用Shell 命令和基礎(chǔ)編程開發(fā)
3.2.1 HDFS 常用Shell 命令
3.2.2 用HDFS API 實現(xiàn)上傳本地文件
3.2.3 用HDFS API 實現(xiàn)創(chuàng)建HDFS 文件
3.2.4 用HDFS API 實現(xiàn)讀取和寫入文件
3.2.5 用HDFS API 實現(xiàn)創(chuàng)建HDFS 目錄
3.2.6 用HDFS API 實現(xiàn)查找文件所在位置
3.3 HDFS 工作機制
3.3.1 HDFS 寫數(shù)據(jù)流程
3.3.2 HDFS 讀數(shù)據(jù)流程
3.3.3 NameNode 工作機制
3.3.4 DataNode 工作機制
項目實現(xiàn)
任務(wù)1 環(huán)境搭建
任務(wù)2 寫入電影信息
任務(wù)3 讀取電影信息
拓展項目
課后練習(xí)
項目4 用MapReduce 統(tǒng)計網(wǎng)站最大訪問次數(shù)
4.1 MapReduce 認(rèn)知
4.1.1 MapReduce 的由來
4.1.2 MapReduce 的執(zhí)行過程
4.1.3 Mapper 過程
4.1.4 Reduce 過程
4.1.5 Shuffle 過程
4.2 MapReduce 程序開發(fā)
4.2.1 IDEA 安裝
4.2.2 MapReduce 輸入/輸出類型
4.2.3 MapReduce 輸入處理類
4.2.4 MapReduce 輸出處理類
4.2.5 典型案例：WordCount
項目實現(xiàn)
任務(wù)1 POJO 類編寫
任務(wù)2 Map 網(wǎng)站訪問數(shù)據(jù)
任務(wù)3 Reduce 網(wǎng)站訪問數(shù)據(jù)
任務(wù)4 項目驅(qū)動類編寫
拓展項目
課后練習(xí)
項目5 用MapReduce 實現(xiàn)課程名稱和成績的二次排序
5.1 MapReduce 高級開發(fā)一
5.1.1 Combiner 合并編程
5.1.2 Partitioner 分區(qū)編程
5.1.3 RecordReader 編程
5.2 MapReduce 高級開發(fā)二
5.2.1 MapReduce 連接操作
5.2.2 MapReduce 排序操作
5.2.3 MapReduce 多文件聯(lián)合查詢
項目實現(xiàn)
任務(wù)1 POJO 類編寫
任務(wù)2 Map 課程和成績數(shù)據(jù)
任務(wù)3 Reduce 課程和成績數(shù)據(jù)
任務(wù)4 項目驅(qū)動類編寫
拓展項目
課后練習(xí)
項目6 用Hive 實現(xiàn)購物用戶數(shù)據(jù)清洗
6.1 Hive 認(rèn)知
6.1.1 Hive 簡介
6.1.2 Hive 體系結(jié)構(gòu)
6.1.3 Hive 設(shè)計特征
6.2 Hive 安裝
6.2.1 偽分布式安裝與配置Hive
6.2.2 安裝與配置MySQL
6.3 Hive 基本操作
6.3.1 Hive 數(shù)據(jù)類型
6.3.2 數(shù)據(jù)庫操作
6.3.3 內(nèi)部表操作
6.3.4 外部表操作
6.3.5 分區(qū)表操作
6.3.6 分桶表操作
6.3.7 Hive 數(shù)據(jù)操作
項目實現(xiàn)
任務(wù)1 導(dǎo)入數(shù)據(jù)
任務(wù)2 數(shù)據(jù)分析
任務(wù)3 數(shù)據(jù)導(dǎo)出
拓展項目
課后練習(xí)
項目7 用HBase 實現(xiàn)學(xué)生成績管理
7.1 HBase 認(rèn)知
7.1.1 HBase 簡介
7.1.2 HBase 體系結(jié)構(gòu)
7.1.3 HBase 寫數(shù)據(jù)流程
7.1.4 HBase 讀數(shù)據(jù)流程
7.2 HBase 安裝
7.2.1 下載軟件
7.2.2 偽分布式安裝與配置
7.3 HBase shell 操作命令
7.3.1 HBase 數(shù)據(jù)模型
7.3.2 數(shù)據(jù)表空間操作
7.3.3 數(shù)據(jù)表操作
7.3.4 數(shù)據(jù)操作
7.4 HBase API 操作
7.4.1 HBase 常用的API
7.4.2 Configuration 對象
7.4.3 HTable 句柄創(chuàng)建
7.4.4 HBase 數(shù)據(jù)的CRUD 操作
項目實現(xiàn)
任務(wù)1 學(xué)生成績表數(shù)據(jù)準(zhǔn)備
任務(wù)2 學(xué)生成績表設(shè)計分析
任務(wù)3 學(xué)生成績表代碼實現(xiàn)
拓展項目
課后練習(xí)
項目8 Sqoop 導(dǎo)入導(dǎo)出
8.1 概述
8.1.1 Sqoop 產(chǎn)生背景
8.1.2 Sqoop 是什么
8.1.3 為什么選擇 Sqoop
8.2 工作原理
8.2.1 導(dǎo)入機制
8.2.2 導(dǎo)出機制
8.3 安裝
8.4 Sqoop 的基本命令
8.4.1 基本操作
8.4.2 示例
項目實現(xiàn)
任務(wù)1 從RDBMS 導(dǎo)入到HDFS
任務(wù)2 從MySQL 導(dǎo)入到Hive
任務(wù)3 從MySQL 導(dǎo)入到HBase
課后練習(xí)
Hadoop 綜合實例—網(wǎng)絡(luò)交易數(shù)據(jù)統(tǒng)計
9.1 項目概述
9.1.1 項目實現(xiàn)的思路
9.1.2 項目流程
9.2 準(zhǔn)備工作
9.2.1 項目環(huán)境的搭建
9.2.2 Hadoop+HBase+Hive 集成
9.2.3 HBase 數(shù)據(jù)庫設(shè)計原則
9.2.4 數(shù)據(jù)概況
項目實現(xiàn)
項目9
任務(wù)1 POJO 類編寫
任務(wù)2 統(tǒng)計不同品牌手機的銷售數(shù)量
任務(wù)3 統(tǒng)計不同品牌手機銷量和銷售額占比
任務(wù)4 統(tǒng)計某年每個月的手機銷售數(shù)量的比例
任務(wù)5 統(tǒng)計每個月份各市區(qū)縣的手機銷售數(shù)量
任務(wù)6 統(tǒng)計購買手機的男女比例
任務(wù)7 統(tǒng)計不同手機品牌購買用戶的年齡區(qū)間人數(shù)
課后練習(xí)