第 1章 大數(shù)據(jù)項(xiàng)目概述 1
學(xué)習(xí)目標(biāo)　1
1.1　企業(yè)大數(shù)據(jù)項(xiàng)目簡(jiǎn)介　1
1.1.1　數(shù)據(jù)處理流程　1
1.1.2　架構(gòu)分析　2
1.1.3　人員安排　5
1.2　大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)基礎(chǔ)　5
1.2.1　實(shí)戰(zhàn)環(huán)境　5
1.2.2　涉及的技術(shù)及需掌握的能力　11
小結(jié)　20
第　2章 Hadoop生態(tài)組件基礎(chǔ)　21
學(xué)習(xí)目標(biāo)　21
2.1　Hadoop基礎(chǔ)　21
2.1.1　Hadoop概述　21
2.1.2　Hadoop集群安裝與配置　25
2.1.3　Hadoop框架組成　36
2.1.4　Hadoop應(yīng)用實(shí)踐　42
2.2　Hive基礎(chǔ)　45
2.2.1　Hive概述　45
2.2.2　Hive安裝與配置　46
2.2.3　Hive體系架構(gòu)　50
2.2.4　Hive應(yīng)用實(shí)踐　54
2.3　Spark基礎(chǔ)　58
2.3.1　Spark概述　59
2.3.2　Spark集群安裝與配置　63
2.3.3　Spark集群架構(gòu)　66
2.3.4　Spark應(yīng)用實(shí)踐　67
小結(jié)　69
第3章　廣電大數(shù)據(jù)用戶畫像需求分析　70
學(xué)習(xí)目標(biāo)　70
3.1　項(xiàng)目需求　70
3.1.1　項(xiàng)目背景　70
3.1.2　項(xiàng)目目標(biāo)　71
3.2　需求探索　71
3.2.1　數(shù)據(jù)說明　71
3.2.2　基礎(chǔ)探索　76
3.2.3　業(yè)務(wù)需求探索　84
3.3　技術(shù)方案　96
3.3.1　技術(shù)選型　96
3.3.2　系統(tǒng)架構(gòu)　98
小結(jié)　99
第4章　廣電大數(shù)據(jù)用戶畫像數(shù)據(jù)采集與預(yù)處理　101
學(xué)習(xí)目標(biāo)　101
4.1　業(yè)務(wù)數(shù)據(jù)　101
4.1.1　生產(chǎn)數(shù)據(jù)來源　101
4.1.2　模擬產(chǎn)生業(yè)務(wù)數(shù)據(jù)　102
4.2　數(shù)據(jù)存儲(chǔ)與傳輸　119
4.2.1　Elasticsearch數(shù)據(jù)傳輸?shù)紿ive　119
4.2.2　用戶畫像標(biāo)簽結(jié)果保存到MySQL　133
4.3　基礎(chǔ)數(shù)據(jù)預(yù)處理　135
小結(jié)　141
第5章　廣電大數(shù)據(jù)用戶畫像實(shí)時(shí)統(tǒng)計(jì)訂單信息　142
學(xué)習(xí)目標(biāo)　142
5.1　實(shí)時(shí)統(tǒng)計(jì)目標(biāo)　142
5.2　Kafka安裝和配置　142
5.3　實(shí)時(shí)統(tǒng)計(jì)訂單信息　144
5.3.1　模擬產(chǎn)生訂單實(shí)時(shí)數(shù)據(jù)流　144
5.3.2　Spark Streaming實(shí)時(shí)統(tǒng)計(jì)訂單信息　146
小結(jié)　151
第6章　廣電大數(shù)據(jù)用戶畫像用戶標(biāo)簽計(jì)算與可視化　152
學(xué)習(xí)目標(biāo)　152
6.1　SVM預(yù)測(cè)用戶是否值得挽留　152
6.1.1　SVM算法　152
6.1.2　構(gòu)建特征列和標(biāo)簽列數(shù)據(jù)　153
6.1.3　建立SVM模型　159
6.1.4　模型評(píng)估　160
6.1.5　模型預(yù)測(cè)　161
6.1.6　整體實(shí)現(xiàn)及參數(shù)封裝　163
6.2　用戶畫像　168
6.2.1　用戶畫像概述　169
6.2.2　標(biāo)簽計(jì)算　170
6.2.3　用戶畫像工程實(shí)現(xiàn)　179
6.3　用戶畫像可視化　188
6.3.1　用戶畫像可視化簡(jiǎn)介　188
6.3.2　可視化工程實(shí)現(xiàn)　188
6.3.3　結(jié)果展示　192
小結(jié)　195
第7章　廣電大數(shù)據(jù)用戶畫像任務(wù)調(diào)度實(shí)現(xiàn)　196
學(xué)習(xí)目標(biāo)　196
7.1　調(diào)度策略　196
7.2　調(diào)度實(shí)現(xiàn)　199
小結(jié)　227
第8章　基于TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)廣電大數(shù)據(jù)用戶畫像　229
學(xué)習(xí)目標(biāo)　229
8.1　平臺(tái)簡(jiǎn)介　229
8.1.1　模板　230
8.1.2　數(shù)據(jù)空間　231
8.1.3　我的項(xiàng)目　232
8.1.4　系統(tǒng)組件　232
8.1.5　個(gè)人組件　234
8.1.6　訪問TipDM大數(shù)據(jù)挖掘建模平臺(tái)的方式　234
8.2　廣電大數(shù)據(jù)用戶畫像開發(fā)　234
8.2.1　數(shù)據(jù)源配置　236
8.2.2　數(shù)據(jù)探索　238
8.2.3　數(shù)據(jù)處理　239
8.2.4　用戶畫像　241
小結(jié)　249