劍指大數(shù)據(jù)——企業(yè)級(jí)數(shù)據(jù)倉庫項(xiàng)目實(shí)戰(zhàn)（金融租賃版）
定 價(jià)：79 元
叢書名：程序員硬核技術(shù)叢書
- 作者：尚硅谷教育
- 出版時(shí)間：2024/5/1
- ISBN：9787121476914
- 出 版 社：電子工業(yè)出版社
- 中圖法分類：TP311.13
- 頁碼：244
- 紙張：
- 版次：01
- 開本：16開
本書從需求規(guī)劃、需求實(shí)現(xiàn)到可視化展示等，遵循項(xiàng)目開發(fā)的主要流程，全景介紹了金融租賃行業(yè)離線數(shù)據(jù)倉庫的搭建過程。在整個(gè)數(shù)據(jù)倉庫的搭建過程中，介紹了主要組件的安裝部署、需求實(shí)現(xiàn)的具體思路、問題的解決方案等，并在其中穿插了許多大數(shù)據(jù)和數(shù)據(jù)倉庫相關(guān)的理論知識(shí)，包括數(shù)據(jù)倉庫的概念介紹、金融租賃業(yè)務(wù)概述、數(shù)據(jù)倉庫理論介紹和數(shù)據(jù)倉庫建模等。本書的第1章至第3章是項(xiàng)目前期準(zhǔn)備階段，主要為讀者介紹了數(shù)據(jù)倉庫的概念、應(yīng)用場景和搭建需求等，并初步搭建了數(shù)據(jù)倉庫項(xiàng)目所需的基本環(huán)境；第4章至第5章是數(shù)據(jù)倉庫搭建的核心部分，詳細(xì)為讀者講解了數(shù)據(jù)倉庫建模理論和數(shù)據(jù)從采集到分層搭建的全過程，是本書的重點(diǎn)；第6章至第7章介紹了全流程調(diào)度和指標(biāo)可視化。
尚硅谷教育是一家專業(yè)的IT教育培訓(xùn)機(jī)構(gòu)，開設(shè)了JavaEE、大數(shù)據(jù)、HTML5前端等多門學(xué)科，在互聯(lián)網(wǎng)上發(fā)布的JavaEE、大數(shù)據(jù)、HTML5前端、區(qū)塊鏈、C語言、Python等技術(shù)視頻教程廣受贊譽(yù)。
第1章 數(shù)據(jù)倉庫概論 1
1.1 數(shù)據(jù)倉庫的概念與特點(diǎn) 1
1.2 數(shù)據(jù)倉庫的演進(jìn)過程 2
1.3 數(shù)據(jù)倉庫技術(shù) 3
1.4 數(shù)據(jù)倉庫基本架構(gòu) 5
1.5 數(shù)據(jù)庫和數(shù)據(jù)倉庫的區(qū)別 8
1.6 學(xué)前導(dǎo)讀 9
1.6.1 學(xué)習(xí)的基礎(chǔ)要求 9
1.6.2 你將學(xué)到什么 9
1.7 本章總結(jié) 9
第2章 項(xiàng)目需求描述 11
2.1 前期調(diào)研 11
2.2 項(xiàng)目架構(gòu)分析 12
2.2.1 金融租賃行業(yè)簡介 12
2.2.2 金融租賃數(shù)據(jù)倉庫產(chǎn)品描述 12
2.2.3 系統(tǒng)功能結(jié)構(gòu) 13
2.2.4 系統(tǒng)流程圖 14
2.3 項(xiàng)目業(yè)務(wù)概述 14
2.3.1 數(shù)據(jù)采集模塊業(yè)務(wù)描述 14
2.3.2 數(shù)據(jù)倉庫需求業(yè)務(wù)描述 15
2.3.3 數(shù)據(jù)可視化業(yè)務(wù)描述 17
2.4 系統(tǒng)運(yùn)行環(huán)境 18
2.4.1 硬件環(huán)境 18
2.4.2 軟件環(huán)境 19
2.5 本章總結(jié) 21
第3章 項(xiàng)目部署的環(huán)境準(zhǔn)備 22
3.1 集群規(guī)劃與服務(wù)器配置 22
3.2 安裝JDK與Hadoop 22
3.2.1 準(zhǔn)備虛擬機(jī)環(huán)境 22
3.2.2 安裝JDK 26
3.2.3 安裝Hadoop 27
3.2.4 Hadoop的分布式集群部署 28
3.3 本章總結(jié) 35
第4章 業(yè)務(wù)數(shù)據(jù)采集模塊 36
4.1 金融租賃業(yè)務(wù)概述 36
4.1.1 金融租賃業(yè)務(wù)流程 36
4.1.2 業(yè)務(wù)表結(jié)構(gòu) 40
4.2 數(shù)據(jù)同步 43
4.2.1 數(shù)據(jù)同步策略 43
4.2.2 數(shù)據(jù)同步工具選擇 45
4.3 環(huán)境準(zhǔn)備 46
4.3.1 安裝DataX 46
4.3.2 安裝Maxwell 47
4.3.3 安裝ZooKeeper 52
4.3.4 安裝Kafka 54
4.3.5 安裝Flume 57
4.4 模擬業(yè)務(wù)數(shù)據(jù) 59
4.4.1 MySQL安裝 59
4.4.2 數(shù)據(jù)模擬 61
4.5 業(yè)務(wù)數(shù)據(jù)的采集 62
4.5.1 全量同步 62
4.5.2 增量同步 67
4.6 采集通道啟動(dòng)和停止腳本 76
4.7 本章總結(jié) 77
第5章 數(shù)據(jù)倉庫搭建模塊 78
5.1 數(shù)據(jù)倉庫理論準(zhǔn)備 78
5.1.1 數(shù)據(jù)建模概述 78
5.1.2 關(guān)系模型與范式理論 79
5.1.3 維度模型 82
5.1.4 維度建模理論之事實(shí)表 83
5.1.5 維度建模理論之維度表 86
5.1.6 星形模型、雪花模型與星座模型 89
5.2 數(shù)據(jù)倉庫建模實(shí)踐 91
5.2.1 名詞概念 91
5.2.2 為什么要分層 92
5.2.3 數(shù)據(jù)倉庫搭建流程 93
5.2.4 數(shù)據(jù)倉庫開發(fā)規(guī)范 97
5.3 數(shù)據(jù)倉庫搭建環(huán)境準(zhǔn)備 101
5.3.1 Hive安裝 101
5.3.2 Hive on Spark配置 104
5.3.3 YARN容量調(diào)度器并發(fā)度問題 106
5.3.4 數(shù)據(jù)倉庫開發(fā)環(huán)境配置 106
5.3.5 模擬數(shù)據(jù)準(zhǔn)備 109
5.3.6 復(fù)雜數(shù)據(jù)類型 111
5.4 數(shù)據(jù)倉庫搭建——ODS層 112
5.4.1 ODS層表格的創(chuàng)建 112
5.4.2 ODS層業(yè)務(wù)數(shù)據(jù)導(dǎo)入腳本 116
5.5 數(shù)據(jù)倉庫搭建——DIM層 117
5.5.1 部門維度表（全量） 117
5.5.2 員工維度表（全量） 119
5.5.3 行業(yè)維度表（全量） 120
5.5.4 DIM層每日數(shù)據(jù)裝載腳本 121
5.6 數(shù)據(jù)倉庫搭建——DWD層 121
5.6.1 審批域金融租賃全流程累積快照事實(shí)表 121
5.6.2 DWD層首日數(shù)據(jù)裝載腳本 133
5.6.3 DWD層每日數(shù)據(jù)裝載腳本 133
5.7 數(shù)據(jù)倉庫搭建——ADS層 133
5.7.1 待審/在審項(xiàng)目主題指標(biāo) 133
5.7.2 已審項(xiàng)目主題指標(biāo) 154
5.7.3 已審項(xiàng)目轉(zhuǎn)化主題指標(biāo) 167
5.7.4 ADS層數(shù)據(jù)導(dǎo)入腳本 170
5.8 數(shù)據(jù)模型評(píng)估及優(yōu)化 170
5.9 本章總結(jié) 171
第6章 DolphinScheduler全流程調(diào)度 172
6.1 DolphinScheduler概述與安裝部署 172
6.1.1 DolphinScheduler概述 172
6.1.2 DolphinScheduler安裝部署 173
6.2 創(chuàng)建MySQL數(shù)據(jù)庫和表 179
6.3 DataX數(shù)據(jù)導(dǎo)出 188
6.4 全流程調(diào)度 192
6.4.1 數(shù)據(jù)準(zhǔn)備 192
6.4.2 全流程調(diào)度配置 192
6.5 電子郵件報(bào)警 198
6.5.1 注冊郵箱 198
6.5.2 配置電子郵件報(bào)警 199
6.6 本章總結(jié) 202
第7章 數(shù)據(jù)可視化模塊 203
7.1 部署FineBI 203
7.1.1 安裝 203
7.1.2 初始化 205
7.2 數(shù)據(jù)源的配置 210
7.2.1 配置數(shù)據(jù)連接 210
7.2.2 配置數(shù)據(jù)源 213
7.3 制作圖表 215
7.3.1 制作堆積柱狀圖 215
7.3.2 制作餅狀圖 219
7.3.3 制作多系列柱狀圖 227
7.3.4 制作儀表板 229
7.4 本章總結(jié) 234
書單推薦
