數(shù)據(jù)治理是一門實踐中的學(xué)問。本書輕理論、重實踐,是一份實用的數(shù)據(jù)治理指南,涉及數(shù)據(jù)治理組織、管理制度、流程規(guī)范、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)安全與隱私等主題。全書共分為3篇,第一篇包含第1章和第2章,介紹數(shù)據(jù)治理的理論與方法;第二篇包含第3章至第6章,介紹數(shù)據(jù)治理的平臺建設(shè)與工具;第三篇包含第7章至第9章,介紹不同場景下的數(shù)據(jù)治理案例,通過案例場景細(xì)節(jié)解讀和工作步驟闡述,幫助讀者將數(shù)據(jù)治理理論轉(zhuǎn)化為切實可行的解決方案和行動策略。本書適合數(shù)據(jù)管理專家、企業(yè)決策者、數(shù)據(jù)治理從業(yè)者,以及對數(shù)據(jù)治理感興趣的人士閱讀。
蘇振中,資深企業(yè)數(shù)智化轉(zhuǎn)型專家,具有20年以上的企業(yè)信息化從業(yè)經(jīng)歷,在To B領(lǐng)域的大型企業(yè)數(shù)字化轉(zhuǎn)型、項目實施方面經(jīng)驗豐富,對大規(guī)模多云混合、物聯(lián)網(wǎng)、大數(shù)據(jù)等復(fù)雜IT系統(tǒng)架構(gòu)技術(shù)和數(shù)據(jù)治理有較為深入的理解,曾參與中國燃?xì)庑铝闶邸⒀诺、國藥器械、豫園、中國龍工等多個知名企業(yè)的數(shù)字化轉(zhuǎn)型項目。任職經(jīng)歷:埃林哲產(chǎn)品專家、行業(yè)總監(jiān)、創(chuàng)新事業(yè)部部長、系統(tǒng)開發(fā)部部長,上海甘仁信息科技CTO,IBM高級系統(tǒng)架構(gòu)師。劉永強,項目管理數(shù)智化咨詢顧問,PMP認(rèn)證、EXIN的Scrum認(rèn)證、微軟MCE認(rèn)證,并取得了人力資源和社會保障部、工業(yè)和信息化部的系統(tǒng)集成項目管理工程師證書,曾為眾多知名企業(yè)提供項目管理領(lǐng)域的培訓(xùn)咨詢及數(shù)智化構(gòu)建服務(wù),包括佳貝艾特、康師傅、中國移動、杉杉能源、中航工業(yè)等上百家企業(yè),致力于通過專業(yè)的項目管理咨詢和數(shù)智化解決方案,助力企業(yè)構(gòu)建核心競爭力。
第一篇 理論與方法
第1章 為什么數(shù)據(jù)治理如此重要 2
1.1 科技特征及演化趨勢 3
1.1.1 組織進(jìn)化與數(shù)智化轉(zhuǎn)型 6
1.1.2 技術(shù)進(jìn)化與劇烈“內(nèi)卷” 10
1.1.3 數(shù)據(jù)消費場景的演進(jìn) 11
1.2 數(shù)據(jù)資產(chǎn)的特征 15
1.2.1 通用資產(chǎn)的特征 15
1.2.2 數(shù)據(jù)的保鮮期 16
1.2.3 數(shù)據(jù)可能是負(fù)資產(chǎn) 17
1.2.4 數(shù)據(jù)資產(chǎn)的特殊性 17
1.3 數(shù)據(jù)之“痛”,“痛”在哪里 18
1.3.1 找不到關(guān)鍵數(shù)據(jù) 20
1.3.2 數(shù)據(jù)質(zhì)量差 21
1.3.3 分析手段舊 23
1.3.4 分析效率低 24
1.3.5 數(shù)據(jù)雜亂 25
1.3.6 響應(yīng)業(yè)務(wù)變化慢 26
1.3.7 非結(jié)構(gòu)化數(shù)據(jù)的信息密度低 27
1.4 數(shù)據(jù)治理,治理什么 28
1.4.1 改善數(shù)據(jù)質(zhì)量 29
1.4.2 優(yōu)化數(shù)據(jù)時效 30
1.4.3 提升數(shù)據(jù)消費 30
1.4.4 貫徹數(shù)據(jù)標(biāo)準(zhǔn) 31
1.4.5 降低持有成本 31
1.4.6 完善治理組織 32
1.5 本章小結(jié) 32
第2章 敏捷數(shù)據(jù)治理方法論 33
2.1 什么是敏捷數(shù)據(jù)治理 34
2.1.1 統(tǒng)計報表的局限性 36
2.1.2 非數(shù)字原生企業(yè)的轉(zhuǎn)型挑戰(zhàn) 39
2.1.3 常見數(shù)據(jù)治理框架的局限性 40
2.1.4 數(shù)據(jù)標(biāo)準(zhǔn)化面臨的困難 42
2.1.5 數(shù)據(jù)治理的常見誤區(qū) 43
2.2 敏捷數(shù)據(jù)治理的總體框架、執(zhí)行要點及主要特性 45
2.2.1 敏捷數(shù)據(jù)治理的總體框架 46
2.2.2 敏捷數(shù)據(jù)治理的執(zhí)行要點 49
2.2.3 敏捷數(shù)據(jù)治理的主要特性 52
2.3 確定目標(biāo)、厘清現(xiàn)狀 53
2.3.1 調(diào)研及評估 54
2.3.2 如何獲得高層管理者的支持 56
2.3.3 如何獲得業(yè)務(wù)部門的支持 58
2.3.4 常見的數(shù)據(jù)治理切入點 60
2.4 數(shù)據(jù)治理平臺規(guī)劃 65
2.4.1 有效的數(shù)據(jù)治理計劃 66
2.4.2 技術(shù)路徑選擇 70
2.4.3 組織保障體系 72
2.5 本章小結(jié) 75
第二篇 平臺建設(shè)與工具
第3章 敏捷數(shù)據(jù)治理平臺的技術(shù)規(guī)劃 78
3.1 技術(shù)框架的總體思考 79
3.1.1 彼之蜜糖,汝之砒霜 80
3.1.2 數(shù)據(jù)的處理與存儲方式 83
3.1.3 數(shù)據(jù)庫、數(shù)據(jù)倉庫與數(shù)據(jù)中臺 86
3.1.4 數(shù)據(jù)特性的治理差異 88
3.1.5 云原生 89
3.1.6 微服務(wù) 90
3.1.7 應(yīng)用性能監(jiān)控 91
3.2 數(shù)據(jù)存儲 92
3.2.1 規(guī)劃要點 93
3.2.2 存儲備份 94
3.2.3 實操經(jīng)驗 96
3.3 數(shù)據(jù)技術(shù)底座 98
3.3.1 公有云套件 99
3.3.2 私有化部署 101
3.4 數(shù)據(jù)ETL 103
3.4.1 多源異構(gòu) 104
3.4.2 任務(wù)調(diào)度 105
3.4.3 數(shù)據(jù)清洗 106
3.5 產(chǎn)品選型建議 107
3.5.1 技術(shù)架構(gòu) 108
3.5.2 成本預(yù)算 110
3.5.3 供應(yīng)商綜合實力 112
3.6 本章小結(jié) 114
第4章 敏捷數(shù)據(jù)治理平臺的功能分析 115
4.1 智能數(shù)據(jù)應(yīng)用 115
4.1.1 自助式BI分析 116
4.1.2 數(shù)據(jù)分析洞察 118
4.1.3 數(shù)據(jù)預(yù)警 120
4.2 數(shù)據(jù)指標(biāo)體系 121
4.2.1 數(shù)據(jù)梳理:自上而下 122
4.2.2 數(shù)據(jù)梳理:自下而上 125
4.2.3 可視化指標(biāo)管理 127
4.3 模型構(gòu)建 129
4.3.1 指標(biāo)模型 130
4.3.2 數(shù)據(jù)模型 136
4.3.3 算法模型 138
4.3.4 展示模型 140
4.4 主數(shù)據(jù)管理 143
4.4.1 主數(shù)據(jù)編碼 144
4.4.2 主數(shù)據(jù)集成 148
4.4.3 主數(shù)據(jù)范圍識別及難點分析 149
4.5 元數(shù)據(jù)管理 153
4.5.1 應(yīng)用場景 156
4.5.2 難點及案例分析 156
4.6 數(shù)據(jù)標(biāo)準(zhǔn)管理 160
4.6.1 標(biāo)準(zhǔn)制定 162
4.6.2 標(biāo)準(zhǔn)落地 163
4.6.3 常見問題 170
4.6.4 難點分析 172
4.6.5 術(shù)語辨析 175
4.7 數(shù)據(jù)質(zhì)量管理 177
4.7.1 質(zhì)量指標(biāo) 178
4.7.2 事前預(yù)防 180
4.7.3 事中控制 181
4.7.4 事后補救 181
4.7.5 難點分析 183
4.8 本章小結(jié) 184
第5章 數(shù)據(jù)治理項目的落地實施 185
5.1 項目實施過程管理 187
5.1.1 項目啟動 188
5.1.2 例行會議 189
5.1.3 管理要點 190
5.2 長效運營與持續(xù)改善 192
5.2.1 組織挑戰(zhàn) 193
5.2.2 文化挑戰(zhàn) 194
5.3 項目實踐中的難點 195
5.4 本章小結(jié) 199
第6章 數(shù)據(jù)治理工具箱 201
6.1 數(shù)據(jù)ETL工具 203
6.1.1 功能與特點 204
6.1.2 開源ETL產(chǎn)品 206
6.1.3 商業(yè)ETL產(chǎn)品 208
6.1.4 缺陷評述 209
6.1.5 選型建議 210
6.2 主數(shù)據(jù)管理工具 212
6.2.1 功能與特點 212
6.2.2 開源MDM產(chǎn)品 214
6.2.3 商業(yè)MDM產(chǎn)品 214
6.2.4 缺陷評述 215
6.2.5 選型建議 216
6.3 元數(shù)據(jù)管理工具 218
6.3.1 功能與特點 219
6.3.2 開源元數(shù)據(jù)管理產(chǎn)品 220
6.3.3 商業(yè)元數(shù)據(jù)管理產(chǎn)品 221
6.3.4 缺陷評述 222
6.3.5 選型建議 224
6.4 數(shù)據(jù)標(biāo)準(zhǔn)管理工具 224
6.4.1 功能與特點 225
6.4.2 產(chǎn)品介紹 226
6.5 數(shù)據(jù)質(zhì)量管理工具 226
6.5.1 功能與特點 227
6.5.2 開源數(shù)據(jù)質(zhì)量管理產(chǎn)品 229
6.5.3 商業(yè)數(shù)據(jù)質(zhì)量管理產(chǎn)品 230
6.5.4 缺陷評述 231
6.5.5 選型建議 232
6.6 數(shù)據(jù)共享與開放工具 233
6.6.1 數(shù)據(jù)資產(chǎn)目錄 233
6.6.2 BI報表 236
6.7 本章小結(jié) 241
第三篇 場景解讀
第7章 應(yīng)用場景 244
7.1 大型集團/企業(yè) 245
7.1.1 案例:A集團的協(xié)同管控之路 245
7.1.2 難點解析 247
7.1.3 應(yīng)對策略 249
7.1.4 實現(xiàn)效果 250
7.2 零售與分銷行業(yè) 252
7.2.1 案例:B零售公司數(shù)據(jù)治理助推數(shù)字化轉(zhuǎn)型 252
7.2.2 難點解析 254
7.2.3 應(yīng)對策略 256
7.2.4 實現(xiàn)效果 257
7.3 制造業(yè) 258
7.3.1 案例:C零部件制造企業(yè)數(shù)據(jù)驅(qū)動的業(yè)務(wù)優(yōu)化 259
7.3.2 難點解析 260
7.3.3 應(yīng)對策略 260
7.3.4 實現(xiàn)效果 261
7.4 電商行業(yè) 263
7.4.1 案例:D電商公司數(shù)據(jù)治理支持精準(zhǔn)營銷 263
7.4.2 難點解析 264
7.4.3 應(yīng)對策略 265
7.4.4 實現(xiàn)效果 266
7.5 政府、金融和能源等領(lǐng)域 268
7.5.1 案例:數(shù)據(jù)開放與治理 268
7.5.2 難點解析 270
7.5.3 應(yīng)對策略 271
7.5.4 實現(xiàn)效果 273
7.6 本章小結(jié) 275
第8章 技術(shù)場景 276
8.1 混合云架構(gòu)下的數(shù)據(jù)治理 277
8.1.1 案例:E醫(yī)療集團的數(shù)據(jù)治理 277
8.1.2 難點解析 278
8.1.3 應(yīng)對策略 279
8.1.4 實現(xiàn)效果 280
8.2 大數(shù)據(jù)架構(gòu)下的數(shù)據(jù)治理 282
8.2.1 案例:F廣告公司的大數(shù)據(jù)營銷平臺 282
8.2.2 難點解析 283
8.2.3 應(yīng)對策略 284
8.2.4 實現(xiàn)效果 285
8.3 微服務(wù)架構(gòu)下的數(shù)據(jù)治理 287
8.3.1 案例:G烘焙公司的數(shù)據(jù)一體化平臺 287
8.3.2 難點解析 288
8.3.3 應(yīng)對策略 290
8.3.4 實現(xiàn)效果 291
8.4 本章小結(jié) 293
第9章 業(yè)務(wù)場景 294
9.1 財務(wù)數(shù)據(jù)治理與應(yīng)用 295
9.1.1 案例:H集團的業(yè)財一體化平臺建設(shè) 295
9.1.2 難點解析 297
9.1.3 應(yīng)對策略 298
9.1.4 實現(xiàn)效果 299
9.2 供應(yīng)鏈數(shù)據(jù)治理與應(yīng)用 300
9.2.1 案例:J零售連鎖企業(yè)集成供應(yīng)鏈協(xié)同優(yōu)化 300
9.2.2 難點解析 302
9.2.3 應(yīng)對策略 303
9.2.4 實現(xiàn)效果 305
9.3 營銷數(shù)據(jù)治理與應(yīng)用 306
9.3.1 案例:K電子商務(wù)公司的精準(zhǔn)營銷 307
9.3.2 難點解析 308
9.3.3 相關(guān)技術(shù) 309
9.3.4 應(yīng)對策略 310
9.3.5 實現(xiàn)效果 311
9.4 生產(chǎn)數(shù)據(jù)治理與應(yīng)用 312
9.4.1 案例:M機械制造企業(yè)的生產(chǎn)效率提升 313
9.4.2 難點解析 314
9.4.3 相關(guān)技術(shù) 315
9.4.4 應(yīng)對策略 316
9.4.5 實現(xiàn)效果 318
9.5 本章小結(jié) 320
后記 總結(jié)與展望 321