本書介紹了數(shù)據(jù)網(wǎng)格——一種來自現(xiàn)代分布式架構(gòu)的去中心化社會技術范式,它提供了一種大規(guī)模采購、共享、訪問和管理分析型數(shù)據(jù)的新方法。
本書分為五部分。
第1部分介紹Data Mesh的四個原則,以及它們所組成的高級模型。
第2部分比較Data Mesh與以前的數(shù)據(jù)架構(gòu)的區(qū)別。
第3部分介紹Data Mesh組件的高層次架構(gòu),幫助你設計Data Mesh架構(gòu)以及評估與Data Mesh匹配的現(xiàn)成技術。
第4部分介紹Data Mesh中的一個核心概念(數(shù)據(jù)產(chǎn)品)的詳細設計,幫助你識別與Data Mesh愿景兼容的設計技術,并將它們與不兼容的技術區(qū)分開來。
第5部分介紹如何演進式地執(zhí)行Data Mesh的轉(zhuǎn)換,以及如何圍繞團隊結(jié)構(gòu)、激勵、文化等做出組織設計決策的可行建議。
適讀人群 :數(shù)據(jù)分析從業(yè)者、架構(gòu)師、技術領導者和決策者 我們正處于數(shù)據(jù)時代的拐點,當下的數(shù)據(jù)管理解決方案很難在應對組織的復雜性、數(shù)據(jù)源的激增等挑戰(zhàn)的同時,通過AI和分析從數(shù)據(jù)中獲取價值。本書從實踐出發(fā)介紹了Data Mesh,這是一種從現(xiàn)代分布式架構(gòu)中提取的去中心化的社會技術范式,提供了一種大規(guī)模獲取、共享、訪問和管理分析型數(shù)據(jù)的新方法。
本書將帶領數(shù)據(jù)領域從業(yè)者、架構(gòu)師、技術領導者和決策者,以大數(shù)據(jù)架構(gòu)為起點,逐步落地分布式和多維度的分析型數(shù)據(jù)管理方法。Data Mesh將數(shù)據(jù)視為產(chǎn)品,將領域視為首要關注點,應用平臺思維創(chuàng)建自助數(shù)據(jù)基礎設施,并引入數(shù)據(jù)治理的聯(lián)合計算模型。
學完本書,你將能夠:
全面了解Data Mesh的原則及其具體內(nèi)容。
設計Data Mesh架構(gòu)。
指導Data Mesh策略和執(zhí)行。
從組織設計轉(zhuǎn)向去中心化的數(shù)據(jù)所有權模型。
超越傳統(tǒng)的數(shù)據(jù)倉庫和數(shù)據(jù)湖,轉(zhuǎn)向分布式的Data Mesh。
我們正處于數(shù)據(jù)時代的拐點,當下的數(shù)據(jù)管理解決方案很難在應對組織的復雜性、數(shù)據(jù)源的激增等挑戰(zhàn)的同時,通過AI和分析從數(shù)據(jù)中獲取價值。本書從實踐出發(fā)介紹了Data Mesh,這是一種從現(xiàn)代分布式架構(gòu)中提取的去中心化的社會技術范式,提供了一種大規(guī)模獲取、共享、訪問和管理分析型數(shù)據(jù)的新方法。
本書將帶領數(shù)據(jù)領域從業(yè)者、架構(gòu)師、技術領導者和決策者,以大數(shù)據(jù)架構(gòu)為起點,逐步落地分布式和多維度的分析型數(shù)據(jù)管理方法。Data Mesh將數(shù)據(jù)視為產(chǎn)品,將領域視為首要關注點,應用平臺思維創(chuàng)建自助數(shù)據(jù)基礎設施,并引入數(shù)據(jù)治理的聯(lián)邦計算模型。
學完本書,你將能夠:
*全面了解Data Mesh的原則及其具體內(nèi)容。
*設計Data Mesh架構(gòu)。
*指導Data Mesh戰(zhàn)略和執(zhí)行。
*從組織設計轉(zhuǎn)向去中心化的數(shù)據(jù)所有權模型。
*超越傳統(tǒng)的數(shù)據(jù)倉庫和數(shù)據(jù)湖,轉(zhuǎn)向分布式的Data Mesh。
Nile Platform 聯(lián)合創(chuàng)始人兼CPO,Kafka: The Definitive Guide一書的作者
Zhamak Dehghani是Thoughtworks的技術總監(jiān)。她專注于企業(yè)中的分布式系統(tǒng)和數(shù)據(jù)架構(gòu)領域,是多個技術咨詢委員會的成員,包括Thoughtworks的技術委員會。
Zhamak倡導一切事物的去中心化,包括架構(gòu)、數(shù)據(jù)等。她是Data Mesh的創(chuàng)始人。
引言 想象Data Mesh9
第一部分 什么是Data Mesh
第1章 Data Mesh概述23
1.1 成果23
1.2 轉(zhuǎn)變24
1.3 原則25
1.4 原則之間的相互作用28
1.5 Data Mesh概覽29
1.6 數(shù)據(jù)29
1.7 起源31
第2章 領域所有權原則33
2.1 領域驅(qū)動設計簡介34
2.2 把DDD戰(zhàn)略應用到數(shù)據(jù)35
2.3 領域數(shù)據(jù)類型37
2.4 過渡到領域所有權40
2.5 回顧43
第3章 數(shù)據(jù)即產(chǎn)品原則45
3.1 把產(chǎn)品思維應用到數(shù)據(jù)中46
3.2 過渡到數(shù)據(jù)即產(chǎn)品56
3.3 回顧59
第4章 自助數(shù)據(jù)平臺原則60
4.1 Data Mesh平臺:比較和對比61
4.2 Data Mesh平臺思維66
4.3 過渡到自助Data Mesh平臺72
4.4 回顧75
第5章 聯(lián)邦計算治理原則76
5.1 把系統(tǒng)思考應用到Data Mesh治理78
5.2 把聯(lián)邦應用到治理模型83
5.3 把計算應用到治理模型89
5.4 過渡到聯(lián)邦計算治理92
5.5 回顧94
第二部分 為什么需要Data Mesh
第6章 拐點99
6.1 數(shù)據(jù)的遠大期望100
6.2 數(shù)據(jù)的巨大鴻溝102
6.3 規(guī);盒碌脑庥103
6.4 超越秩序104
6.5 到達回報的平臺期104
6.6 回顧105
第7章 拐點之后107
7.1 在復雜的業(yè)務中優(yōu)雅地應對變化108
7.2 在增長的同時保持敏捷性112
7.3 提高數(shù)據(jù)對投資的價值比率115
7.4 回顧116
第8章 拐點之前119
8.1 分析型數(shù)據(jù)架構(gòu)的演進119
8.2 分析型數(shù)據(jù)架構(gòu)的特征123
8.3 回顧131
第三部分 如何設計Data Mesh架構(gòu)
第9章 邏輯架構(gòu)135
9.1 面向領域的分析型數(shù)據(jù)共享接口138
9.2 數(shù)據(jù)產(chǎn)品即架構(gòu)量子140
9.3 多平面數(shù)據(jù)平臺148
9.4 嵌入式計算策略151
9.5 回顧154
第10章 多平面數(shù)據(jù)平臺架構(gòu)157
10.1 設計一個由用戶旅程驅(qū)動的平臺159
10.2 數(shù)據(jù)產(chǎn)品開發(fā)者之旅160
10.3 數(shù)據(jù)產(chǎn)品消費者之旅168
10.4 回顧172
第四部分 如何設計數(shù)據(jù)產(chǎn)品架構(gòu)
第11章 按可供性設計數(shù)據(jù)產(chǎn)品175
11.1 數(shù)據(jù)產(chǎn)品可供性176
11.2 數(shù)據(jù)產(chǎn)品架構(gòu)特征178
11.3 受復雜適應性系統(tǒng)的簡單性影響的設計179
11.4 回顧181
第12章 設計數(shù)據(jù)的消費、轉(zhuǎn)換和服務182
12.1 提供數(shù)據(jù)182
12.2 消費數(shù)據(jù)195
12.3 轉(zhuǎn)換數(shù)據(jù)202
12.4 回顧206
第13章 設計數(shù)據(jù)的發(fā)現(xiàn)、理解和組合207
13.1 發(fā)現(xiàn),理解,信任,探索207
13.2 組合數(shù)據(jù)215
13.3 回顧224
第14章 設計數(shù)據(jù)的管理、治理和觀測225
14.1 管理生命周期225
14.2 治理數(shù)據(jù)227
14.3 觀測,調(diào)試,審計231
14.4 回顧234
第五部分 如何開始
第15章 戰(zhàn)略和執(zhí)行239
15.1 今天你應該采用Data Mesh嗎239
15.2 Data Mesh作為數(shù)據(jù)戰(zhàn)略的一部分242
15.3 Data Mesh執(zhí)行框架245
15.4 回顧264
第16章 組織與文化265
16.1 變革267
16.2 文化268
16.3 獎勵271
16.4 結(jié)構(gòu)273
16.5 人員283
16.6 流程287
16.7 回顧289