敏捷數(shù)據(jù)工程項(xiàng)目開發(fā):高效機(jī)器學(xué)習(xí)團(tuán)隊(duì)管理
定 價(jià):89 元
叢書名:智能系統(tǒng)與技術(shù)叢書
- 作者:[美] 埃里克·卡特(Eric Carter) 馬修·赫斯特(Matthew Hurst)
- 出版時(shí)間:2021/8/1
- ISBN:9787111688488
- 出 版 社:機(jī)械工業(yè)出版社
- 中圖法分類:TP311.52
- 頁碼:
- 紙張:膠版紙
- 版次:
- 開本:16開
本書通過示例向你展示如何通過敏捷過程交付良好的數(shù)據(jù)產(chǎn)品,以及如何組織和管理快節(jié)奏的團(tuán)隊(duì),在生產(chǎn)環(huán)境中解決大規(guī)模的新數(shù)據(jù)問題。它將為你提供組織工作的方法,如何為數(shù)據(jù)設(shè)置可交付成果,如何在看似永無止境的任務(wù)中管理時(shí)間,如何理解數(shù)據(jù),以及如何增加團(tuán)隊(duì)的透明度。書中所有的例子都來自真實(shí)的團(tuán)隊(duì)、真實(shí)的會(huì)議和真實(shí)的數(shù)據(jù)。
本書誕生于一次偶然的相遇。2012年7月,當(dāng)時(shí)Eric Carter剛剛回到美國,此前他在德國工作了三年,向歐洲市場(chǎng)推出了微軟的一款購物搜索產(chǎn)品。他非常失望,因?yàn)樗跉W洲努力的項(xiàng)目被叫停,所以他需要尋求新的發(fā)展。當(dāng)在Bing(微軟的搜索引擎)尋找機(jī)會(huì)時(shí),他遇到了Matthew Hurst。Matthew是微軟Live Labs的一名成員,Live Labs是一個(gè)創(chuàng)新小組,負(fù)責(zé)探索圍繞搜索、云和連接技術(shù)的新解決方案和應(yīng)用。從那時(shí)起,他就開始研究地圖和本地搜索的各種形式,通常是研究將搜索主題與地址連接起來的功能。Eric和Matthew之間是相輔相成的伙伴關(guān)系,他們的合作極大地提高了Bing本地搜索的質(zhì)量,并終引領(lǐng)兩人踏上了數(shù)據(jù)工程項(xiàng)目如何從敏捷原則的應(yīng)用中獲益的探索之旅。
敏捷宣言(全稱:敏捷軟件開發(fā)宣言)于2001年由17個(gè)簽署者共同簽署,總結(jié)為四個(gè)價(jià)值觀(個(gè)體和互動(dòng)的價(jià)值高于流程和工具;工作的軟件的價(jià)值高于詳盡的文檔;客戶合作的價(jià)值高于合同談判;響應(yīng)變化的價(jià)值高于遵循計(jì)劃)和十二原則。在本書中,我們將依次檢查每一條原則,并將它們與我們?cè)谠S多項(xiàng)目和上下文中使用數(shù)據(jù)和推理方法的經(jīng)驗(yàn)聯(lián)系起來。
當(dāng)兩位作者見面時(shí),Bing的本地搜索產(chǎn)品在很大程度上還處于開發(fā)階段。本地商業(yè)目錄的質(zhì)量正在改善,但比起當(dāng)時(shí)的市場(chǎng)領(lǐng)導(dǎo)者谷歌仍有很大差距。Matthew當(dāng)時(shí)在本地搜索數(shù)據(jù)團(tuán)隊(duì),他和團(tuán)隊(duì)的其他成員一直在探索一些創(chuàng)新的想法,以更好地利用Web并集成機(jī)器學(xué)習(xí)來顯著改善目錄。Eric在Bing的本地搜索空間發(fā)現(xiàn)了許多需要直面的挑戰(zhàn),并決定以工程經(jīng)理的身份加入Bing的本地?cái)?shù)據(jù)團(tuán)隊(duì)。
在Eric職業(yè)生涯的這個(gè)階段,他對(duì)在微軟管理團(tuán)隊(duì)并不陌生,他曾參與過幾個(gè)Visual Studio相關(guān)產(chǎn)品的開發(fā)以及現(xiàn)在已經(jīng)取消的“購物搜索”項(xiàng)目。然而,正是在參與Visual Studio相關(guān)產(chǎn)品開發(fā)期間,他發(fā)現(xiàn)了敏捷的內(nèi)在價(jià)值,以及遵循敏捷原則的團(tuán)隊(duì)是多么高效和歡樂。他想把這些也帶到他的新團(tuán)隊(duì)中,卻發(fā)現(xiàn)自己陷入了一個(gè)困境—如何將敏捷應(yīng)用到一個(gè)更多是生產(chǎn)數(shù)據(jù)而不是生產(chǎn)軟件的團(tuán)隊(duì)中?要將敏捷引入數(shù)據(jù)工程團(tuán)隊(duì),需要哪些東西?
這并不簡(jiǎn)單。首先,敏捷就像一個(gè)入侵的國外代理。因?yàn)樵镜膱F(tuán)隊(duì)文化是關(guān)于大概念的,通過實(shí)驗(yàn)、長(zhǎng)期研究和大量試錯(cuò)科學(xué)項(xiàng)目來發(fā)掘,而所有這些似乎都與敏捷原則(如Scrum、迭代開發(fā)、可預(yù)測(cè)性、簡(jiǎn)潔和頻繁交付可工作的軟件)背道而馳。對(duì)于一個(gè)專注于創(chuàng)建包含世界上所有的商業(yè)機(jī)構(gòu)的非常精確的數(shù)據(jù)庫的團(tuán)隊(duì)來說,定義“完成”幾乎是不可能的。畢竟,數(shù)據(jù)中不變的就是將包含錯(cuò)誤—工作從字面上來講永遠(yuǎn)不可能完成。面對(duì)諸如與利益相關(guān)者溝通、團(tuán)隊(duì)如何以及在哪里取得進(jìn)展,確定某個(gè)特定的開發(fā)投入是否值得,以及確保以定期但可持續(xù)的節(jié)奏交付改進(jìn)等挑戰(zhàn),現(xiàn)代敏捷方法顯然是至關(guān)重要的。但是,在一個(gè)由數(shù)據(jù)科學(xué)家和傳統(tǒng)工程師組成的、致力于面向數(shù)據(jù)的可交付成果的團(tuán)隊(duì)中,如何應(yīng)用敏捷?
傳統(tǒng)的敏捷流程旨在減少不確定性和回答諸如“客戶想要什么”以及“如何可靠并持續(xù)地交付軟件”之類的問題,但在這個(gè)新的項(xiàng)目、新的世界中,我們已經(jīng)知道了客戶想要什么(一個(gè)完美的本地商業(yè)目錄),但我們需要回答諸如“數(shù)據(jù)中有什么”“基于這些數(shù)據(jù)我們能交付什么”之類的問題。我們需要敏捷方法,但需要的是針對(duì)現(xiàn)代的、復(fù)合型人才組成的數(shù)據(jù)工程團(tuán)隊(duì)改進(jìn)后的敏捷方法。
隨著探索下一代機(jī)器學(xué)習(xí)挑戰(zhàn)的深入,我們發(fā)現(xiàn),敏捷原則毫無疑問可以應(yīng)用于解決問題和減少數(shù)據(jù)的不確定性,進(jìn)而打造一個(gè)更快樂和高效的團(tuán)隊(duì)。
因此我們整合了敏捷方法論的這個(gè)現(xiàn)代化版本,希望本書所提供的經(jīng)過驗(yàn)證的指南和來之不易的見解,能幫助個(gè)體、技術(shù)領(lǐng)導(dǎo)者和管理者在當(dāng)今機(jī)器學(xué)習(xí)和大數(shù)據(jù)領(lǐng)域令人興奮的工作中更富有成效。
Eric Carter
Matthew Hurst
2019年6月
前言
關(guān)于作者
關(guān)于技術(shù)審查人
第1章 盡早交付1
1.1 入門3
1.2 用于規(guī)劃的數(shù)據(jù)分析 7
1.3 創(chuàng)造價(jià)值9
1.4 從盡早交付到持續(xù)交付11
1.4.1 更多實(shí)體 12
1.4.2 更多屬性 13
1.4.3 更多市場(chǎng) 15
1.4.4 更高的質(zhì)量 15
1.4.5 平臺(tái)即產(chǎn)品:更多垂直商業(yè)和客戶 16
1.5 盡早且持續(xù)交付價(jià)值16
1.6 結(jié)論 20
第2章 需求變化21
2.1 為變化而構(gòu)建 22
2.1.1 為變化而構(gòu)建度量 22
2.1.2 為變化而構(gòu)建管道 24
2.1.3 為變化而構(gòu)建模型 27
2.1.4 為變化而構(gòu)建架構(gòu) 35
2.2 為變化而構(gòu)建測(cè)試和監(jiān)控 37
2.2.1 監(jiān)控增量變化:數(shù)據(jù)DRI37
2.2.2 哨兵實(shí)體 38
2.2.3 日常判斷指標(biāo) 39
2.2.4 測(cè)試特征40
2.2.5 測(cè)試學(xué)習(xí)后的模型 41
2.2.6 帶標(biāo)簽的訓(xùn)練數(shù)據(jù) 41
2.3 響應(yīng)客戶DSAT43
2.3.1 確定DSAT的類別44
2.3.2 定期自我評(píng)估:數(shù)據(jù)滾動(dòng)和質(zhì)量審查46
2.3.3 度量競(jìng)爭(zhēng)對(duì)手48
2.4 結(jié)論50
第3章 持續(xù)交付51
3.1 驗(yàn)證代碼更改52
3.2 持續(xù)集成系統(tǒng)53
3.3 持續(xù)部署系統(tǒng)54
3.4 驗(yàn)證數(shù)據(jù)更改56
3.5 持續(xù)部署數(shù)據(jù)58
3.6 決定發(fā)布什么59
3.7 結(jié)論60
第4章 與業(yè)務(wù)人員保持一致61
4.1 日常的重要性61
4.2 集中辦公的優(yōu)勢(shì)64
4.3 業(yè)務(wù)驅(qū)動(dòng)的Scrum團(tuán)隊(duì)65
4.4 與業(yè)務(wù)人員合作了解數(shù)據(jù)68
4.5 幫助業(yè)務(wù)人員了解機(jī)器學(xué)習(xí)的局限性69
4.6 與業(yè)務(wù)人員溝通工程的節(jié)奏:我們?nèi)绾巫鯯crum71
4.6.1 Scrum團(tuán)隊(duì)72
4.6.2 組合和產(chǎn)品待辦事項(xiàng)72
4.6.3 用戶故事75
4.6.4 任務(wù)77
4.6.5 沖刺82
4.6.6 通過郵件與業(yè)務(wù)人員溝通Scrum狀態(tài)89
4.7 結(jié)論93
第5章 激發(fā)個(gè)體94
5.1 頻繁重寫95
5.2 發(fā)現(xiàn)和培養(yǎng)激發(fā)個(gè)體96
5.2.1 面試與招聘98
5.2.2 激發(fā)個(gè)體的職業(yè)生涯管理103
5.3 為激發(fā)個(gè)體創(chuàng)造一個(gè)生產(chǎn)力環(huán)境106
5.3.1 內(nèi)外循環(huán)106
5.3.2 尋找工具、監(jiān)控和編制文檔107
5.3.3 開發(fā)人員NSAT109
5.4 支持組織外部的激發(fā)個(gè)體110
5.5 結(jié)論111
第6章 有效溝通112
6.1 圍繞數(shù)據(jù)的討論必須是交互式的118
6.2 數(shù)據(jù)工具基礎(chǔ)119
6.2.1 數(shù)據(jù)討論工具的要求119
6.2.2 進(jìn)行快速評(píng)估120
6.2.3 實(shí)例挖掘122
6.2.4 抽樣策略122
6.2.5 迭代差分124
6.3 數(shù)據(jù)可視化124
6.4 召開有效的會(huì)議是一種技能126
6.5 結(jié)對(duì)和并行標(biāo)記127
6.6 數(shù)據(jù)滾動(dòng)128
6.7 演示會(huì)議130
6.8 結(jié)論133
第7章 監(jiān)控134
7.1 監(jiān)控工作軟件135
7.1.1 示例系統(tǒng):離開時(shí)間135
7.1.2 基于活動(dòng)的監(jiān)控136
7.1.3 用于分析跟蹤的Azure數(shù)據(jù)資源管理器139
7.2 監(jiān)控可以告訴你什么141
7.2.1 工作軟件是否真的可工作141
7.2.2 什么地方出現(xiàn)了問題141
7.2.3 有多快142
7.2.4 業(yè)務(wù)目標(biāo)是否真的達(dá)成143
7.2.5 是否真正滿足了客戶需求144
7.2.6 數(shù)據(jù)和模型如何使用145
7.3 結(jié)論146
第8章 可持續(xù)開發(fā)147
8.1 我們是否在正確的可持續(xù)節(jié)奏上148
8.1.1 放慢節(jié)奏149
8.1.2 加快節(jié)奏150
8.2 調(diào)整節(jié)奏的重要性151
8.3 可持續(xù)節(jié)奏與實(shí)時(shí)網(wǎng)站153
8.4 可持續(xù)節(jié)奏與多個(gè)開發(fā)地域155
8.5 結(jié)論155
第9章 技術(shù)卓越157
9.1 敏捷軟件工程實(shí)踐158
9.2 數(shù)據(jù)項(xiàng)目的技術(shù)卓越162
9.2.1 度量自身162
9.2.2 建立指標(biāo)時(shí)開發(fā)模型165
9.2.3 為推理系統(tǒng)編寫測(cè)試166
9.2.4 自定義標(biāo)注工具168
9.2.5 存儲(chǔ)和版本化訓(xùn)練與評(píng)估數(shù)據(jù)169
9.2.6 管理模型170
9.3 數(shù)據(jù)項(xiàng)目的良好設(shè)計(jì)171
9.3.1 數(shù)據(jù)模型中的表示和標(biāo)識(shí)173
9.3.2 表示不確定175
9.3.3 代表輸入176
9.4 結(jié)論177
第10章 簡(jiǎn)潔178
10.1 勤于完成任務(wù)描述179
10.1.1 不明確的工作179
10.1.2 致命的連詞181
10.1.3 跨任務(wù)的依賴關(guān)系和假設(shè)181
10.2 盡早集成183
10.3 基線和啟發(fā)式方法183
10.4 認(rèn)識(shí)到限制184
10.5 管理HiPPO185
10.6 快速失敗186
10.7 構(gòu)建、購買或使用開源187
10.8 結(jié)論189
第11章 自組織團(tuán)隊(duì)190
11.1 團(tuán)隊(duì)組成191
11.2 團(tuán)隊(duì)由個(gè)體組成192
11.3 鼓勵(lì)團(tuán)隊(duì)的個(gè)體特性194
11.4 跨多個(gè)自組織團(tuán)隊(duì)的管理196
11.5 被授權(quán)的團(tuán)隊(duì)可以推動(dòng)團(tuán)隊(duì)發(fā)展和產(chǎn)品演進(jìn)197
11.6 好事如何出現(xiàn)198
11.7 培養(yǎng)自組織團(tuán)隊(duì)199
11.8 工程原理與概念完整性200
11.9 結(jié)論201
第12章 調(diào)整202
12.1 回顧202
12.2 五個(gè)為什么204
12.3 調(diào)整指標(biāo)205
12.4 展望未來206
12.5 結(jié)論207
第13章 總結(jié)208