前言
如果說云技術(shù)是生物醫(yī)學的未來，那么基因組學的未來已來。
基因組學是個全體上云的生物醫(yī)學學科。這在所難免，因為基因組學首先經(jīng)歷數(shù)據(jù)生成的爆發(fā)式增長，導致它對計算和儲存的需求迅速攀升，而解決這些問題正是云基礎(chǔ)設(shè)施的定位。目前，主要基因組數(shù)據(jù)集及其衍生資源已可以在云上使用，諸如博德研究所開發(fā)、行業(yè)領(lǐng)先的基因組分析工具集GATK 之類的很多工具，它們針對云基礎(chǔ)設(shè)施做過優(yōu)化，效率很高。因此，很多研究者如果要用基因組數(shù)據(jù)和相關(guān)分析工具，他們現(xiàn)在或很快就得學習使用云資源，而對很多人來講上云可能是一個巨大的挑戰(zhàn)。同時，很多具有信息學和生物信息學背景的技術(shù)支持人員應邀加入該領(lǐng)域，幫研究者順利過渡。但是有些支持人員可能只有很少或沒有任何基因組學相關(guān)培訓經(jīng)歷。這兩個群體形成一個統(tǒng)一體，他們需要對目標達成一致，并共同努力，解決他們所面對的挑戰(zhàn)。
本書的寫作目的、范圍和目標讀者
本書旨在帶你通過動手實踐的方式，掌握在云端從事基因組分析所需主要工具、機制和流程。本書可作為該領(lǐng)域大部分人員的中級水平讀本。我們盡量降低對預備知識的要求，并準備了兩章入門性質(zhì)的章節(jié)，分別重點介紹基因組學和計算技術(shù)，以確保每位讀者都能扎實掌握我們講解過程所要使用的這兩個領(lǐng)域的基本概念。此外，我們還精心挑選一個非常特殊的開源技術(shù)棧GATK 工具集、工作流描述語言（Workflow Description Language，WDL）、Terra 平臺、Docker 容器和谷歌云平臺（Google Cloud Platform，GCP）。該工作棧提供端到端功能，其背后有健壯的用戶支持系統(tǒng)，能夠保證為用戶帶來成功的學習和使用體驗。
需說明的是，本書并非要面面俱到。不論工具的選擇，還是基因組分析的科學研究范圍，都是如此。我們所使用的基因組學的操作性定義（operational definition）是以變異發(fā)現(xiàn)（variant discovery）和與之密切相關(guān)的分析為中心，我們有意限制該定義的范圍。至于我們所介紹的基因組分析流程的每一步，往往存在一些替代工具，而且有些工具的替代工具非常多，你完全可以用其替代我們所展示的這些工具。然而，本書所講主題和練習是我們精心設(shè)計的，它們所提供的模式和技巧，在很大程度上是可遷移和擴展到其他工具和分析工作，以便化它們對于讀者的長久價值，因此你照本書學習即可。此外，我們還計劃推出一系列配套博文和在線資料，展示一些互補方法，它們則使用不同平臺和技術(shù)，這部分內(nèi)容詳見本書配套GitHub 倉庫（https://oreil.ly/genomics-repo）和網(wǎng)站（https://oreil.ly/genomics-blog）。
本書主要內(nèi)容
在云上研究基因組，乍一聽可能感到害怕，特別是你只熟悉其中一個領(lǐng)域，或兩個領(lǐng)域都不熟悉的話。但其實它并沒有你想象的那么復雜。本書將帶你一步步學習一遍這項工作的所有重要內(nèi)容。你將有機會利用GATK 工具集分析基因組。我們選擇該工具集是因為它廣受歡迎，而且其計算方法也很有意思。你將使用谷歌云平臺提供的基本服務(wù)分析基因組，以及Terra 平臺。Terra 平臺是博德研究所和Alphabet 公司的子公司Verily 在GCP 平臺基礎(chǔ)上共同開發(fā)的可擴展生物醫(yī)學研究平臺。
學完本書，你應掌握以下知識和能力：
計算基礎(chǔ)設(shè)施和流程的基本知識。
包括生物學基礎(chǔ)、常用數(shù)據(jù)格式和傳統(tǒng)方法在內(nèi)的基因組學基礎(chǔ)知識。
核心技術(shù)棧的入門級和中級實操方法：
─ GATK 工具集、WDL、Terra 平臺、Docker 容器和谷歌云。
─ 按照博德研究所 GATK 工具集開發(fā)團隊給出的實踐去發(fā)現(xiàn)新變異。實踐涵蓋種系短變異（germline short variant）、體細胞短變異（somatic short variant）和體細胞拷貝數(shù)變異（somatic copy-number alteration）。─ 讀取、編寫和解釋分析工作流，首先使用沙盒環(huán)境，接著通過幾種執(zhí)行模式擴展分析方法（從獨立的命令行軟件包擴展到管理完善的系統(tǒng)）。
─ 在工作區(qū)環(huán)境管理數(shù)據(jù)，管理工作流的執(zhí)行。
─ 用 Jupyter Notebooks 軟件，以交互式方式分析基因組數(shù)據(jù)。
─ 綜合運用以上工具和方法：利用云數(shù)據(jù)存儲技術(shù)、合成數(shù)據(jù)生成技術(shù)、可移植工作流和容器工具，復現(xiàn)出版物所講計算過程。
次要目標：
─ 更加熟悉可擴展和化方法等計算概念。
─ 實際操作一些生物信息學命令行工具包、常用命令和文件格式，積累實戰(zhàn)經(jīng)驗。
本書練習題要求讀者具備哪些計算機知識？
第4 ～ 10 章的練習題，我們假定你已多少熟悉命令行工具的基礎(chǔ)知識，其中包括在Bash shell 應用程序切換目錄、操作文本文件；編寫并運行簡單命令；熟悉環(huán)境變量、路徑和工作目錄這些概念。第8 ～ 11 章、第13 章，我們假定你熟悉腳本編寫相關(guān)概念，盡管我們不要求你具有實際編寫經(jīng)驗。第12、14 章，我們假定你對R 和Python 語言有所了解，盡管這并非必須，但你要是多少熟悉其句法，就會發(fā)現(xiàn)更復雜的例子也不難理解。
做練習題的過程，你要是感到某些計算工具和術(shù)語超出自己的能力和理解范圍，我們建議你參考Software Carpentry 機構(gòu)提供的在線課程（https://software-carpentry.org）。它們是專為那些在計算方面沒有接受過正式訓練的科研人員而設(shè)計。倘若你沒有任何命令行工具使用經(jīng)驗，你就會發(fā)現(xiàn)其UNIX shell 課程尤其有幫助（https://oreil.ly/bnGo3）。他們還提供Python 語言（https://oreil.ly/j73Ht）、R 語言課程（https://oreil.ly/400VG）以及與本書相關(guān)的其他主題的一些課程，如用Git 管理版本（https://oreil.ly/85cEo）。這些開源課程是由社區(qū)志愿者開發(fā)的，他們理解研究者每天都要面對的挑戰(zhàn)，因此這些課程是真正不可多得的好資源。
排版約定
本書在排版上遵循以下約定：
斜體（Italic）
表示新術(shù)語、URL、郵件地址、文件名、文件擴展名、表格名及組件、工作流。
等寬字體（constant width）
表示程序片段和段落中出現(xiàn)的編程元素，如變量、函數(shù)名、數(shù)據(jù)庫、數(shù)據(jù)類型、環(huán)境變量、語句和關(guān)鍵字。
加粗等寬字體（constant width bold）
表示應該由用戶輸入的文本。
等寬斜體（constant width italic）
表示應由用戶輸入的值或應根據(jù)上下文確定的值替換的文本。
$ 位于代碼之前
表示后面是一條在VM shell 中運行的命令。
# 位于代碼之前
表示后面是一條在docker 容器運行的命令。
該元素表示這是一條注釋。
使用代碼示例
配套材料（代碼示例、練習、全尺寸彩圖等）請從本書配套GitHub 倉庫下載（https://oreil.ly/genomics-repo）。
本書是為了幫你完成工作而寫。一般來講，書中的示例代碼，可直接用于自己的項目和文檔，無需聯(lián)系我們以征得許可，大量復制代碼另議。例如，你編寫的程序使用書中多處代碼，無需我們授權(quán)，但出售或分發(fā)OReilly 圖書示例代碼，則需我們授權(quán)。引用本書內(nèi)容或示例代碼回答問題無需授權(quán)。但在你的產(chǎn)品文檔中大量使用本書示例代碼，則需經(jīng)我們授權(quán)。
如能添加內(nèi)容的出處，我們將非常感激，當然這并非必須。出處通常要標明書名、作者、出版社和ISBN。例如：Genomics in the Cloud by Geraldine A. Van der Auwera and Brian D. OConnor (OReilly). Copyright 2020 The Broad Institute, Inc.and Brian OConnor, 978-1-491-97519-0。
如果你覺得示例代碼的使用方式可能不當或超出上述許可范圍，請聯(lián)系我們，郵箱是 permissions@oreilly.com。
OReilly 在線學習平臺（OReilly Online Learning）
近40 年來，OReilly Media 致力于提供技術(shù)和商業(yè)培訓、知識和卓越見解，來幫助眾多公司取得成功。
我們擁有獨一無二的專家和革新者組成的龐大網(wǎng)絡(luò)，他們通過圖書、文章、會議和我們的在線學習平臺分享他們的知識和經(jīng)驗。OReilly 的在線學習平臺允許你按需訪問現(xiàn)場培訓課程、深入的學習路徑、交互式編程環(huán)境，以及OReilly 和200 多家其他出版商提供的大量文本和視頻資源。更多信息，請訪問http://oreilly.com。
聯(lián)系方式
請將你對本書的評價和問題發(fā)給出版社：
美國：
OReilly Media, Inc.
1005 Gravenstein Highway North
Sebastopol, CA 95472
中國：
北京市西城區(qū)西直門南大街2號成銘大廈C座807室（100035）
奧萊利技術(shù)咨詢（北京）有限公司
我們?yōu)楸緯�做了一個網(wǎng)頁，將勘誤信息、示例代碼和其他附加信息列在上面。地址是https://oreil.ly/genomics-cloud。
對本書的評論或技術(shù)性問題，請發(fā)電子郵件至：errata@oreilly.com.cn。
如果想要了解更多OReilly 圖書、課程、會議和新聞相關(guān)信息，請訪問以下網(wǎng)站：http://www.oreilly.com。
我們的Facebook：http://facebook.com/oreilly。
我們的Twitter：http://twitter.com/oreillymedia。
我們的YouTube：http://www.youtube.com/oreillymedia。
致謝
我們想把感謝送給我們在博德研究所和加利福尼亞大學圣克魯茲分校的各位同事，他們以多種方式為本書的付梓貢獻自己的力量。
我們非常感激博德研究所數(shù)據(jù)科學平臺在一線提供支持的團隊和教育團隊的所有成員，雖有些同事現(xiàn)已調(diào)離工作崗位，但我們?nèi)耘f對其心懷感激。他們開發(fā)和維護了初的教學材料和資源，為我們編寫本書很多需讀者親自動手的練習題打下基礎(chǔ)。
在Robert Majovski 領(lǐng)導的教育團隊中，我們想特別強調(diào)Soo Hee Le 等人的工作，他們開發(fā)的內(nèi)容講解透徹并關(guān)注細節(jié)，創(chuàng)造了一些關(guān)于GATK 工具的深度的資源；Allie Hajian 和Anton Kovalsky 承擔了Terra 平臺的文檔整理這一赫拉克勒斯（Hercules）般壯舉的艱巨工作。即使該平臺在曲折發(fā)展和進化過程，他們也沒有放棄；Kate Noblett 編寫了WDL 初的大部分文檔，她現(xiàn)在正強有力地協(xié)調(diào)GATK、WDL 和Terra 工作坊。在Tiffany Miller 領(lǐng)導的一線支持團隊中，我們特別想強調(diào)Beri Shifaw 等人的工作，他負責維護GitHub 和Dockstore 的gatk-workflows流水線和Terra 平臺的特色工作區(qū)；Bhanu Gandham 以高度的熱情擔負起為GATK用戶社區(qū)謀福利的職責。這兩個團隊其他為本書相關(guān)內(nèi)容做過貢獻的成員還有Derek Caetano-Anolles、Sushma Chaluvadi、Sheila Chandran、Elizabeth Kiernan、David Kling、Ron Levine 和Adelaide Rhodes。
我們認可并欣賞Alexander Baumann 領(lǐng)導的Broad DSP Field Engineering 團隊在這一領(lǐng)域所起的越來越重要的作用。Yvonne Blanco 可謂是群星之中閃亮的那顆，她從User Experience 團隊迅速轉(zhuǎn)入該團隊，以其完美無瑕的設(shè)計改進關(guān)鍵圖表和插圖。
我們永遠感激GATK 開發(fā)團隊的很多成員，他們?yōu)榻逃�資源提供關(guān)鍵輸入，并將自己的專業(yè)知識交全球GATK 工作坊使用。由于人數(shù)眾多，恕不一一列舉。但我們特別感謝該團隊的Eric Banks、Laura Gauthier、Yossi Farjoun 和Lee Lichtenstein所給予的支持；感謝David Benjamin 和Sam Lee，他們的耐心大有不竭之勢；感謝泰然自若的David Roazen 和樂天派的宿命論者Louis Bergelson；感謝安靜的Mark Fleharty 就序列標注（Mark Duplicates）給出的專業(yè)意見，同樣也感謝活潑的Megan Shand 給出的專業(yè)意見。這里要特別指出的還有Chris Norman 為Barclay 庫所做工作，GATK 的文檔系統(tǒng)正是由該庫所驅(qū)動的。
Geraldine 還想感謝Mauricio Carneiro、Mark De Pristo。他們分別是原GATK 團隊的成員和創(chuàng)始人，感謝他們多年前愿賭服輸雇用一名糊涂的微生物學家。
提起WDL、Cromwell 和Terra 章節(jié)的寫作，我們要感謝的人那就太多了，無法一一列出，但是我們特別要感謝Notebooks 伙伴Adrian Sharma、William Disman、Ruchi Munshi 和Kyle Vernest。他們貢獻富有幫助的洞察力，忍受我們的喋喋不休，幫助解決我們由衷希望在本書面市前解決的問題。就上述章節(jié)的寫作，我們欠Chris Llanwarne 和Adam Nichols 一聲真摯的感謝。他們及時為wdltool 工具打補丁，使得第9 章內(nèi)容更講得通。說起叨擾大家，我們非常對不住User Experience 的Eric Karofsky 和Jerme Chadel。他們不得不忍受我們的問題轟炸。我們不停地詢問他們下一步要改動Terra 界面的哪些元素、什么時間修改。我們深深感激Matthieu J.Miossec 與我們一起開發(fā)第14 章所示項目。
我們對審稿老師抱有無盡的感激。他們利用自己的寶貴時間，通讀本書初稿，幫我們找出哪些內(nèi)容不可靠，并使我們理解哪些內(nèi)容有待改進。我們初交其評審的稿件和你眼前的這本有著天壤之別。本書質(zhì)量的提升，他們功不可沒。為此，我們向Titus Brown、Aaron Chevalier、Jeff Gentry、Sean Horgan、Lynn Langit、Lee Lichtenstein、Jessica Maia、David Mohs、Andrew Moschetti、Anubhav Shelat 和Jonn Smith 致以崇高的敬意。
倘若沒有我們各自領(lǐng)導團隊的支持， 這一切也都不可能。我們感謝博德研究所的Eric Lander、Lee McGuire 和該所數(shù)據(jù)科學平臺的領(lǐng)導，特別是Anthony Philippakis、Eric Banks（再次感謝）和Danielle Ciofani。他們堅信本書終將付梓。我們感謝加利福尼亞大學圣克魯茲分�；�因組研究所（Genomics Institute，GI）的領(lǐng)導，其中包括Benedict Paten 和研究所所長David Haussler，感謝他們的支持。我們還要感謝Greta Martin，她的組織能力無與倫比；感謝Nadine Gassner，她幫我們募集資金，使我們得以一心撲在激動人心的項目上。
我們感謝加利福尼亞大學圣克魯茲分校基因組研究所的計算基因組平臺（Computational Genomics Platform，CGP）團隊，其成員利用Terra 平臺和其他基于云的分析生態(tài)系統(tǒng)組件開發(fā)本書所講的多種項目。其貢獻者有Jesse Brennan、Amar Jandu、Natan Lao、Melaina Legaspi、Geryl Pelayo、Charles Reid、Hannes Schmidt 和Daniel Sotirhos。我們特別感謝CGP 團隊的Lighthouse Point 小組：Michael Baumann（現(xiàn)在博德研究所工作）、Lon Blauvelt、Brian Hannafious 和Ash OFarrell，組長為Beth Sheets。他們編寫優(yōu)質(zhì)研究教程，為本書部分章節(jié)的寫作帶來靈感。
我們還要感謝加利福尼亞大學圣克魯茲分校和加拿大安大略癌癥研究所（Ontario Institute for Cancer Research，OICR）的Dockstore 團隊，感謝他們對本書的反饋，感謝他們搭建工作流分享平臺，為Terra 生態(tài)系統(tǒng)貢獻力量。加利福尼亞大學圣克魯茲分校Charles Overbeck 帶領(lǐng)的技術(shù)團隊中，我們想把感謝送給Louise Cabansay、Abraham Chavez、Andy Chen、Trevor Heathorn、Nneka Olunwa、Kevin Osborn、Natalie Perez、Walter Shands、Emily Soth、Cricket Sloan 和David Steinberg。OICR研究所Denis Yuen 的技術(shù)團隊，其學術(shù)帶頭人為Lincoln Stein，我們感謝該團隊的Ryan Bautista、Kitty Cao、Andy Chen、Vincent Chung、Andrew Duncan、Victor Liu、Gary Luu、Shreya Radesh 和Jennifer Wu 所做的貢獻。
后，我們想把同樣的感謝送給我們摯愛的親人。感謝他們在我們寫作本書的兩年多時光里表現(xiàn)出來的耐心和給予的支持。Geraldine 希望其可愛的妻子Jessica 和女兒Gabrielle、Melanie 在看到致謝之后能被適當打動，忘記自己多次忙到很晚才去陪她們，忘記自己癡迷工作，忘記自己在寫作的那段時間沒能改善家里的生活環(huán)境。同時，Brian 想感謝其伴侶Dhawal 在成書期間所給予的無限耐心、理解和鼓勵，感謝其媽媽（Patty）和爸爸（Jim）偶爾的關(guān)照和令人感激的鼓舞把書寫完！。