前言Apache Spark 從MPI（消息傳遞接口）到MapReduce 的過(guò)程源遠(yuǎn)流長(zhǎng)，使其可以寫(xiě)出利用大量資源的同時(shí)分離出分布式系統(tǒng)基本細(xì)節(jié)的程序。盡管數(shù)據(jù)處理需求推動(dòng)了這些框架的發(fā)展，但在某種程度上，大數(shù)據(jù)領(lǐng)域已經(jīng)與它們息息相關(guān)，其范圍由這些框架可以處理的內(nèi)容定義。Spark 最初的承諾是讓這個(gè)過(guò)程更進(jìn)一步，讓編寫(xiě)分布式程序感覺(jué)就像編寫(xiě)常規(guī)程序一樣。Spark 的普及與Python 數(shù)據(jù)（PyData）生態(tài)系統(tǒng)的日益風(fēng)行同步發(fā)展。因此，Spark 的Python API（PySpark）在過(guò)去幾年中的流行速度明顯增長(zhǎng)是有道理的。盡管PyData 生態(tài)系統(tǒng)最近興起了一些分布式程序的選項(xiàng)，但Apache Spark 仍是處理跨行業(yè)領(lǐng)域的大型數(shù)據(jù)集最受歡迎的選擇之一。歸因于PySpark 其他PyData 工具的整合，該框架可以幫助數(shù)據(jù)科學(xué)從業(yè)者顯著提高生產(chǎn)力。我們一致認(rèn)為教授數(shù)據(jù)科學(xué)的最佳方式是通過(guò)示例。為此，我們整理了一本關(guān)于應(yīng)用程序的書(shū)籍，涉及大規(guī)模數(shù)據(jù)分析中最常見(jiàn)的算法、數(shù)據(jù)集和設(shè)計(jì)模式之間的交互。這本書(shū)并不是要從頭到尾閱讀，它看起來(lái)只是像你極力需要完成的事情，或是為了激發(fā)你開(kāi)始學(xué)習(xí)的興趣。為何寫(xiě)這本書(shū)Apache Spark 在2020 年經(jīng)歷了一次主要版本的升級(jí)版本30。最大的改進(jìn)之一是引入了Spark 自適應(yīng)執(zhí)行優(yōu)化系統(tǒng)。此功能消除了大部分調(diào)試和優(yōu)化的復(fù)雜性。因?yàn)樗��?Spark 32 及更高版本中默認(rèn)打開(kāi)，所以我們?cè)跁?shū)中并未提及到它，你將自然而然的獲益。生態(tài)系統(tǒng)的變化，結(jié)合Spark 最新的主要版本，使這個(gè)版本成為一個(gè)與時(shí)俱進(jìn)的版本。與以前選擇Scala 版本的Advanced Analytics with Spark 不同，我們將使用Python 作為主要工具。本書(shū)將包含與更廣泛的Python 數(shù)據(jù)科學(xué)生態(tài)系統(tǒng)相結(jié)合的最佳實(shí)踐。所有章節(jié)都已更新為使用最新版本的PySpark API，并增加了兩個(gè)新章節(jié)和對(duì)多個(gè)章節(jié)進(jìn)行改寫(xiě)，不會(huì)對(duì)Spark 的流處理和圖像處理庫(kù)進(jìn)行介紹。隨著Spark 進(jìn)入成熟和穩(wěn)定的新時(shí)代，我們希望這些變化將在未來(lái)幾年把本書(shū)作為有用的分析資料保存下來(lái)。本書(shū)的組織結(jié)構(gòu)第1 章把Spark 和PySpark 置于更廣泛的數(shù)據(jù)科學(xué)和大數(shù)據(jù)分析的背景下。之后，每章都將使用PySpark 對(duì)數(shù)據(jù)進(jìn)行了獨(dú)立的分析。第2 章通過(guò)一個(gè)數(shù)據(jù)清洗實(shí)例介紹PySpark 和Python 中數(shù)據(jù)處理的基礎(chǔ)知識(shí)。接下來(lái)的幾章將深入探討如何使用Spark 進(jìn)行機(jī)器學(xué)習(xí)，并在經(jīng)典應(yīng)用中應(yīng)用一些最常用的算法。剩下的幾章則是一些零散的應(yīng)用，比如通過(guò)文本中的潛在語(yǔ)義關(guān)系查詢維基百科、分析基因組學(xué)數(shù)據(jù)、識(shí)別相似圖像等。本書(shū)不討論P(yáng)ySpark 的優(yōu)點(diǎn)和缺點(diǎn)以及一些其他內(nèi)容。本書(shū)介紹了Spark 編程模型和Spark 的Python API PySpark 的基礎(chǔ)知識(shí)。不過(guò)，本書(shū)并不打算成為Spark 的參考資料或提供全面的Spark 使用指南。本書(shū)不打算成為機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)或線性代數(shù)的參考資料，盡管很多章節(jié)在使用這些內(nèi)容之前都會(huì)提供一些背景知識(shí)。相反，本書(shū)將通過(guò)涵蓋整個(gè)流程來(lái)幫助讀者感受使用PySpark 對(duì)大型數(shù)據(jù)集進(jìn)行復(fù)雜分析的感覺(jué)，不僅是構(gòu)建和評(píng)估模型，還包括清洗、預(yù)處理和探索數(shù)據(jù)，并注重將結(jié)果轉(zhuǎn)化為生產(chǎn)應(yīng)用程序的過(guò)程。我們相信，最好的教學(xué)方式是通過(guò)實(shí)踐。以下是本書(shū)要處理的一些任務(wù)示例：預(yù)測(cè)森林覆蓋我們使用決策樹(shù)，并利用位置和土壤類型等相關(guān)特征預(yù)測(cè)森林覆蓋類型（見(jiàn)第4 章）。查詢維基百科相似條目我們通過(guò)使用NLP（自然語(yǔ)言處理）技術(shù)識(shí)別條目之間的關(guān)系并查詢維基百科語(yǔ)料庫(kù)（見(jiàn)第6 章）。了解紐約出租車(chē)的使用情況我們通過(guò)執(zhí)行時(shí)間和地理空間分析，計(jì)算出租車(chē)的平均等待時(shí)間作為位置函數(shù)（見(jiàn)第7 章）。降低投資組合風(fēng)險(xiǎn)我們使用蒙特卡羅模擬估計(jì)投資組合的財(cái)務(wù)風(fēng)險(xiǎn)（見(jiàn)第9 章）。如果可能，我們不僅嘗試提供解決方案，還試圖展示完整的數(shù)據(jù)科學(xué)工作流程，包括所有的迭代（iterations）、終結(jié)點(diǎn)（dead ends）以及重新運(yùn)行（restarts）。本書(shū)將有助于你更加熟悉Python、Spark、機(jī)器學(xué)習(xí)和數(shù)據(jù)分析。然而，這些都是為了一個(gè)更大的目標(biāo)，我們希望本書(shū)的大部分內(nèi)容將教會(huì)你如何處理前面描述的任務(wù)。每章大約有幾十頁(yè)的篇幅，將盡可能地演示如何構(gòu)建一個(gè)數(shù)據(jù)應(yīng)用程序。排版約定本書(shū)采用以下排版約定。斜體（Italic）表示新術(shù)語(yǔ)、URL、電子郵件地址、文件名和文件擴(kuò)展名。等寬字體（Constant Width）表示程序清單，在段落內(nèi)表示程序元素，例如變量、函數(shù)名稱、數(shù)據(jù)庫(kù)、數(shù)據(jù)類型、環(huán)境變量、語(yǔ)句和關(guān)鍵字。粗體等寬字體（Constant width bold）表示應(yīng)由用戶原封不動(dòng)輸入的命令或其他文本。斜體等寬字體（Constant width italic）表示應(yīng)該替換成用戶提供值的文本，或者由上下文決定的值。使用代碼示例補(bǔ)充材料（代碼示例、練習(xí)等）可以通過(guò)網(wǎng)址下載：https://githubcom/sryza/aas。與本書(shū)相關(guān)的技術(shù)問(wèn)題，或者在使用代碼示例上有疑問(wèn)，請(qǐng)發(fā)電子郵件到errata@oreillycomcn。本書(shū)的目的是幫助你完成工作。一般來(lái)說(shuō)，本書(shū)提供的示例代碼，你可以在自己的程序或文檔中使用而無(wú)需聯(lián)系我們獲取許可，除非你需要復(fù)制大量代碼。例如，使用本書(shū)中的代碼片段編寫(xiě)程序無(wú)需授權(quán)許可，但銷(xiāo)售或發(fā)行OReilly圖書(shū)中的示例則需要獲得許可。引用本書(shū)中的示例代碼回答問(wèn)題無(wú)需獲得許可。但在產(chǎn)品文檔中本書(shū)中使用大量示例代碼則需要獲得許可。我們很希望但并不強(qiáng)制要求你在引用本書(shū)內(nèi)容時(shí)加上引用說(shuō)明。引用說(shuō)明一般包括書(shū)名、作者、出版社和ISBN，例如：Advanced Analytics with PySpark by Akash Tandon, Sandy Ryza, Uri Laserson, Sean Owen, and Josh Wills (OReilly) Copyright 2022 Akash Tandon, 978-1-098-10365-1。如果你覺(jué)得自己對(duì)示例代碼的使用超出了上述許可范圍， 請(qǐng)通過(guò)permissions@oreillycom 與我們聯(lián)系。OReilly 在線學(xué)習(xí)平臺(tái)（OReilly Online Learning）近40 年來(lái)，OReilly Media 致力于提供技術(shù)和商業(yè)培訓(xùn)、知識(shí)和卓越見(jiàn)解，來(lái)幫助眾多公司取得成功。公司獨(dú)有的專家和改革創(chuàng)新者網(wǎng)絡(luò)通過(guò)OReilly 書(shū)籍、文章以及在線學(xué)習(xí)平臺(tái)，分享他們的專業(yè)知識(shí)和實(shí)踐經(jīng)驗(yàn)。OReilly 在線學(xué)習(xí)平臺(tái)按照您的需要提供實(shí)時(shí)培訓(xùn)課程、深入學(xué)習(xí)渠道、交互式編程環(huán)境以及來(lái)自O(shè)Reilly 和其他200 多家出版商的大量書(shū)籍與視頻資料。更多信息，請(qǐng)?jiān)L問(wèn)網(wǎng)站：https://wwworeillycom/。聯(lián)系我們?nèi)魏斡嘘P(guān)本書(shū)的意見(jiàn)或疑問(wèn)，請(qǐng)按照以下地址聯(lián)系出版社。美國(guó)：OReilly Media, Inc1005 Gravenstein Highway NorthSebastopol, CA 95472中國(guó)：北京市西城區(qū)西直門(mén)南大街2 號(hào)成銘大廈C 座807 室（100035）奧萊利技術(shù)咨詢（北京）有限公司勘誤、示例和其他信息可訪問(wèn)https://oreilly/adv-analytics-pyspark 獲取。對(duì)本書(shū)的評(píng)論或技術(shù)疑問(wèn)，可以發(fā)電子郵件到errata@oreillycomcn。欲了解本社圖書(shū)和課程的新聞和信息，請(qǐng)?jiān)L問(wèn)我們的網(wǎng)站http://oreillycom。我們的LinkedIn：https://linkedincom/company/oreilly-media。我們的Twitter：http://twittercom/oreillymedia。我們的YouTube：http://youtubecom/oreillymedia。致謝毫無(wú)疑問(wèn)，如果沒(méi)有Apache Spark 和MLlib 的存在，就不會(huì)有本書(shū)。我們都應(yīng)該感謝構(gòu)建和它的開(kāi)源團(tuán)隊(duì)，以及為它添加內(nèi)容的數(shù)百名貢獻(xiàn)者。我們要感謝每一位花了大量時(shí)間并以專業(yè)角度審閱本書(shū)前幾版內(nèi)容的人:Michael Bernico、Adam Breindel、Ian Buss、Parviz Deyhim、Jeremy Freeman、Chris Fregly、Debashish Ghosh、Juliet Hougland、Jonathan Keebler、Nisha Muktewar、Frank Nothaft、Nick Pentreath、Kostas Sakellis、Tom White、Marcelo Vanzin 和Juliet Hougland。感謝大家! 這極大地改善了本書(shū)最終版本的結(jié)構(gòu)和質(zhì)量。Sandy 還要感謝Jordan Pinkus 和Richard Wang，感謝他們?cè)陲L(fēng)險(xiǎn)這一章的理論方面給予幫助。感謝Jeff Bleiel 和OReilly 為本書(shū)的出版提供了寶貴的經(jīng)驗(yàn)和大力支持。