若干年前，我們團(tuán)隊(duì)正在使用的基于Python的數(shù)據(jù)管道突然崩潰，導(dǎo)致某個(gè)進(jìn)程持續(xù)占用CPU。該組件對(duì)公司業(yè)務(wù)至關(guān)重要，因此必須盡快解決該問(wèn)題。我們核查了算法，始終沒(méi)有發(fā)現(xiàn)問(wèn)題。算法的實(shí)現(xiàn)步驟其實(shí)非常簡(jiǎn)單，但經(jīng)過(guò)多名工程師的數(shù)小時(shí)排查，才發(fā)現(xiàn)問(wèn)題在于程序在一個(gè)非常大的列表上進(jìn)行搜索。在將列表轉(zhuǎn)換為集合后，問(wèn)題就迎刃而解了。最終，數(shù)據(jù)結(jié)構(gòu)不僅變得更小，搜索時(shí)間也從數(shù)小時(shí)降低到毫秒級(jí)別。
這次故障對(duì)我觸動(dòng)很大：
● 雖然問(wèn)題并不嚴(yán)重，但暴露出團(tuán)隊(duì)在開(kāi)發(fā)過(guò)程中并不關(guān)注性能問(wèn)題。如果經(jīng)常使用代碼分析器，我們就能在幾分鐘內(nèi)發(fā)現(xiàn)問(wèn)題，而不是耗費(fèi)了好幾個(gè)小時(shí)。
● 我們最終解決了問(wèn)題，并且取得了雙贏的結(jié)果，不僅程序查詢時(shí)間更短，占用內(nèi)存也更少。雖然在許多情況下，面對(duì)性能和成本需要做出取舍，但在某些情況下，兼顧兩者不僅能獲得滿意的結(jié)果，還沒(méi)有任何負(fù)面影響。
● 從更高的角度審視，結(jié)果也是雙贏的。首先，查詢速度更快非常有利于公司業(yè)務(wù)。其次，算法經(jīng)過(guò)優(yōu)化后，使用CPU的時(shí)間更短、耗能更低，也更加環(huán)保。
● 雖然單個(gè)案例意義有限，但我意識(shí)到許多程序員或許都在尋找類似的優(yōu)化解決方案。
因此，我決定編寫(xiě)本書(shū)，以便其他程序員可以從中受益。我的目標(biāo)是幫助經(jīng)驗(yàn)豐富的Python程序員設(shè)計(jì)和實(shí)現(xiàn)更高效的解決方案，同時(shí)能夠了解底層的權(quán)衡機(jī)制。我將采用全面且透徹的方式，通過(guò)探討Python代碼和重要的Python庫(kù)，從算法角度來(lái)探究現(xiàn)代硬件架構(gòu)及其影響，并分析CPU和存儲(chǔ)性能。希望本書(shū)能夠幫助讀者在使用Python生態(tài)進(jìn)行開(kāi)發(fā)時(shí)，游刃有余地處理性能問(wèn)題。
 

關(guān) 于 本 書(shū)

本書(shū)旨在幫助讀者在Python生態(tài)系統(tǒng)中編寫(xiě)更高效的應(yīng)用程序。更高效是指讓代碼使用的CPU周期更少、占用的存儲(chǔ)空間更少、消耗的網(wǎng)絡(luò)通信更少。
本書(shū)采用全面且透徹的方式來(lái)分析性能問(wèn)題。書(shū)中不僅涉及純Python代碼的優(yōu)化技術(shù)，還介紹了如何高效使用數(shù)據(jù)科學(xué)庫(kù)，如NumPy和pandas。由于Python在某些場(chǎng)景下性能不足，為了使代碼運(yùn)行速度更快，本書(shū)還講解了Cython。為了使內(nèi)容盡量全面，本書(shū)還討論了硬件對(duì)代碼設(shè)計(jì)的影響，即分析現(xiàn)代計(jì)算機(jī)架構(gòu)對(duì)算法性能的影響。另外，還探究了網(wǎng)絡(luò)架構(gòu)對(duì)效率的影響，以及GPU計(jì)算在快速數(shù)據(jù)分析領(lǐng)域中的運(yùn)用。
目標(biāo)讀者
本書(shū)面向中高級(jí)讀者。希望讀者接觸過(guò)目錄中的大部分技術(shù)，并且最好親手使用過(guò)其中一些。除了IO庫(kù)和GPU計(jì)算章節(jié)，本書(shū)只提供了很少的介紹性內(nèi)容，所以要求讀者了解基礎(chǔ)知識(shí)。如果你正在編寫(xiě)高性能代碼，并面臨高效處理海量數(shù)據(jù)的切實(shí)挑戰(zhàn)，這本書(shū)可提供很多建議。
為了從本書(shū)吸收更多的知識(shí)，你應(yīng)該具備多年的Python編程經(jīng)驗(yàn)，熟悉Python控制流、列表、集合和字典，并具備一定Python標(biāo)準(zhǔn)庫(kù)的使用經(jīng)驗(yàn)，如os、sys、pickle和multiprocessing。為了充分運(yùn)用書(shū)中介紹的技術(shù)，你或多或少應(yīng)操作過(guò)標(biāo)準(zhǔn)的數(shù)據(jù)分析庫(kù)，即NumPy和pandas，例如使用過(guò)NumPy中的數(shù)組和pandas中的數(shù)據(jù)幀。
如果你清楚如何通過(guò)C或Rust等語(yǔ)言接口來(lái)加速Python代碼，或者了解Cython或Numba等優(yōu)化工具，即使沒(méi)有實(shí)際操作過(guò)，本書(shū)對(duì)你也會(huì)很有幫助。在Python中處理IO的經(jīng)驗(yàn)對(duì)你也會(huì)有所幫助。鑒于IO庫(kù)方面的學(xué)習(xí)資料較少，我們將從Apache Parque和Zarr庫(kù)開(kāi)始介紹。
讀者應(yīng)該熟練使用Linux終端(或MacOS終端)的基本命令。如果使用Windows，請(qǐng)安裝基于UNIX的終端，并熟悉命令行或PowerShell。此外，你還需要在計(jì)算機(jī)上安裝Python。
在某些示例中，我會(huì)講解云計(jì)算技巧，但訪問(wèn)云或了解云計(jì)算方面的知識(shí)不是閱讀本書(shū)的必要條件。如果你對(duì)云計(jì)算方法感興趣，建議學(xué)習(xí)執(zhí)行云計(jì)算的基本操作，例如，創(chuàng)建實(shí)例和訪問(wèn)云服務(wù)存儲(chǔ)。
雖然本書(shū)不要求讀者接受過(guò)學(xué)術(shù)培訓(xùn)，但了解復(fù)雜度的基本概念是有益的。例如，理解與數(shù)據(jù)量呈線性關(guān)系的算法優(yōu)于與數(shù)據(jù)量呈指數(shù)關(guān)系的算法。如果你想使用GPU進(jìn)行優(yōu)化，閱讀本書(shū)前無(wú)需了解相關(guān)內(nèi)容。
本書(shū)內(nèi)容：學(xué)習(xí)路線圖
本書(shū)各章基本是獨(dú)立的，讀者可以翻閱任何感興趣的章節(jié)。全書(shū)內(nèi)容分為四部分。
第Ⅰ部分“基礎(chǔ)知識(shí)”(第1~4章)，涵蓋了入門知識(shí)。
● 第1章介紹了海量數(shù)據(jù)帶來(lái)的問(wèn)題，并解釋了為什么必須關(guān)注計(jì)算和存儲(chǔ)的效率。本章還介紹了全書(shū)的學(xué)習(xí)方法，并提供了如何根據(jù)需求學(xué)習(xí)本書(shū)的建議。
● 第2章講解了對(duì)原生Python代碼進(jìn)行優(yōu)化的方法。本章還討論了Python數(shù)據(jù)結(jié)構(gòu)的優(yōu)化、代碼分析、內(nèi)存分配和惰性編程技術(shù)。
● 第3章討論了Python中的并發(fā)和并行，以及如何最佳利用多進(jìn)程和多線程(包括使用線程進(jìn)行并行處理的限制)。本章還介紹了異步處理，它通常用于Web服務(wù)中的低負(fù)載、多并發(fā)請(qǐng)求場(chǎng)景。
● 第4章介紹了NumPy，NumPy是用于高效處理多維數(shù)組的庫(kù)。NumPy是當(dāng)前所有數(shù)據(jù)處理技術(shù)的核心，是眾多方法的基本庫(kù)。本章分享了NumPy中的關(guān)鍵功能，如視圖、廣播和數(shù)組編程，以開(kāi)發(fā)更高效的代碼。
第Ⅱ部分“硬件”(第5章和第6章)，主要涉及如何發(fā)揮硬件和網(wǎng)絡(luò)的最大效率。
● 第5章介紹了Cython。Cython基于Python，可以生成非常高效的代碼。Python屬于高級(jí)解釋性語(yǔ)言，因此不適合用于優(yōu)化硬件。其他幾種語(yǔ)言，如C或Rust，從設(shè)計(jì)之初就能在硬件層高效運(yùn)行。Cython屬于底層語(yǔ)言，雖然它與Python很相似，但可以將Cython編譯成C代碼。要想寫(xiě)出高效的Cython代碼，關(guān)鍵在于掌握代碼基礎(chǔ)和實(shí)現(xiàn)方法。在本章中，我們就將學(xué)習(xí)如何編寫(xiě)高效的Cython代碼。
● 第6章討論了硬件架構(gòu)對(duì)高效Python代碼設(shè)計(jì)的影響。鑒于計(jì)算機(jī)的設(shè)計(jì)模式，反直覺(jué)的編程方法可能比預(yù)期的更有效率。例如，在某些情況下，即使需要承擔(dān)解壓縮算法的計(jì)算開(kāi)銷，處理壓縮數(shù)據(jù)也可能比處理未壓縮數(shù)據(jù)的速度更快。本章還介紹了CPU、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)對(duì)Python算法設(shè)計(jì)的影響。另外，本章討論了NumExpr庫(kù)，它能利用最新的硬件架構(gòu)特性使NumPy代碼更高效。
第Ⅲ部分“用于現(xiàn)代數(shù)據(jù)處理的應(yīng)用和庫(kù)”(第7章和第8章)，探討了最新的用于數(shù)據(jù)處理的應(yīng)用和庫(kù)。
● 第7章討論了如何高效使用pandas，pandas是Python中的數(shù)據(jù)幀庫(kù)。我們將研究pandas相關(guān)的技術(shù)，以優(yōu)化代碼。和本書(shū)大多數(shù)章節(jié)不同，這一章的內(nèi)容基于前面的章節(jié)。pandas是在NumPy的基礎(chǔ)上工作的，所以會(huì)借鑒第4章的內(nèi)容，探索與NumPy相關(guān)的技術(shù)進(jìn)而優(yōu)化pandas。我們還將探究如何用NumExpr和Cython優(yōu)化pandas。最后，介紹了Arrow庫(kù)，除了可以提高處理pandas數(shù)據(jù)幀的性能，它還具有其他強(qiáng)大的功能。
● 第8章探討了數(shù)據(jù)持久化的優(yōu)化問(wèn)題。我們討論了能高效處理列型數(shù)據(jù)的庫(kù)Parquet，以及能處理大型磁盤數(shù)組的庫(kù)Zarr。本章還討論了如何處理超過(guò)內(nèi)存容量的數(shù)據(jù)集。
第Ⅳ部分“高級(jí)主題”(第9章和第10章)，涉及最后兩個(gè)與眾不同的方法，即GPU和Dask庫(kù)。
● 第9章探討了圖形處理單元(Graphical Processing Unit，GPU)在處理大型數(shù)據(jù)集方面的使用方法。我們將看到，GPU計(jì)算模型使用大量簡(jiǎn)單的處理單元，完全可以處理最新的數(shù)據(jù)科學(xué)問(wèn)題。我們使用了兩種不同的方法以利用GPU的優(yōu)勢(shì)。首先，將討論現(xiàn)有GPU方面的庫(kù)，這些庫(kù)提供了與其他庫(kù)類似的接口，例如CuPy是NumPy的GPU版本。另外，本章還介紹如何編寫(xiě)在GPU上運(yùn)行的Python代碼。
● 第10章討論了Dask。使用Dask庫(kù)能編寫(xiě)出輕松擴(kuò)展到計(jì)算集群上的并行代碼，它提供了類似于NumPy和pandas的接口。計(jì)算集群既可以位于本地，又可以位于云端。
該書(shū)最后還包括兩個(gè)附錄。
● 附錄A介紹如何安裝所必需的軟件，以使用書(shū)中的示例。
● 附錄B介紹Numba。Numba是Cython的替代品，可以生成高效的底層代碼。Cython和Numba是生成底層代碼的主要途徑。為了解決真實(shí)場(chǎng)景中的問(wèn)題，我推薦使用Numba。但是，為什么正文中用了一整章來(lái)介紹Cython，卻將Numba放在附錄中呢？這是因?yàn)楸緯?shū)的主要目標(biāo)是為你打下堅(jiān)實(shí)的基礎(chǔ)，確保能在Python生態(tài)系統(tǒng)中編寫(xiě)出高效的代碼，而Cython更適合深入了解內(nèi)部的計(jì)算機(jī)制。
獲取代碼
本書(shū)包含許多源代碼示例，既有行間代碼，又有行內(nèi)代碼。為了區(qū)別于普通文本，這兩種樣式的源代碼都采用等寬字體。有時(shí)，也會(huì)加粗代碼，以強(qiáng)調(diào)代碼發(fā)生的變動(dòng)，例如，為已有代碼添加新功能。
在許多示例中，不得不對(duì)初始源代碼的樣式進(jìn)行調(diào)整。為了使頁(yè)面版式更加美觀，添加了換行符，并重新進(jìn)行排版縮進(jìn)。但在極少數(shù)情況下，如此調(diào)整后還要使用連行符(?)。此外，如果文本中對(duì)代碼進(jìn)行了解釋，通常會(huì)刪除源代碼中的注釋。許多代碼附帶有注釋，以突出重要概念。
本書(shū)示例的完整代碼可從GitHub倉(cāng)庫(kù)(https://github.com/tiagoantao/python-performance) 下載，或掃描本書(shū)封底的二維碼進(jìn)行下載。當(dāng)發(fā)現(xiàn)錯(cuò)誤或需要更新Python和庫(kù)時(shí)，我會(huì)更新代碼倉(cāng)庫(kù)。因此，請(qǐng)讀者留意代碼倉(cāng)庫(kù)的變動(dòng)。代碼倉(cāng)庫(kù)為每個(gè)章節(jié)列出了詳細(xì)目錄。
人們對(duì)代碼風(fēng)格各有偏好，我盡量調(diào)整了書(shū)中的代碼，以使代碼在紙質(zhì)版的書(shū)中看起來(lái)更加美觀。例如，我本來(lái)喜歡使用較長(zhǎng)且具有描述性的變量名，但這種名稱的印刷效果一般。因此，書(shū)中使用表達(dá)性的變量名，并遵循標(biāo)準(zhǔn)的Python慣例，如PEP8，同時(shí)確保印刷效果的美觀。本書(shū)對(duì)類型注釋也采取了同樣的做法，我原本想使用類型注釋，但類型注釋妨礙了代碼的可讀性。在極少數(shù)情況下，我使用算法來(lái)增強(qiáng)可讀性，但算法并不能應(yīng)對(duì)所有極端情況，或使代碼邏輯更加清晰。
在大多數(shù)情況下，本書(shū)中的代碼適用于標(biāo)準(zhǔn)的Python解釋器。在少數(shù)情況下，需要使用IPython，特別是進(jìn)行性能分析時(shí)。你也可以使用Jupyter Notebook。
關(guān)于安裝的細(xì)節(jié)可以參考附錄A。如果任何章節(jié)需要使用特殊的軟件，將在適當(dāng)?shù)牡胤阶⒚鳌?br /> 硬件和軟件
讀者可以使用任何操作系統(tǒng)運(yùn)行本書(shū)中的代碼。不過(guò)，大部分生產(chǎn)代碼都部署在Linux上，因此Linux是首選系統(tǒng)�；蛘撸�也可以直接使用MacOS X。如果使用的是Windows，建議安裝Windows Subsystem for Linux(WSL) 。
除了操作系統(tǒng)，還可以選擇Docker。讀者可以使用代碼倉(cāng)庫(kù)中提供的Docker鏡像，Docker提供了容器化的Linux環(huán)境來(lái)運(yùn)行代碼。
建議你使用的計(jì)算機(jī)至少擁有16 GB的內(nèi)存和150 GB的可用磁盤空間。第9章涉及與GPU相關(guān)的內(nèi)容，需要使用NVIDIA GPU，最低基于Pascal架構(gòu)。過(guò)去五年中發(fā)布的大多數(shù)GPU都符合此要求。為了充分學(xué)習(xí)本書(shū)內(nèi)容，有關(guān)環(huán)境準(zhǔn)備的詳細(xì)信息，請(qǐng)參見(jiàn)附錄A。