2022年底，由OpenAI發(fā)布的ChatGPT展現(xiàn)了人工智能（Artificial Intelligence，AI）與人類進(jìn)行流暢對(duì)話和問(wèn)答的專業(yè)能力，剛一發(fā)布就引發(fā)了巨大關(guān)注。作為生成式AI領(lǐng)域的第一個(gè)現(xiàn)象級(jí)產(chǎn)品，ChatGPT已經(jīng)在搜索、編程、客服等多個(gè)領(lǐng)域顯著提升了人類的工作效率。人們不僅對(duì)AI模型目前的能力感到驚訝，更對(duì)其跨行業(yè)多領(lǐng)域的應(yīng)用潛力感到振奮，許多人甚至認(rèn)為一個(gè)由人工智能驅(qū)動(dòng)的第四次工業(yè)革命已經(jīng)拉開(kāi)序幕。
ChatGPT的成功不僅歸功于其出色的模型架構(gòu)，還得益于其在工程方面的極致優(yōu)化這個(gè)龐大的模型基于海量互聯(lián)網(wǎng)文本數(shù)據(jù)，在由超過(guò)一萬(wàn)張GPU組成的計(jì)算集群上進(jìn)行了數(shù)月的訓(xùn)練。這不僅需要在穩(wěn)定性和性能方面對(duì)分布式訓(xùn)練策略進(jìn)行極致優(yōu)化，還充分挑戰(zhàn)了當(dāng)前軟件和硬件的極限，成為了AI工程領(lǐng)域的里程碑。
AI系統(tǒng)工程（AI Systems Engineering）是AI算法與系統(tǒng)的交叉領(lǐng)域。從訓(xùn)練到部署，所有涉及軟件和計(jì)算集群的部分幾乎都可以劃為AI系統(tǒng)工程的范圍，包括持續(xù)優(yōu)化的GPU硬件架構(gòu)、建立高速互聯(lián)的GPU數(shù)據(jù)中心、開(kāi)發(fā)用戶友好且可擴(kuò)展的AI框架等。目前市面上有許多關(guān)于AI算法和模型架構(gòu)方面的書(shū)籍和課程，但關(guān)于AI系統(tǒng)工程的資料卻非常稀缺。這些工程實(shí)踐技巧通常散落在用戶手冊(cè)、專家博客，甚至GitHub問(wèn)題討論中，由于覆蓋面廣且知識(shí)點(diǎn)分散，新入行的工程師在系統(tǒng)性構(gòu)建AI系統(tǒng)工程知識(shí)體系時(shí)面臨諸多挑戰(zhàn)。
因此，本書(shū)致力于實(shí)現(xiàn)以下兩個(gè)目標(biāo)：
從深度學(xué)習(xí)訓(xùn)練的視角講解AI工程中必要的軟硬件組件，幫助讀者系統(tǒng)性地了解深度學(xué)習(xí)性能問(wèn)題的根源。詳盡分析硬件參數(shù)和軟件特性對(duì)訓(xùn)練效果的影響，并提供了一套從定位問(wèn)題、分析問(wèn)題到解決問(wèn)題的流程。
深入探討應(yīng)對(duì)數(shù)據(jù)和模型規(guī)模快速增長(zhǎng)的具體策略。從顯存優(yōu)化到訓(xùn)練加速，從單機(jī)單卡到分布式訓(xùn)練的優(yōu)化，系統(tǒng)地介紹提升模型訓(xùn)練規(guī)模和性能的多種途徑。我們希望讀者能夠理解這些策略各自的優(yōu)勢(shì)與局限，并根據(jù)實(shí)際情況靈活應(yīng)用。
本書(shū)將通過(guò)PyTorch代碼實(shí)例演示不同的特性和優(yōu)化技巧，盡量避免使用晦澀難懂的公式，通過(guò)簡(jiǎn)單的例子講清問(wèn)題的來(lái)龍去脈。然而，AI系統(tǒng)工程是個(gè)非常寬泛的交叉領(lǐng)域，無(wú)論是書(shū)籍的篇幅還是筆者的實(shí)際經(jīng)驗(yàn)都有一定的局限性，因此本書(shū)很難面面俱到地涵蓋所有內(nèi)容，比如：
本書(shū)不涉及模型架構(gòu)的算法講解。我們假定讀者已經(jīng)對(duì)要解決的問(wèn)題和可能使用的模型架構(gòu)有所了解，甚至已經(jīng)有一些可運(yùn)行的雛形代碼，以此作為性能或顯存優(yōu)化的基礎(chǔ)。
本書(shū)通常不會(huì)介紹PyTorch等工具的API接口和參數(shù)設(shè)置細(xì)節(jié)，除非這些信息與優(yōu)化直接相關(guān)。這類信息在各工具的官方文檔中已有詳盡的描述和豐富的代碼示例，且可能隨版本更新發(fā)生變化。如果讀者在使用這些接口時(shí)遇到問(wèn)題，建議直接參考相關(guān)文檔。本書(shū)的目標(biāo)并不是成為這些文檔的中文版本，而是闡釋其中的原理和思路，使讀者能夠更靈活地使用這些工具。
本書(shū)不涵蓋專門(mén)針對(duì)推理部署設(shè)計(jì)的算法、性能優(yōu)化和專用加速芯片等知識(shí)。模型推理的技巧通常與特定應(yīng)用緊密相關(guān)，有時(shí)為了追求極致的性能，甚至需要采用一些非常規(guī)的技巧。因此，模型推理不是本書(shū)的重點(diǎn)，我們將聚焦于更具通用性的訓(xùn)練部分。
本書(shū)在討論自定義算子時(shí)會(huì)簡(jiǎn)要提及CUDA語(yǔ)言，但不會(huì)深入講解如何使用CUDA編寫(xiě)高性能算子。CUDA作為一種專業(yè)性很強(qiáng)的編程語(yǔ)言，需要對(duì)GPU硬件架構(gòu)和并行計(jì)算有深入了解。然而，即便沒(méi)有CUDA相關(guān)背景，也不影響對(duì)本書(shū)內(nèi)容的理解和應(yīng)用。希望深入研究CUDA的讀者，可以在網(wǎng)上找到大量高質(zhì)量的書(shū)籍和教程。
本書(shū)將從工程的角度著手，解決模型訓(xùn)練中的規(guī)模和效率問(wèn)題。即使讀者不熟悉這些內(nèi)容，也無(wú)須擔(dān)心。如圖0-1所示，書(shū)中內(nèi)容將分為10章，由淺入深地進(jìn)行講解。
第1～4章從硬件和軟件的基礎(chǔ)知識(shí)入手，詳細(xì)介紹深度學(xué)習(xí)所需的軟硬件知識(shí)和定位性能瓶頸所需的工具。
第5～8章結(jié)合具體的代碼實(shí)例，逐一探討訓(xùn)練過(guò)程中的優(yōu)化策略背后的原理和思路。
第9和10章重點(diǎn)介紹綜合優(yōu)化的方法和實(shí)踐。結(jié)合GPT-2模型的優(yōu)化過(guò)程，直觀展示每種優(yōu)化技術(shù)的使用方式和實(shí)際效果。

圖0-1 本書(shū)知識(shí)架構(gòu)
除此以外，本書(shū)中的示例代碼是基于Linux（Ubuntu 22.04）開(kāi)發(fā)和驗(yàn)證的，但是所使用的大部分工具也有對(duì)應(yīng)的Windows版本。部分Linux專有工具如htop等，在Windows上也應(yīng)能輕易找到替代品。因此，無(wú)論使用Windows還是使用Linux的讀者都能順暢閱讀本書(shū)。
本書(shū)將優(yōu)先使用專業(yè)術(shù)語(yǔ)的中文版本。然而，由于深度學(xué)習(xí)領(lǐng)域的許多術(shù)語(yǔ)缺乏統(tǒng)一的中文翻譯，在某些場(chǎng)景中使用英文會(huì)更有助于讀者的理解。例如，BatchSize在日常使用中比其中文翻譯批處理大小更常見(jiàn)，而在衡量模型參數(shù)量大小時(shí)，M和B相比于它們的中文百萬(wàn)和十億來(lái)說(shuō)也是更通用的說(shuō)法。除此以外，在部分示意圖中還會(huì)出現(xiàn)使用Tensor替代張量的情況。綜上所述，我們將在必要時(shí)使用英文術(shù)語(yǔ)或縮寫(xiě)，并在它們首次出現(xiàn)時(shí)在括號(hào)中提供相應(yīng)的注釋以幫助讀者理解。
此外，本書(shū)對(duì)部分性能圖譜的圖片進(jìn)行了黑白化處理，以便突出關(guān)鍵內(nèi)容和標(biāo)注。書(shū)中首次出現(xiàn)的重點(diǎn)概念將以黑色粗體顯示，關(guān)鍵結(jié)論則會(huì)以藍(lán)色粗體顯示，幫助讀者識(shí)別和記住這些重要內(nèi)容。
致謝
在本書(shū)的寫(xiě)作和審閱過(guò)程中，我們得到了許多朋友的寶貴幫助和支持。在此，特向他們表示誠(chéng)摯的感謝。
在技術(shù)內(nèi)容方面，羅雨屏對(duì)全書(shū)進(jìn)行了全面的審閱和指導(dǎo)；張?jiān)泼鲗?duì)第1章和第2章提出了寶貴的建議；劉家愷對(duì)第1章至第6章提出了寶貴的意見(jiàn)；蘭海東細(xì)致審閱并修改了第2、3、6、7章；王宇軒對(duì)第2章進(jìn)行了細(xì)致的審閱和優(yōu)化；許珈銘對(duì)第2章和第6章提供了具有建設(shè)性的建議；路浩對(duì)第3章和第4章進(jìn)行了細(xì)致的修訂；嚴(yán)軼飛對(duì)第4章進(jìn)行了詳細(xì)的校訂，確保內(nèi)容準(zhǔn)確；蔣毓和田野為第5章提供了寶貴的反饋和審閱；王雨順對(duì)第7章進(jìn)行了深入的改進(jìn)；申晗對(duì)第7章至第9章提出了建設(shè)性的修改建議；與Prithvi Gudapati的討論修正了書(shū)中設(shè)置PyTorch隨機(jī)數(shù)種子的方法。
在圖書(shū)策劃方面，姚麗斌、申美瑩和欒大成在全書(shū)的策劃和編輯過(guò)程中給予了寶貴的建議；王承宸為本書(shū)生成了清晰美觀的代碼圖；戴國(guó)浩提供了實(shí)驗(yàn)用的機(jī)器，保障了實(shí)驗(yàn)的順利進(jìn)行。
此外，在本書(shū)的寫(xiě)作過(guò)程中，筆者借助了ChatGPT進(jìn)行大量文字潤(rùn)色工作，大大提升了寫(xiě)作效率。書(shū)中的圖表主要使用Keynote和FigJam進(jìn)行制作，代碼示例使用基于Carbon的命令行工具carbon-now-cli生成，非常感謝社區(qū)提供的這些實(shí)用工具。
最后，本書(shū)的寫(xiě)作時(shí)間以及筆者的經(jīng)驗(yàn)有限，書(shū)中如有錯(cuò)誤和疏漏，懇請(qǐng)讀者批評(píng)指正。
代碼文件
本書(shū)的代碼文件下載地址為：

同時(shí)也在如下GitHub地址備份更新：
https://github.com/ailzhang/EfficientPyTorch