前　　言
第2版說明
自本書第1版第1次于2019年10月印刷至今，已累計印刷了9次。在這3年的時間里，深度學習的發(fā)展可謂日新月異，其應用范圍得到進一步拓展，同時出現了很多新的框架、新的方向。
在眾多創(chuàng)新中，注意力機制是一個典型代表。注意力機制，尤其是以Transformer為基礎的一些模型，在自然語言處理（NLP）領域取得了目前最好的效果（如SOTA），近幾年研究人員把這種模型（如ViT模型、Swin-T模型等）應用到計算機視覺領域，也取得了巨大成功。
為此，本書第2版增強了注意力機制的相關內容，把注意力機制單獨列為一章（即第8章），同時增加了注意力機制的應用實例，詳細內容請參考第14章。
人工智能廣泛應用于圖像、視頻、語音等諸多領域，比如人工智能在目標檢測、語義分割等任務中的應用日益受到大家的關注，所以在第2版中我們增加了這方面的內容，具體可參考第9章和第15章。
除了這些新增內容外，第2版對很多原有內容進行了補充和完善，如PyTorch基礎、優(yōu)化算法、視覺處理基礎、自然語言處理基礎等內容。
讀者對象
對機器學習、深度學習感興趣的高校學生及工程師。
對Python、PyTorch、TensorFlow等感興趣并希望進一步提升水平的高校學生及工程師。
如何閱讀本書
本書分為三部分，共19章。
第一部分（第1～4章）為PyTorch基礎，這是本書的基礎部分，能為后續(xù)學習打好堅實基礎。第1章介紹Python和PyTorch的基石NumPy；第2章介紹PyTorch基礎知識；第3章和第4章分別介紹PyTorch神經網絡工具箱和數據處理工具箱等內容。
第二部分（第5～10章）為深度學習基礎，這也是本書的核心部分。第5章為機器學習基礎，也是深度學習基礎，其中包含很多機器學習經典理論、算法和方法等內容；第6章為視覺處理基礎，介紹卷積神經網絡的相關概念、原理及架構等內容，并用PyTorch實現多個視覺處理實例；第7章介紹自然語言處理基礎，重點介紹循環(huán)神經網絡的原理和架構，同時介紹了詞嵌入等內容，然后用PyTorch實現多個自然語言處理、時間序列方面的實例；第8章介紹注意力機制；第9章介紹目標檢測與語義分割；第10章介紹生成式深度學習的相關內容，具體包括編碼器-解碼器模型、帶注意力的編碼器-解碼器模型、生成式對抗網絡及多種衍生生成器，同時使用PyTorch實現多個生成式對抗網絡實例。
第三部分（第11～19章）為深度學習實戰(zhàn)，即前面兩部分知識的具體應用。這部分在介紹相關原理、架構的基礎上，使用PyTorch實現多個深度學習的典型應用實例，最后介紹了強化學習、深度強化學習等內容。第11章用PyTorch實現人臉檢測與識別；第12章用PyTorch實現遷移學習；第13章用PyTorch實現中英文互譯；第14章使用ViT進行圖像分類；第15章為語義分割實例；第16章介紹多個生成模型實例；第17章介紹對抗攻擊原理及用PyTorch實現對抗攻擊實例；第18章和第19章介紹了強化學習、深度強化學習基礎知識及多個強化學習實例。
勘誤和支持
在本書編寫過程中得到了張魁、劉未昕等人的大力支持，他們負責整個環(huán)境的搭建和維護工作。由于筆者水平有限，書中難免存在錯誤或不準確的地方，懇請讀者批評指正。你可以通過訪問httpgithub.comWumg 3000feiguyunai下載代碼和數據，也可以通過QQ交流群（493272175）進行反饋，非常感謝你的支持和幫助。
致謝
在本書編寫過程中，得到了很多同事、朋友、老師和同學的大力支持！感謝博世的王冬、王紅星；感謝上海交大慧谷的程國旗老師，上海大學的白延琴老師、李常品老師，上海師范大學的田紅炯老師、李昭祥老師，以及贛南師范大學的許景飛老師等。
感謝機械工業(yè)出版社的編輯給予本書的大力支持和幫助。
最后，感謝我的愛人趙成娟，她在繁忙的教學之余幫助審稿，提出許多改進意見或建議。

吳茂貴


PREFACE
第1版前言
為什么寫這本書
在人工智能時代，如何盡快掌握人工智能的核心深度學習呢？相信這是每個欲進入此領域的人面臨的主要問題。目前，深度學習框架很多，如TensorFlow、PyTorch、Keras、FastAI、CNTK等，這些框架各有優(yōu)點或不足，如何選擇呢？是否有一些標準？有，我覺得適合自己的就是最好的。
如果你是一位初學者，建議你選擇PyTorch，待有了一定的基礎之后，可以學習其他框架，如TensorFlow、CNTK等。建議初學者選擇PyTorch的主要依據如下。
1）PyTorch是動態(tài)計算圖，更貼近Python的用法，并且PyTorch與Python共用了許多NumPy命令，降低了學習門檻，比TensorFlow更容易上手。
2）PyTorch需要定義網絡層、參數更新等關鍵步驟，這非常有助于理解深度學習的核心；而Keras雖然也非常簡單，容易上手，但封裝粒度很粗，隱藏了很多關鍵步驟。
3）PyTorch的動態(tài)圖機制在調試方面非常方便，如果計算圖運行出錯，馬上可以跟蹤問題。PyTorch與Python一樣，通過斷點檢查就可以高效解決問題。
4）PyTorch的流行度僅次于 TensorFlow。而最近一年，在GitHub關注度和貢獻者的增長方面，PyTorch與TensorFlow 基本持平。PyTorch 的搜索熱度持續(xù)上漲，再加上FastAI的支持，PyTorch 將受到越來越多的機器學習從業(yè)者的青睞。
深度學習是人工智能的核心，隨著大量相關項目的落地，人們對深度學習的興趣也持續(xù)上升。不過掌握深度學習知識并不是一件輕松的事情，尤其是對機器學習或深度學習的初學者來說挑戰(zhàn)更大。為了能讓廣大人工智能初學者或愛好者在較短時間內掌握深度學習基礎及利用PyTorch解決深度學習問題，我們花了近一年時間打磨這本書，在內容選擇、安排和組織等方面采用了如下方法。
1.內容選擇：廣泛涉獵 精講 注重實戰(zhàn)
深度學習涉及面比較廣，且有一定門檻，沒有一定廣度很難達到一定深度，所以本書基本包括了機器學習、深度學習的主要內容，各章一般先簡單介紹相應的組件（工具）或原理，這些內容有助于讀者理解深度學習的本質。當然，如果只有概念、框架、原理、數學公式的介紹，可能顯得有點抽象或乏味，所以，每章都配有大量實踐案例，以便加深讀者對原理和公式的理解，同時有利于把相關內容融會貫通起來。
2.內容安排：簡單實例開始 循序漸進講解
深度學習是一塊難啃的硬骨頭，對有一定開發(fā)經驗和數學基礎的讀者如此，對初學者更是如此。其中卷積神經網絡、循環(huán)神經網絡、生成式對抗網絡是深度學習的基石，同時也是深度學習的三大硬骨頭。為了讓讀者更好地理解并掌握這些網絡，我們采用循序漸進的方式，先從簡單特例開始，然后逐步進入更一般性的內容介紹，最后通過一些PyTorch代碼實例將其實現，整本書的結構及各章節(jié)內容安排都遵循這個原則。此外，一些優(yōu)化方法也采用這種內容安排方式，如對數據集CIFAR10進行分類優(yōu)化時，先用一般卷積神經網絡，然后使用集成方法、現代經典網絡，最后采用數據增強和遷移方法，不斷提升模型精度，由最初的68%逐步提升到74%和90%，最后達到95%左右。
3.表達形式：讓圖說話，一張好圖勝過千言萬語
機器學習、深度學習中有很多抽象的概念、復雜的算法、深奧的理論等，如NumPy的廣播機制、梯度下降對學習率敏感、神經網絡中的共享參數、動量優(yōu)化法、梯度消失或爆炸等，這些概念如果只用文字來描述，可能很難達到茅塞頓開的效果。但如果用一些圖形來展現，再加上適當的文字說明，往往能取得非常好的效果，正所謂一張好圖勝過千言萬語。
除了以上談到的3個方面，為了幫助大家更好地理解并且更快地掌握機器學習、深度學習這些人工智能的核心內容，本書還介紹了其他方法，用心的讀者將能體會到。我們希望通過這些方法帶給你不一樣的理解和體驗，使你感到抽象的數學不抽象、復雜的算法不復雜、難學的深度學習不難學。
至于人工智能（AI）的重要性，我想就不用多說了。如果說2016年前屬于擺事實論證的階段，2017年和2018年屬于事實勝于雄辯的階段，那么2019年及以后就進入百舸爭流、奮楫者先的階段。目前各行各業(yè)都忙于AI ，大家都希望通過AI來改造傳統流程、傳統結構、傳統業(yè)務、傳統架構，其效果猶如用電改造原有的各行各業(yè)一樣。
本書特色
本書特色概括來說就是：把理論原理與代碼實現相結合；找準切入點，從簡單到一般，把復雜問題簡單化；圖文并茂使抽象問題直觀化；實例說明使抽象問題具體化。希望本書能帶給你新的視角、新的理解，甚至更好的未來。
讀者對象
對機器學習、深度學習感興趣的高校學生及工程師。
對Python、PyTorch、TensorFlow等感興趣并希望進一步提升水平的高校學生及工程師。
如何閱讀本書
本書分為三部分，共16章。
第一部分（第1～4章）為PyTorch基礎，這是本書的基礎，能為后續(xù)章節(jié)的學習打下堅實基礎。第1章介紹Python和PyTorch的基石NumPy；第2章介紹PyTorch基礎知識；第3章和第4章分別介紹PyTorch神經網絡工具箱和數據處理工具箱等內容。
第二部分（第5～8章）為深度學習基本原理，也是本書的核心部分，包括機器學習流程、常用算法和技巧等內容。第5章為機器學習基礎，也是深度學習基礎，其中包含很多機器學習經典理論、算法和方法等內容；第6章為視覺處理基礎，介紹卷積神經網絡的相關概念、原理及架構等內容，并用PyTorch實現多個視覺處理實例；第7章介紹自然語言處理基礎，重點介紹循環(huán)神經網絡的原理和架構，同時介紹了詞嵌入等內容，然后用PyTorch實現多個自然語言處理、時間序列方面的實例；第8章介紹生成式深度學習的相關內容，具體包括編碼器解碼器模型、帶注意力的編碼器解碼器模型、生成式對抗網絡及多種衍生網絡，同時用PyTorch實現多個生成式對抗網絡實例。
第三部分（第9～16章）為實戰(zhàn)部分，即前面兩部分知識的具體應用，這部分在介紹相關原理、架構的基礎上，用PyTorch具體實現多個深度學習的典型實例，最后介紹了強化學習、深度強化學習等內容。第9章用PyTorch實現人臉檢測與識別；第10章用PyTorch實現遷移學習；第11章用PyTorch實現中英文互譯；第12章實現多個生成式網絡實例；第13章主要介紹如何進行模型遷移；第14章介紹對抗攻擊原理及用PyTorch實現對抗攻擊實例；第15章和第16章介紹了強化學習、深度強化學習基礎及多個強化學習實例