本書簡(jiǎn)潔且全面地介紹了現(xiàn)代神經(jīng)網(wǎng)絡(luò)、人工智能和深度學(xué)習(xí)技術(shù)，專門為軟件工程師和數(shù)據(jù)科學(xué)家設(shè)計(jì)。它是另外兩本著作Deep Learning with Keras[1]和TensorFlow 1.x Deep Learning Cookbook[2]的延續(xù)。
本書目標(biāo)
本書對(duì)過去幾年中深度學(xué)習(xí)技術(shù)的演進(jìn)做了概括，并給出了用Python寫的數(shù)十種可運(yùn)行的深度神經(jīng)網(wǎng)絡(luò)代碼，它們都是用基于類Keras[1] API的模塊化深度網(wǎng)絡(luò)庫TensorFlow 2.0實(shí)現(xiàn)的。
本書將循序漸進(jìn)地介紹有監(jiān)督學(xué)習(xí)算法，包括簡(jiǎn)單線性回歸、經(jīng)典多層感知器，以及更為復(fù)雜的深度卷積網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)。本書還涵蓋無監(jiān)督學(xué)習(xí)算法，包括自編碼器和生成網(wǎng)絡(luò)，并對(duì)循環(huán)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)進(jìn)行詳細(xì)解釋。此外，本書還會(huì)對(duì)深度強(qiáng)化學(xué)習(xí)進(jìn)行全面介紹，并涵蓋深度學(xué)習(xí)加速器（GPU和TPU）、云開發(fā)以及在桌面系統(tǒng)、云服務(wù)、移動(dòng)設(shè)備/物聯(lián)網(wǎng)（IoT）和瀏覽器上的多環(huán)境部署。
實(shí)際應(yīng)用包括將文本分類為預(yù)定義類別、語法分析、語義分析、文本合成以及詞性標(biāo)注。書中我們還會(huì)探討圖像處理，包括手寫數(shù)字圖像識(shí)別、圖像分類以及具有相關(guān)圖像注釋的高級(jí)對(duì)象識(shí)別。
聲音分析包括識(shí)別來自多個(gè)揚(yáng)聲器的離散語音。本書還介紹使用自編碼器和GAN生成圖像，使用強(qiáng)化學(xué)習(xí)技術(shù)構(gòu)建能夠自主學(xué)習(xí)的深度Q學(xué)習(xí)網(wǎng)絡(luò)。實(shí)驗(yàn)是本書的精髓。每個(gè)網(wǎng)絡(luò)都增加了多種變體，這些變體通過更改輸入?yún)��?shù)、網(wǎng)絡(luò)形狀、損失函數(shù)和優(yōu)化算法來逐步提高學(xué)習(xí)性能。本書還提供在CPU、GPU和TPU上進(jìn)行訓(xùn)練的對(duì)比。本書將介紹新領(lǐng)域AutoML，在該領(lǐng)域中，我們將學(xué)習(xí)如何高效和自動(dòng)地構(gòu)建深度學(xué)習(xí)模型。第15章專門介紹機(jī)器學(xué)習(xí)相關(guān)的數(shù)學(xué)知識(shí)。
機(jī)器學(xué)習(xí)、人工智能和深度學(xué)習(xí)寒武紀(jì)爆炸
人工智能（Artificial Intelligence，AI）為本書討論的所有內(nèi)容奠定了基礎(chǔ)。機(jī)器學(xué)習(xí)（Machine Learning，ML）是AI的一個(gè)分支，而深度學(xué)習(xí)（Deep Learning，DL）又是ML中的一個(gè)子集。下面簡(jiǎn)要討論本書中經(jīng)常出現(xiàn)的這三個(gè)概念。
AI表示機(jī)器模仿人類通常表現(xiàn)出的智能行為的任何活動(dòng)。更正式地說，這是一個(gè)研究領(lǐng)域，機(jī)器旨在復(fù)制認(rèn)知能力，例如學(xué)習(xí)行為、與環(huán)境的主動(dòng)交互、推理和演繹、計(jì)算機(jī)視覺、語音識(shí)別、問題求解、知識(shí)表示和感知。AI建立在計(jì)算機(jī)科學(xué)、數(shù)學(xué)和統(tǒng)計(jì)學(xué)以及心理學(xué)和其他研究人類行為的科學(xué)的基礎(chǔ)上。建立AI有多種策略。在20世紀(jì)70年代和20世紀(jì)80年代，專家系統(tǒng)變得非常流行。這些系統(tǒng)的目標(biāo)是通過用大量手動(dòng)定義的if-then規(guī)則表示知識(shí)來解決復(fù)雜的問題。這種方法適用于非常特定的領(lǐng)域中的小問題，但無法擴(kuò)展到較大的問題和多領(lǐng)域中。后來，AI越來越關(guān)注基于統(tǒng)計(jì)的方法。
ML是AI的一個(gè)子學(xué)科，它專注于教授計(jì)算機(jī)如何對(duì)特定任務(wù)進(jìn)行學(xué)習(xí)而無須編程。ML背后的關(guān)鍵思想是可以創(chuàng)建從數(shù)據(jù)中學(xué)習(xí)并做出預(yù)測(cè)的算法。ML有三類：
有監(jiān)督學(xué)習(xí)，向機(jī)器提供輸入數(shù)據(jù)及期望輸出，目的是從這些訓(xùn)練實(shí)例中學(xué)習(xí)，以使機(jī)器可以對(duì)從未見過的數(shù)據(jù)做出有意義的預(yù)測(cè)。
無監(jiān)督學(xué)習(xí)，僅向機(jī)器提供輸入數(shù)據(jù)，機(jī)器隨后必須自己尋找一些有意義的結(jié)構(gòu)，而無須外部監(jiān)督或輸入。
增強(qiáng)學(xué)習(xí)，機(jī)器充當(dāng)代理，與環(huán)境交互。如果機(jī)器的行為符合要求，就會(huì)有獎(jiǎng)勵(lì)；否則，就會(huì)受到懲罰。機(jī)器試圖通過學(xué)習(xí)相應(yīng)地發(fā)展其行為來化獎(jiǎng)勵(lì)。
DL在2012年席卷全球。在那一年，ImageNet 2012挑戰(zhàn)賽[3]發(fā)起，其目的是使用大型手工標(biāo)記數(shù)據(jù)集的子集來預(yù)測(cè)照片的內(nèi)容。名為AlexNet[4]的深度學(xué)習(xí)模型達(dá)到了15.3%的top-5錯(cuò)誤率，這與早前的結(jié)果相比有了顯著改進(jìn)。根據(jù)《經(jīng)濟(jì)學(xué)人》 [5]的說法，突然之間，人們開始關(guān)注深度學(xué)習(xí)，不僅是在AI社區(qū)內(nèi)部，而且是整個(gè)技術(shù)行業(yè)。 自2012年以來，我們看到了對(duì)ImageNet圖像進(jìn)行分類的多個(gè)模型的持續(xù)進(jìn)展[5]（見圖1），錯(cuò)誤率低于2%，優(yōu)于5.1%的預(yù)計(jì)人為錯(cuò)誤率。
那僅僅是開始。如今，DL技術(shù)已成功應(yīng)用于異構(gòu)領(lǐng)域，包括但不限于醫(yī)療保健、環(huán)境工程、綠色能源、計(jì)算機(jī)視覺、文本分析、多媒體、金融、零售、游戲、模擬、工業(yè)、機(jī)器人技術(shù)和自動(dòng)駕駛汽車。在每一個(gè)領(lǐng)域中，DL技術(shù)都可以以一定的準(zhǔn)確度解決問題，而這是以前的方法無法實(shí)現(xiàn)的。
毫無疑問，人們對(duì)DL的興趣也在增加。有報(bào)告[9]顯示，每20分鐘就會(huì)有新的ML論文發(fā)表。機(jī)器學(xué)習(xí)論文的增長(zhǎng)率約為每月3.5%，每年50%。在過去的三年中，我們好像生活在DL的寒武紀(jì)大爆炸中，arXiv上論文數(shù)量的增長(zhǎng)速度超過了摩爾定律（見圖2）。正如評(píng)論所說：這使你感到人們相信這是計(jì)算的未來價(jià)值的來源。

圖1　ImageNet 2012上不同的深度學(xué)習(xí)模型實(shí)現(xiàn)的top-5準(zhǔn)確度

圖2　arXiv上ML論文數(shù)量似乎比摩爾定律增長(zhǎng)更快（源自：https://www.kdnuggets.com/2018/12/deep-learning-major-advances-review.html）
arXiv是電子預(yù)印本的存儲(chǔ)庫，預(yù)印本尚未進(jìn)行完整的同行評(píng)審。
深度學(xué)習(xí)模型的復(fù)雜性也在增加。ResNet-50是一種圖像識(shí)別模型（參見第4章和第5章），具有約2600萬個(gè)參數(shù)。每個(gè)參數(shù)都是用于微調(diào)模型的權(quán)重。Transformer、gpt-1、bert和gpt-2[7]都是自然語言處理模型（參見第8章），具備在文本上執(zhí)行各種任務(wù)