通過神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計的見解和實踐可解決人工智能問題，理解深度學(xué)習(xí)中最先進網(wǎng)絡(luò)的相關(guān)概念。利用 Python實現(xiàn)的 Theano技術(shù)能夠很容易地計算導(dǎo)數(shù)并最小化所選擇的目標函數(shù)。
本書主要內(nèi)容
第 1章　Theano基礎(chǔ)，幫助讀者學(xué)習(xí)了解 Theano的主要概念，編寫可在不同硬件架構(gòu)上編譯的代碼，并自動優(yōu)化復(fù)雜的數(shù)學(xué)目標函數(shù)。
第 2章　基于前饋神經(jīng)網(wǎng)絡(luò)的手寫體數(shù)字分類，主要介紹一個已證明深度學(xué)習(xí)算法優(yōu)越性的簡單常見示例。最初問題是識別手寫體數(shù)字。
第 3章　單詞的向量編碼，神經(jīng)網(wǎng)絡(luò)的主要難點之一是將真實世界的數(shù)據(jù)連接到神經(jīng)網(wǎng)絡(luò)的輸入端，特別是分類和離散數(shù)據(jù)。本章將介紹一個如何利用 Theano通過訓(xùn)練來構(gòu)建嵌入空間的示例。
這種嵌入方式在機器翻譯、機器人、圖像字幕等方面非常有用，因為可以將真實世界的數(shù)據(jù)轉(zhuǎn)換成可由神經(jīng)網(wǎng)絡(luò)處理的向量數(shù)組。
第 4章　基于遞歸神經(jīng)網(wǎng)絡(luò)的文本生成，通過一個簡單的示例實踐介紹了神經(jīng)網(wǎng)絡(luò)的遞歸，以生成文本。
遞歸神經(jīng)網(wǎng)絡(luò)（ RNN）是深度學(xué)習(xí)中的一個研究熱點，能夠?qū)崿F(xiàn)序列預(yù)測、序列生成、機器翻譯和對象關(guān)聯(lián)等任務(wù)。自然語言處理（ NLP）是推動機器學(xué)習(xí)新技術(shù)發(fā)展的第二個熱門研究領(lǐng)域。
第 5章　基于雙向 LSTM 的情感分析，將嵌入技術(shù)和遞歸層應(yīng)用于自然語言處理的一個新課題，即情感分析。本章實際上是對前幾章內(nèi)容的一種驗證。
以此同時，還介紹了基于 Theano構(gòu)建神經(jīng)網(wǎng)絡(luò)的另一種方法，即采用一種更高級的庫 Keras。
第 6章　基于空間變換網(wǎng)絡(luò)的定位，將遞歸技術(shù)應(yīng)用于圖像，從而一次讀取圖像頁面上的多個數(shù)字。在此，利用用于 Theano深度學(xué)習(xí)的內(nèi)置模塊庫Lasagne來重新構(gòu)建手寫體數(shù)字圖像的分類網(wǎng)絡(luò)及其遞歸模型。
Lasagne庫有助于設(shè)計神經(jīng)網(wǎng)絡(luò)進行更快實驗。在此情況下，將通過空間變換模塊來提高分類質(zhì)量，從而解決計算機視覺中的一個常見難題對象定位問題。
第 7章　基于殘差網(wǎng)絡(luò)的圖像分類，以最佳精度對任何類型的圖像進行分類。同時，為了更容易地構(gòu)建更復(fù)雜網(wǎng)絡(luò)，本章將通過一個已具有許多實現(xiàn)組件的基于 Theano框架的 Lasagne庫來更快地實現(xiàn) Theano下的神經(jīng)網(wǎng)絡(luò)。
第 8章　基于編碼解碼網(wǎng)絡(luò)的翻譯與解釋，介紹了應(yīng)用于文本處理的編碼解碼技術(shù)，這些技術(shù)已大量應(yīng)用于機器翻譯和簡單聊天機器人系統(tǒng)中。同時還可應(yīng)用于圖像處理，
原書前言
主要是實現(xiàn)場景分割和對象定位。最后，圖像字幕技術(shù)是一種圖像編碼和文本解碼相結(jié)合的混合技術(shù)。
本章進一步應(yīng)用了非常流行的高級庫 Keras，由此極大簡化了 Theano下神經(jīng)網(wǎng)絡(luò)的開發(fā)。
第 9章　基于注意力機制的相關(guān)輸入或記憶選擇，為解決更復(fù)雜的任務(wù)，機器學(xué)習(xí)界研究人員一直在尋找一種受自然啟發(fā)的更高層次智能：推理、注意力和記憶。在本章，讀者主要學(xué)習(xí)基于人工智能的記憶網(wǎng)絡(luò)在 NLP中的應(yīng)用：語言理解。
第 10章　基于先進遞歸神經(jīng)網(wǎng)絡(luò)的時間序列預(yù)測，時間序列是機器學(xué)習(xí)中廣泛應(yīng)用的一個重要領(lǐng)域。本章將利用 RNN的先進技術(shù)，來獲得最新成果。
第 11章　強化環(huán)境學(xué)習(xí)，強化學(xué)習(xí)是機器學(xué)習(xí)的一個重要研究領(lǐng)域，主要是訓(xùn)練一個智能體在環(huán)境下的行為（如視頻游戲），通過在環(huán)境中執(zhí)行某些動作（按下控制器上的按鍵）和觀察所發(fā)生的變化來得到一個最優(yōu)量（最大化游戲得分）。
強化學(xué)習(xí)新范式為計算機和現(xiàn)實世界之間的算法設(shè)計和交互開辟了一條全新道路。
第 12章　基于非監(jiān)督式網(wǎng)絡(luò)的特征學(xué)習(xí)，非監(jiān)督式學(xué)習(xí)主要是無需標記訓(xùn)練數(shù)據(jù)的新訓(xùn)練算法。這些算法試圖從數(shù)據(jù)中推斷出稱為因素的隱藏標簽，并由其中一些因素生成新的合成數(shù)據(jù)。
非監(jiān)督式訓(xùn)練在許多情況下非常有用，其中包括無標簽，或人工標注數(shù)據(jù)成本太高，或數(shù)據(jù)集太小而使得特征過擬合數(shù)據(jù)等情況。對于最后一種情況，對未標記數(shù)據(jù)進行更多訓(xùn)練以獲得更好的特征是監(jiān)督式學(xué)習(xí)的基礎(chǔ)。
第 13章　基于 Theano的深度學(xué)習(xí)擴展，擴展了 Theano下深度學(xué)習(xí)的更多可能性。提出了為計算圖創(chuàng)建新算子的方法，在 CPU或 GPU中，簡化 Python程序，或減少 C語言中 Python的開銷。另外，還介紹了 GPU并行編程的基本概念。最后，根據(jù)本書所介紹的第一項技術(shù)，開啟通用人工智能領(lǐng)域，并逐步開發(fā)新技能，使得進一步提高完善。
為何選擇 Theano？
Theano的研發(fā)時間和成本是非常可觀的，要了解其中的原委，一個重要的原因是 Theano是目前最好的深度學(xué)習(xí)技術(shù)，遠非僅是一個深度學(xué)習(xí)庫。選擇 Theano主要是以下 3個原因：
. 具有其他數(shù)值計算庫或深度學(xué)習(xí)庫的類似性能；

. 具有豐富的 Python系統(tǒng)；

. 根據(jù)給定模型，可由數(shù)據(jù)來評估任何函數(shù)約束，從而可以求解任何優(yōu)化問題。


首先考慮技術(shù)本身的性能。在深度學(xué)習(xí)方面常用的庫有 Theano（用于 Python）、 Torch（用于 Lua）、Tensorflow（用于 Python）和 Caffe（用于 C 和 Python封裝）。目前已有很多基準可對深入學(xué)習(xí)技術(shù)進行比較。
2012年 Bastien等人提出（ Theano：new features and speed improvements，F(xiàn)rédéricBastien， Pascal Lamblin，Razvan Pascanu，James Bergstra，Ian Goodfellow，Arnaud Bergeron，Nicolas Bouchard，David Warde-Farley，Yoshua Bengio，Nov 2012），Theano在運行速度方面取得了重大進展，但這是在執(zhí)行不同的任務(wù)下比較的，并不能明確表明在其他技術(shù)中具有明顯的優(yōu)勢。 2016年 Bahrampour等人（ Comparative Study of Deep Learning Software Frameworks，Soheil Bahrampour，Naveen Ramakrishnan，Lukas Schott，Mohak Shah，mars 2016）研究得出了以下結(jié)論：
. 在基于 GPU的已訓(xùn)練完成卷積和完全連接網(wǎng)絡(luò)的部署方面， Torch最適合，其次是 Theano；

. 在基于 GPU訓(xùn)練卷積網(wǎng)絡(luò)和完全連接網(wǎng)絡(luò)方面，對于小型網(wǎng)絡(luò) Theano是最快的，而對于較大網(wǎng)絡(luò) Torch是最快的；

. 在基于 GPU的遞歸網(wǎng)絡(luò)（LSTM）訓(xùn)練和部署方面，Theano的性能最佳；

. 在基于 CPU的任何測試深度網(wǎng)絡(luò)架構(gòu)的訓(xùn)練和部署方面， Torch表現(xiàn)最好，其次是 Theano。


這些結(jié)論均已在開源 rnn-benchmarks（https://github.com/glample/rnn-benchmarks）中得到驗證，其中在訓(xùn)練（前向 后向）方面， Theano性能優(yōu)于 Torch和 TensorFlow。另外，在具有大量隱層單元且批大小較小時， Theano 的性能完全碾壓 Torch和 TensorFlow。而對于批大小和隱層個數(shù)較大時，性能差別較小，這是由于更多依賴于 CUDA的性能，這是對于所有框架通用的底層 NVIDIA圖形庫。最后，在最新的 soumith benchmarks（https://github.com/soumith/ convent-benchmarks）中， Theano的 fftconv在 CPU上執(zhí)行性能最佳，而在 GPU上執(zhí)行卷積運算最佳的是 cuda-convnet2，對于 fbfft執(zhí)行最佳的是 CUDA擴展庫，即底層標準庫。這些結(jié)論表明，盡管測試結(jié)果是多方面的，但 Theano在執(zhí)行速度方面起著主導(dǎo)作用。
其次，選擇 Theano而不是 Torch的原因在于其不僅繼承了 Python系統(tǒng)的優(yōu)點，而且還擁有專為 Theano而開發(fā)的大量庫，從而具有豐富的編程系統(tǒng)。本書將介紹其中的兩個高級庫Lasagne和 Keras。在支持各種深度學(xué)習(xí)架構(gòu)和計算庫方面， Theano和 Torch都是最具擴展性的框架。最后，與其他深度學(xué)習(xí)庫相比，Theano調(diào)試簡單。
Theano成為計算機科研人員所使用的強大工具的第三個原因是因為其不是專用于深入學(xué)習(xí)的。雖然 Theano在深度學(xué)習(xí)方面所采用的方法與其他庫相同，但其基本原理卻完全不同：實際上， Theano是對目標架構(gòu)上的計算圖進行編譯。這種編譯步驟使得 Theano極具特性，應(yīng)該將其定義為一種根據(jù)機器學(xué)習(xí)思想設(shè)計的數(shù)學(xué)表達式編譯器。符號微分是 Theano為實現(xiàn)非標準深度學(xué)習(xí)架構(gòu)所提供的最有用的功能之一。因此， Theano能夠解決更大范圍的數(shù)值問題，并可用于在給定現(xiàn)有數(shù)據(jù)集下最小化求解由可微損失函數(shù)或能量函數(shù)所表征的任何問題。

學(xué)習(xí)本書所需的準備工作
安裝 Theano需要 conda或 pip，且在 Windows、Mac OS和 Linux操作系統(tǒng)下的安裝過程均相同。
在 Mac OS和 Linux Ubuntu操作系統(tǒng)下已對書中代碼進行了測試。在 Windows操作系統(tǒng)下可能會有所不同，如修改路徑，這些問題都是 Windows操作系統(tǒng)開發(fā)人員很容易解決的。
假設(shè)這些示例代碼可存儲在計算機的一個共享文件夾內(nèi)，可下載、解壓和預(yù)處理非常大的數(shù)據(jù)庫文件，而不能留在代碼庫中。這種做法有助于節(jié)省磁盤空間，而多個代碼目錄
原書前言
和用戶可使用相同的數(shù)據(jù)庫副本。該文件夾通常是用戶共享的：
sudo mkdir /sharedfiles sudo chmod 777 /sharedfiles

本書讀者對象
本書旨在以 Theano為支持技術(shù)，提供深度學(xué)習(xí)的全面概述。本書專門針對深度學(xué)習(xí)和人工智能的初學(xué)者，以及想要積累跨領(lǐng)域開發(fā)經(jīng)驗并熟悉 Theano及其支持庫的計算機程序人員。本書有助于讀者了解深度學(xué)習(xí)相關(guān)知識，并獲取深度學(xué)習(xí)的相關(guān)實用信息。
學(xué)習(xí)本書需要一些 Python編程和計算機科學(xué)的基本技能，以及初等代數(shù)和微積分的知識。所有實驗的基本技術(shù)都是 Theano，本書首先深入介紹了這一核心技術(shù)，然后介紹了一些庫及其在現(xiàn)有模塊上的重用。
本書向讀者介紹了深度學(xué)習(xí)的各種方法，討論了不同類型的網(wǎng)絡(luò)及其應(yīng)用，同時分析了由深度學(xué)習(xí)技術(shù) Theano為所有實現(xiàn)提供支持的可能性。本書總結(jié)了一些性能最優(yōu)的網(wǎng)絡(luò)和最先進的成果，并幫助讀者全面了解深度學(xué)習(xí)架構(gòu)，逐步從簡單網(wǎng)絡(luò)擴展到復(fù)雜網(wǎng)絡(luò)。
由于 Python已成為數(shù)據(jù)科學(xué)的主要編程語言，因此本書試圖涵蓋 Python程序員利用 Python和 Theano進行深度學(xué)習(xí)所需了解的所有內(nèi)容。
本書還介紹了 Theano上的兩個抽象框架 Lasagne和 Keras，可以簡化更復(fù)雜網(wǎng)絡(luò)的開發(fā)，且不影響理解基本概念。

約定慣例
在本書中，提供了區(qū)分不同類型信息的多種文本樣式。下面是這些文本格式的一些示例及其含義的解釋。
代碼文本、數(shù)據(jù)庫表名、文件夾名、文件名、文件擴展名、路徑名、虛擬 URL、用戶輸入和 Twitter句柄如下所示：運算符是由 theano.Op泛型類派生的類定義。
代碼塊如下：
import theano, numpy
class AXPBOp(theano.Op):
"""
This creates an Op that takes x to a*x b.
"""
__props__ = ("a", "b")

任何命令行輸入或輸出如下：
gsutil mb -l europe-west1 gs://keras_sentiment_analysis
新術(shù)語和重要詞匯用粗體顯示。在屏幕上看到的單詞（例如在菜單或?qū)υ捒蛑校┏霈F(xiàn)在以下文本中：點擊下一步按鈕可切換到下一界面。


提示和技巧會這樣顯示

讀者反饋
歡迎讀者反饋意見。讓作者了解讀者對本書的看法，喜歡什么或不喜歡什么。讀者反饋對于作者開發(fā)真正讓讀者受益的主題非常重要。
若要給作者反饋意見，只需發(fā)送郵件到 feedback@packtpub.com，并在郵件標題中注明書名。
如果有讀者擅長的主題或有興趣參與撰寫或出版的書，請查看 www.packtpub.com/ authors上的作者指南。

用戶支持
既然讀者購買了 Packt出版社出版的書，那么出版社將會幫助讀者獲得最大收益。

示例代碼下載
讀者可以在 http://www.packtpub.com上根據(jù)賬戶下載本書的示例代碼。如果想要購買本書電子版，可以訪問 http://www.packtpub.com/support并注冊，將直接通過電子郵件發(fā)送給讀者。
下載代碼文件步驟如下：
1
）通過郵件地址和密碼在網(wǎng)站上登錄或注冊。

2）鼠標指向頂部的
SUPPORT選項。

3）單擊
Code Downloads & Errata。

4）在 Search框中輸入書名。

5
）選擇想要下載代碼文件的書。

6
）在下拉菜單中選擇購買本書的方式。

7）單擊
Code Download。讀者也可以通過單擊 Packt出版社網(wǎng)站上本書網(wǎng)頁的 Code Files按鈕來下載代碼文件。


通過在 Search框中輸入書名來訪問該頁面。需要注意的是，應(yīng)首先通過 Packt賬戶登錄。下載完成后，請用以下軟件最新版本來解壓文件夾：
. WinRAR / 7-Zip for Windows。

. Zipeg / iZip / UnRarX for Mac。

. 7-Zip / PeaZip for Linux。本書的代碼包還托管在 GitHub上，https://github.com/PacktPublishing/Hands-On-Deep-


原書前言
Learning-with-TensorFlow。另外在 https://github.com/PacktPublishing/上的大量圖書和視頻目錄中還有其他代碼包。請查閱！

勘誤
盡管已盡力確保內(nèi)容準確，但仍然難免會有錯誤。如果讀者在書中發(fā)現(xiàn)了錯誤、文本或代碼錯誤，如果能及時告知，將不勝感激。這樣會幫助其他讀者，并有助于在本書的后續(xù)版本中進行完善。如果讀者發(fā)現(xiàn)任何錯誤，請訪問 http://www.packtpub.com/submit-errata告知。首先選擇書名，點擊勘誤提交表單鏈接，然后輸入詳細的勘誤內(nèi)容。一旦通過驗證，將會接受讀者的提交并將勘誤表上傳網(wǎng)站，或在該標題的勘誤部分下添加到現(xiàn)有的勘誤表中。
若要查看已提交的勘誤表，請訪問 https://www.packtpub.com/books/content/support，并在搜索欄中輸入書名。相關(guān)信息將會顯示在 Errata部分中。

版權(quán)保護
在互聯(lián)網(wǎng)上受版權(quán)保護的資料，涉及的盜版問題是一個存在于所有媒體的嚴重問題。 Packt出版社非常重視保護版權(quán)和許可。如果讀者在網(wǎng)上發(fā)現(xiàn)任何非法復(fù)制的作品，請立即提供地址和網(wǎng)址，以便追蹤索賠。請通過 copyright@packtpub.com聯(lián)系我們，并提供疑似盜版材料的鏈接。非常感謝您在保護作者和為您提供寶貴內(nèi)容方面的幫助。

問題
如果讀者對本書有任何問題，請通過 questions@packtpub.com聯(lián)系我們，我們將竭盡全力為讀者解決。

原書審閱人
Matthieu de Beaucorps是具有豐富工程背景的機器學(xué)習(xí)專家，自 2012年以來，一直從事深度神經(jīng)網(wǎng)絡(luò)研究，以提高在計算機視覺、語音識別和自然語音處理中的識別和推薦任務(wù)。
Pascal Lamblin是 MILA（蒙特利爾機器學(xué)習(xí)算法研究所）的軟件分析師，他在獲得巴黎中央理工學(xué)院工程學(xué)位后，在蒙特利爾大學(xué) Yoshua Bengio的指導(dǎo)下進行研究工作，目前主要從事 Theano的開發(fā)研究。
www.PacktPub.com

電子書、折扣優(yōu)惠等
下載本書相關(guān)的文件資料，請訪問 www.PacktPub.com。
您是否知道 Packt出版社為每本出版發(fā)行的書都提供了電子書版本，其中包括 PDF和 ePub文件？您可以通過 www.PacktPub.com升級電子書版本，作為紙質(zhì)版用戶，還可以享受電子書的折扣。有關(guān)更多詳細信息，請通過 customercare@packtpub.com與我們聯(lián)系。
在 www.PacktPub.com，您還可以閱讀免費技術(shù)文章，訂閱一系列免費時事通信，并獲得 Packt出版社紙制書和電子書的獨家折扣和優(yōu)惠。
使用 Mapt可獲得最需要的軟件技能。 Mapt可讓讀者充分訪問所有 Packt出版社的圖書和視頻課程，以及行業(yè)領(lǐng)先的工具，幫助讀者規(guī)劃個人發(fā)展并推動讀者的事業(yè)發(fā)展。
為什么訂閱？
. 可以在 Packt出版社發(fā)行的每本書中全面搜索。

. 復(fù)制、粘貼、打印和標注內(nèi)容。

. 可通過 web瀏覽器訪問。