妽妽夹得我好舒服,大杳蕉狼人欧美,亚洲精品午夜无码电影网

本書主要討論機(jī)器學(xué)習(xí)、神經(jīng)形態(tài)計(jì)算和神經(jīng)網(wǎng)絡(luò)的理論及應(yīng)用，專注于機(jī)器學(xué)習(xí)加速器和硬件開發(fā)。本書從傳統(tǒng)的微處理架構(gòu)發(fā)展歷程入手，介紹在后摩爾定律和后丹納德微縮定律下，新型架構(gòu)的發(fā)展趨勢和影響執(zhí)行性能的各類衡量指標(biāo)。然后從應(yīng)用領(lǐng)域、ASIC和特定領(lǐng)域架構(gòu)三個角度展示了設(shè)計(jì)特定的硬件實(shí)現(xiàn)所需考慮的諸多因素。接著結(jié)合機(jī)器學(xué)習(xí)開發(fā)過程及其性能提升方法（如模型壓縮、編碼、近似、優(yōu)化等）介紹硬件實(shí)現(xiàn)的細(xì)節(jié)。zui后給出機(jī)器學(xué)習(xí)硬件實(shí)現(xiàn)的大量案例，展示機(jī)器如何獲得思維能力。本書適合有一定機(jī)器學(xué)習(xí)基礎(chǔ)并希望了解更多技術(shù)發(fā)展趨勢的讀者閱讀。

PREFACE
前　　言
2012年，機(jī)器學(xué)習(xí)被應(yīng)用于圖像識別，并提供了很高的推理準(zhǔn)確性。此外，還開發(fā)了一個機(jī)器學(xué)習(xí)系統(tǒng)，可以在國際象棋和圍棋游戲中挑戰(zhàn)人類專家，并成功地?fù)魯×耸澜缂壍膶I(yè)人士。半導(dǎo)體技術(shù)的進(jìn)步提高了完成深度學(xué)習(xí)任務(wù)所需的執(zhí)行性能和數(shù)據(jù)存儲容量。不僅如此，互聯(lián)網(wǎng)還提供了大量的數(shù)據(jù)，可以被應(yīng)用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。研究環(huán)境的改善為機(jī)器學(xué)習(xí)領(lǐng)域帶來了突破性進(jìn)展。
深度學(xué)習(xí)在世界各地的應(yīng)用越來越廣泛，特別是在互聯(lián)網(wǎng)服務(wù)和社會基礎(chǔ)設(shè)施的管理方面。深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型在開源的基礎(chǔ)設(shè)施和高性能計(jì)算系統(tǒng)上運(yùn)行，使用專用的圖形處理單元（GPU）。然而，GPU會消耗大量的電力（300W），因此數(shù)據(jù)中心在應(yīng)用大量的GPU時(shí)，必須管理電力消耗和產(chǎn)生的熱能以降低運(yùn)營成本。高昂的運(yùn)營成本使人們難以使用GPU，即使是在有云服務(wù)的情況下。此外，雖然我們應(yīng)用了開源軟件工具，但機(jī)器學(xué)習(xí)平臺是由特定的CPU和GPU供應(yīng)商控制的。我們不能從各種產(chǎn)品中進(jìn)行選擇，而且?guī)缀鯖]有什么多樣性可言。但多樣性是必要的，不僅對于軟件程序如此，對于硬件設(shè)備也是如此。2018年是深度學(xué)習(xí)的特定領(lǐng)域架構(gòu)（DSA）的開端之年，各種初創(chuàng)公司開發(fā)了自己的深度學(xué)習(xí)處理器，與此同時(shí)還出現(xiàn)了硬件多樣性。
本書介紹了不同的機(jī)器學(xué)習(xí)硬件和平臺，描述了各種類型的硬件架構(gòu)，并提供了未來硬件設(shè)計(jì)的方向。書中涵蓋各類機(jī)器學(xué)習(xí)模型，包括神經(jīng)形態(tài)計(jì)算和神經(jīng)網(wǎng)絡(luò)模型，例如深度學(xué)習(xí)。此外，還介紹了開發(fā)深度學(xué)習(xí)的一般周期設(shè)計(jì)過程。本書對多核處理器、數(shù)字信號處理器（DSP）、現(xiàn)場可編程門陣列（FPGA）和特定應(yīng)用集成電路（ASIC）等示例產(chǎn)品也進(jìn)行了介紹，并總結(jié)了硬件架構(gòu)設(shè)計(jì)的關(guān)鍵點(diǎn)。雖然本書主要關(guān)注深度學(xué)習(xí)，但也對神經(jīng)形態(tài)計(jì)算進(jìn)行了簡要描述。書中還考慮了硬件設(shè)計(jì)的未來方向，并對傳統(tǒng)微處理器、GPU、FPGA和ASIC的未來發(fā)展進(jìn)行了展望。為了展示這一領(lǐng)域的當(dāng)前趨勢，本書描述了當(dāng)前的機(jī)器學(xué)習(xí)模型及其平臺，使讀者能夠更好地了解現(xiàn)代研究趨勢，并考慮未來的設(shè)計(jì)，進(jìn)而有自己的想法。
為了展示相關(guān)技術(shù)的基本特征，附錄介紹了作為基本深度學(xué)習(xí)方法的前饋神經(jīng)網(wǎng)絡(luò)模型，并提供了一個硬件設(shè)計(jì)實(shí)例。此外，附錄還詳細(xì)介紹了高級神經(jīng)網(wǎng)絡(luò)模型，使讀者能夠考慮不同的硬件來支持這種模型。最后，附錄還介紹了與深度學(xué)習(xí)相關(guān)的各國研究趨勢和各類社會問題。
全書概要
第1章提供了一個深度學(xué)習(xí)基礎(chǔ)的例子，并解釋了其應(yīng)用。本章介紹了訓(xùn)練（學(xué)習(xí)）這是機(jī)器學(xué)習(xí)的核心部分，包括它的評估以及驗(yàn)證方法。工業(yè)4.0是一個應(yīng)用實(shí)例，這是一個先進(jìn)的行業(yè)定義，支持客戶適應(yīng)性和優(yōu)化工廠生產(chǎn)線的需求。此外，還介紹了區(qū)塊鏈在機(jī)器學(xué)習(xí)中的應(yīng)用。區(qū)塊鏈?zhǔn)且粋€有形和無形財(cái)產(chǎn)的賬本系統(tǒng)，該系統(tǒng)將被用于深度學(xué)習(xí)的各種目的。
第2章介紹用于機(jī)器學(xué)習(xí)的基本硬件基礎(chǔ)設(shè)施，如微處理器、多核處理器、DSP、GPU和FPGA，包括微架構(gòu)及其編程模型。本章還討論了最近在通用計(jì)算機(jī)器中使用GPU和FPGA的原因，以及為什么微處理器在提高執(zhí)行性能時(shí)遇到了困難。本章還解釋了市場趨勢在應(yīng)用前景方面的變化。此外，還簡要介紹了評估執(zhí)行性能的指標(biāo)。
第3章首先描述了一個形式化的神經(jīng)元模型，然后討論了神經(jīng)形態(tài)計(jì)算模型和神經(jīng)網(wǎng)絡(luò)模型，這兩個模型是最近腦啟發(fā)計(jì)算的主要實(shí)現(xiàn)方法。神經(jīng)形態(tài)計(jì)算包括大腦的脈沖時(shí)序依賴可塑性（STDP）特征，這似乎在學(xué)習(xí)中起著關(guān)鍵作用。此外，本章還解釋了用于脈沖傳輸?shù)牡刂?事件表示（AER）。關(guān)于神經(jīng)網(wǎng)絡(luò)，我們對淺層神經(jīng)網(wǎng)絡(luò)和深層神經(jīng)網(wǎng)絡(luò)（有時(shí)被稱為深度學(xué)習(xí)）都進(jìn)行了簡單的解釋。如果你想了解深度學(xué)習(xí)任務(wù)，那么附錄A可以作為一份簡介。
第4章介紹了ASIC和特定領(lǐng)域架構(gòu)。算法被描述為對應(yīng)用的表示，形成了傳統(tǒng)計(jì)算機(jī)上的軟件。本章接著介紹了應(yīng)用程序設(shè)計(jì)（不僅是軟件開發(fā)）所涉及的局部性、死鎖屬性、依賴性以及（到計(jì)算機(jī)核心的）時(shí)間和空間映射等特征。好的硬件架構(gòu)有好的設(shè)計(jì)，可以有效地利用這些因素。死鎖屬性和依賴性由一般資源系統(tǒng)統(tǒng)一解釋。此外，本章還解釋了設(shè)計(jì)約束。最后，在Alex Net的案例中分析了推理和訓(xùn)練方面的深度學(xué)習(xí)任務(wù)。
第5章簡要解釋了機(jī)器學(xué)習(xí)模型神經(jīng)網(wǎng)絡(luò)模型的開發(fā)過程，以及編碼后的模型如何通過Python腳本語言的虛擬機(jī)器在計(jì)算系統(tǒng)上工作。此外，還解釋了向量化、SIMD化和內(nèi)存訪問對齊等代碼優(yōu)化技術(shù)。這些技術(shù)提高了數(shù)據(jù)級的并行性這是數(shù)據(jù)密集型計(jì)算的一個指標(biāo)。這些技術(shù)也提高了執(zhí)行性能，就像在深度神經(jīng)網(wǎng)絡(luò)任務(wù)中所表現(xiàn)的那樣。除此之外，本章還介紹了計(jì)算統(tǒng)一設(shè)備架構(gòu)（CUDA）。CUDA是英偉達(dá)公司的通用編程基礎(chǔ)設(shè)施，用于數(shù)據(jù)密集型計(jì)算，包括深度學(xué)習(xí)任務(wù)。你將看到一個基于GPU的系統(tǒng)是如何工作的。
第6章解釋了提高執(zhí)行性能的方法，主要包含模型壓縮、數(shù)值壓縮、編碼、零值跳過、近似和優(yōu)化六種方法。模型壓縮包括剪枝、dropout、dropconnect、蒸餾、主成分分析（PCA）和權(quán)重共享。數(shù)值壓縮包括量化、低精度數(shù)值表示、切邊和剪裁。編碼解釋了游程編碼和霍夫曼編碼。零值跳過包括壓縮稀

CONTENTS
目　　錄

譯者序
前言
第1章　簡介 1
1.1　機(jī)器學(xué)習(xí)的曙光 1
1.1.1　Jeopardy!中的IBM Watson
挑戰(zhàn) 1
1.1.2　ImageNet挑戰(zhàn) 2
1.1.3　谷歌AlphaGo挑戰(zhàn)職業(yè)
圍棋選手 2
1.2　機(jī)器學(xué)習(xí)及其應(yīng)用 3
1.2.1　定義 3
1.2.2　應(yīng)用 3
1.3　學(xué)習(xí)及其性能指標(biāo) 4
1.3.1　學(xué)習(xí)前的準(zhǔn)備 5
1.3.2　學(xué)習(xí)方法 7
1.3.3　性能指標(biāo)和驗(yàn)證 8
1.4　例子 11
1.4.1　工業(yè)4.0 11
1.4.2　交易（區(qū)塊鏈） 12
1.5　機(jī)器學(xué)習(xí)的總結(jié) 15
1.5.1　與人工智能的區(qū)別 15
1.5.2　炒作周期 15
第2章　傳統(tǒng)的微架構(gòu) 16
2.1　微處理器 16
2.1.1　處理器核心的微架構(gòu) 16
2.1.2　微處理器的編程模型 17
2.1.3　微處理器的復(fù)雜性 18
2.1.4　超標(biāo)量處理器的優(yōu)點(diǎn)和
缺點(diǎn) 20
2.1.5　寄存器文件的規(guī)模 20
2.1.6　分支預(yù)測及其懲罰 20
2.2　多核處理器 21
2.2.1　眾核的概念 21
2.2.2　編程模型 21
2.3　數(shù)字信號處理器 22
2.3.1　DSP的概念 22
2.3.2　DSP微架構(gòu) 23
2.4　圖形處理單元 24
2.4.1　GPU的概念 24
2.4.2　GPU微架構(gòu) 24
2.4.3　GPU上的編程模型 26
2.4.4　將GPU應(yīng)用于計(jì)算系統(tǒng) 26
2.5　現(xiàn)場可編程門陣列 27
2.5.1　FPGA的概念 27
2.5.2　FPGA微架構(gòu) 27
2.5.3　FPGA設(shè)計(jì)流程 28
2.5.4　將FGPA應(yīng)用于計(jì)算系統(tǒng) 29
2.6　特定領(lǐng)域架構(gòu)的前景 30
2.6.1　過去的計(jì)算機(jī)行業(yè) 30
2.6.2　機(jī)器學(xué)習(xí)硬件的歷史 31
2.6.3　重新審視機(jī)器學(xué)習(xí)硬件 32
2.7　執(zhí)行性能的衡量指標(biāo) 34
2.7.1　延遲和吞吐量 34
2.7.2　每秒的操作數(shù) 35
2.7.3　能耗和功耗 36
2.7.4　能效 37
2.7.5　利用情況 39
2.7.6　數(shù)據(jù)重用 40
2.7.7　面積 41
2.7.8　成本 41
第3章　機(jī)器學(xué)習(xí)及其實(shí)現(xiàn) 43
3.1　神經(jīng)元及其網(wǎng)絡(luò) 43
3.2　神經(jīng)形態(tài)計(jì)算 45
3.2.1　脈沖時(shí)序依賴可塑性和
學(xué)習(xí) 45
3.2.2　神經(jīng)形態(tài)計(jì)算硬件 46
3.2.3　地址-事件表示 48
3.3　神經(jīng)網(wǎng)絡(luò) 49
3.3.1　神經(jīng)網(wǎng)絡(luò)模型 50
3.3.2　以前和現(xiàn)在的神經(jīng)網(wǎng)絡(luò) 52
3.3.3　神經(jīng)網(wǎng)絡(luò)硬件 53
3.4　用于模擬實(shí)現(xiàn)的內(nèi)存單元 57
第4章　應(yīng)用、ASIC和特定領(lǐng)域架構(gòu) 58
4.1　應(yīng)用 58
4.1.1　應(yīng)用的概念 58
4.2　應(yīng)用的特征 59
4.2.1　局部性 59
4.2.2　死鎖 60
4.2.3　依賴性 62
4.2.4　時(shí)間和空間操作 64
4.3　特定應(yīng)用的集成電路 65
4.3.1　設(shè)計(jì)約束 65
4.3.2　模塊化結(jié)構(gòu)和大規(guī)模生產(chǎn) 69
4.3.3　牧村波動 70
4.3.4　設(shè)計(jì)流程 71
4.4　特定領(lǐng)域架構(gòu) 71
4.4.1　特定領(lǐng)域架構(gòu)簡介 71
4.4.2　特定領(lǐng)域語言 72
4.5　機(jī)器學(xué)習(xí)硬件 73
4.6　深度學(xué)習(xí)上的推理分析和訓(xùn)練
分析 74
4.6.1　深度學(xué)習(xí)上的推理分析 74
4.6.2　深度學(xué)習(xí)上的訓(xùn)練分析 76
第5章　機(jī)器學(xué)習(xí)模型開發(fā) 79
5.1　開發(fā)過程 79
5.1.1　開發(fā)周期 79
5.1.2　交叉驗(yàn)證 80
5.1.3　軟件棧 81
5.2　編譯器 82
5.2.1　ONNX 82
5.2.2　NNVM 83
5.2.3　TensorFlow XLA 83
5.3　代碼優(yōu)化 83
5.3.1　提取數(shù)據(jù)級并行 83
5.3.2　內(nèi)存訪問優(yōu)化 84
5.4　Python腳本語言和虛擬機(jī) 85
5.4.1　Python和優(yōu)化 85
5.4.2　虛擬機(jī) 86
5.5　計(jì)算統(tǒng)一設(shè)備架構(gòu) 87
第6章　性能提升方法 89
6.1　模型壓縮 89
6.1.1　剪枝 89
6.1.2　dropout 93
6.1.3　dropconnect 94
6.1.4　蒸餾 94
6.1.5　主成分分析 96
6.1.6　權(quán)重共享 97
6.2　數(shù)值壓縮 99
6.2.1　量化和數(shù)值精度 100
6.2.2　對內(nèi)存占用和推理準(zhǔn)確性
的影響 103
6.2.3　切邊和剪裁 109
6.3　編碼 110
6.3.1　游程編碼 110
6.3.2　霍夫曼編碼 111
6.3.3　壓縮的效果 113
6.4　零值跳過 116
6.4.1　零值跳過的概念 116
6.4.2　CSR和CSC的稀疏表示 116
6.4.3　零值跳過的用例 119
6.5　近似 121
6.5.1　近似的概念 121
6.5.2　激活函數(shù)近似 121
6.5.3　乘法器的近似 123
6.6　優(yōu)化 125
6.6.1　模型優(yōu)化 125
6.6.2　數(shù)據(jù)流優(yōu)化 126
6.7　性能提升方法的總結(jié) 128
第7章　硬件實(shí)現(xiàn)的案例研究 130
7.1　神經(jīng)形態(tài)計(jì)算 130
7.1.1　模擬邏輯電路 130
7.1.2　數(shù)字邏輯電路 131
7.2　深度神經(jīng)網(wǎng)絡(luò) 135
7.2.1　模擬邏輯電路 135
7.2.2　DSP 137
7.2.3　FPGA 139
7.2.4　ASIC 145
7.3　量子計(jì)算 175
7.4　研究案例的總結(jié) 175
7.4.1　神經(jīng)形態(tài)計(jì)算的案例
研究 181
7.4.2　深度神經(jīng)網(wǎng)絡(luò)的案例
研究 181
7.4.3　神經(jīng)形態(tài)計(jì)算和深度神經(jīng)
網(wǎng)絡(luò)硬件之間的比較 182
第8章　硬件實(shí)現(xiàn)的關(guān)鍵 183
8.1　市場增長預(yù)測 183
8.1.1　IoT市場 183
8.1.2　機(jī)器人市場 184
8.1.3　大數(shù)據(jù)和機(jī)器學(xué)習(xí)市場 184
8.1.4　藥物研發(fā)中的人工智能
市場 185
8.1.5　FPGA市場 185
8.1.6　深度學(xué)習(xí)芯片市場 185
8.2　設(shè)計(jì)和成本之間的權(quán)衡 186
8.3　硬件實(shí)現(xiàn)策略 188
8.3.1　策略規(guī)劃的要求 188
8.3.2　基本策略 191
8.3.3　替代因子 193
8.4　硬件設(shè)計(jì)要求概述 193
第9章　結(jié)論 194
附錄A　深度學(xué)習(xí)基礎(chǔ) 195
A.1　等式模型 195
A.1.1　前饋神經(jīng)網(wǎng)絡(luò)模型 196
A.1.2　激活函數(shù) 196
A.1.3　輸出層 197
A.1.4　學(xué)習(xí)和反向傳播 197
A.1.5　參數(shù)初始化 201
A.2　用于深度學(xué)習(xí)的矩陣操作 201
A.2.1　矩陣表示及其布局 202
A.2.2　用于學(xué)習(xí)的矩陣操作
序列 203
A.2.3　學(xué)習(xí)優(yōu)化 203
A.2.4　偏置-方差問題 203
附錄B　深度學(xué)習(xí)硬件建模 205
B.1　深度學(xué)習(xí)硬件的概念 205
B.1.1　參數(shù)空間與傳播之間的
關(guān)系 205
B.1.2　基本的深度學(xué)習(xí)硬件 206
B.2　深度學(xué)習(xí)硬件上的數(shù)據(jù)流 206
B.3　機(jī)器學(xué)習(xí)硬件架構(gòu) 207
附錄C　高級神經(jīng)網(wǎng)絡(luò)模型 208
C.1　CNN變體 208
C.1.1　卷積架構(gòu) 208
C.1.2　卷積的后向傳播 210
C.1.3　卷積的變體 213
C.1.4　深度卷積對抗生成
網(wǎng)絡(luò) 215
C.2　RNN變體 215
C.2.1　RNN架構(gòu) 215
C.2.2　LSTM和GRU單元 216
C.2.3　公路網(wǎng)絡(luò) 218
C.3　自編碼器變體 218
C.3.1　堆式去噪自編碼器 218
C.3.2　梯形網(wǎng)絡(luò) 219
C.3.3　變分自編碼器 220
C.4　殘差網(wǎng)絡(luò) 221
C.4.1　殘差網(wǎng)絡(luò)的概念 221
C.4.2　殘差網(wǎng)絡(luò)效應(yīng) 221
C.5　圖神經(jīng)網(wǎng)絡(luò) 222
C.5.1　圖神經(jīng)網(wǎng)絡(luò)的概念 222
附錄D　國家研究、趨勢和投資 224
D.1　中國 224
D.1.1　下一代人工智能發(fā)展
計(jì)劃 224
D.2　美國 225
D.2.1　SyNAPSE計(jì)劃 225
D.2.2　UPSIDE計(jì)劃 225
D.2.3　MICrONS計(jì)劃 225
D.3　歐洲 225
D.4　日本 226
D.4.1　內(nèi)政及通信省 226
D.4.2　文部科學(xué)省 226
D.4.3　日本經(jīng)濟(jì)貿(mào)易產(chǎn)業(yè)省 226
D.4.4　內(nèi)務(wù)省 227
附錄E　機(jī)器學(xué)習(xí)對社會的影響 228
E.1　產(chǎn)業(yè) 228
E.1.1　過去的產(chǎn)業(yè) 228
E.1.2　下一個產(chǎn)業(yè) 230
E.1.3　開源的軟件和硬件 230
E.1.4　社會企業(yè)和共享經(jīng)濟(jì) 231
E.2　機(jī)器學(xué)習(xí)與我們 231
E.2.1　機(jī)器學(xué)習(xí)可替代的領(lǐng)域 231
E.2.2　產(chǎn)業(yè)整合 232
E.2.3　一個簡化的世界 232
E.3　社會與個人 233
E.3.1　將編程引入教育 233
E.3.2　價(jià)值改變 233
E.3.3　社會支持 235
E.3.4　犯罪 235
E.4　國家 236
E.4.1　警察和檢察官 236
E.4.2　行政、立法和司法 236
E.4.3　軍事 236
參考文獻(xiàn) 237

你還可能感興趣

我要評論