本書是一本易學(xué)易懂的神經(jīng)網(wǎng)絡(luò)教材，主要討論網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)規(guī)則、訓(xùn)練技巧和工程應(yīng)用，緊緊圍繞“設(shè)計”這一視角組織材料和展開講解，強(qiáng)調(diào)基本原理和訓(xùn)練方法，概念清晰，數(shù)學(xué)論述嚴(yán)謹(jǐn)，包含豐富的實例和練習(xí)，并配有課件和MATLAB演示程序。本書要求讀者具備線性代數(shù)、概率論和微分方程的基礎(chǔ)知識，可作為高年級本科生或一年級研究生的神經(jīng)網(wǎng)絡(luò)導(dǎo)論課程教材，也可供有興趣的讀者自學(xué)或參考。
前言Neural Network Design，Second Edition本書介紹基本的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則，重點闡述網(wǎng)絡(luò)的數(shù)學(xué)分析、訓(xùn)練方法，以及網(wǎng)絡(luò)在非線性回歸、模式識別、信號處理、數(shù)據(jù)挖掘和控制系統(tǒng)等領(lǐng)域?qū)嶋H工程問題中的應(yīng)用。
我們盡最大努力以清晰和一致的方式安排本書內(nèi)容，以期本書易懂易用。書中使用了許多例子來解釋每個討論的主題。在書的最后幾章，我們提供了一些學(xué)習(xí)實例，以展示神經(jīng)網(wǎng)絡(luò)在實際應(yīng)用中可能遇到的問題。
由于本書是關(guān)于神經(jīng)網(wǎng)絡(luò)設(shè)計的，因此在內(nèi)容的選擇上依據(jù)了兩個原則。首先，我們希望提供最有用且實際的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)規(guī)則和訓(xùn)練技巧。其次，我們希望本書能夠自成體系，并且章節(jié)間的過渡自然流暢。為了實現(xiàn)這個目的，我們將有關(guān)應(yīng)用數(shù)學(xué)的各種介紹材料和章節(jié)放在了需要用到這些材料的特定主題之前。簡言之，一些內(nèi)容的選擇是因為它們對神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用有重要作用，而另一些內(nèi)容的選擇則是由于它們對解釋神經(jīng)網(wǎng)絡(luò)的運行機(jī)制有重要意義。
我們省略了許多本可以包含的內(nèi)容。例如，我們沒有把本書寫成一個涵蓋所有已知神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則的目錄或綱要，而是集中精力介紹基礎(chǔ)概念。其次，我們沒有討論神經(jīng)網(wǎng)絡(luò)的實現(xiàn)技術(shù)，如VLSI、光學(xué)器件和并行計算機(jī)等。再有，我們沒有提供神經(jīng)網(wǎng)絡(luò)的生物學(xué)和心理學(xué)方面的基礎(chǔ)知識。雖然這些內(nèi)容都是重要的，不過，我們希望重點討論那些我們認(rèn)為對神經(jīng)網(wǎng)絡(luò)設(shè)計最有用的內(nèi)容，并進(jìn)行深入闡釋。
本書可作為高年級本科生或一年級研究生一個學(xué)期的神經(jīng)網(wǎng)絡(luò)導(dǎo)論課程教材（也適合短期課程、自學(xué)或參考）。讀者需要具有一定的線性代數(shù)、概率論和微分方程的基礎(chǔ)知識。
書中每章按如下方式分節(jié)：目標(biāo)、理論與例子、小結(jié)、例題、結(jié)束語、擴(kuò)展閱讀和習(xí)題。理論與例子是每章的主要部分，包含基本思想的發(fā)展以及例子解析。小結(jié)部分提供一個方便的列表，包含重要方程和概念，以易于工程參考。每章將大約1/3的篇幅用在例題部分，為所有關(guān)鍵的概念提供詳細(xì)的例題解析。
下頁的框圖說明了各章之間的依賴關(guān)系。
第1～6章涵蓋后面所有章節(jié)需要的基本概念。第1章是本書的引言，簡要介紹神經(jīng)網(wǎng)絡(luò)的歷史背景和一些生物學(xué)基礎(chǔ)。第2章描述基本的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這一章引入的記號體系將貫穿全書。第3章給出一個簡單的模式識別問題，并展示該問題可以分別由三類不同的神經(jīng)網(wǎng)絡(luò)來解決。這三類網(wǎng)絡(luò)是本書后面的網(wǎng)絡(luò)類型的代表。此外，這里的模式識別問題也提供了本書解決問題的一般思路。
本書主要專注于訓(xùn)練神經(jīng)網(wǎng)絡(luò)完成各種任務(wù)的方法。在第4章中，我們介紹學(xué)習(xí)算法并給出第一個實際算法：感知機(jī)學(xué)習(xí)規(guī)則。感知機(jī)網(wǎng)絡(luò)雖然有其本質(zhì)的局限性，但卻具有重要的歷史意義，并且可作為一個有用的工具來引入后面章節(jié)中強(qiáng)大神經(jīng)網(wǎng)絡(luò)的關(guān)鍵概念。
本書的主要目的之一是闡述神經(jīng)網(wǎng)絡(luò)的工作原理。為此，我們將神經(jīng)網(wǎng)絡(luò)的內(nèi)容和一些重要的輔助材料組織在一起。例如，在第5、6章中提供了線性代數(shù)的相關(guān)材料，這是理解神經(jīng)網(wǎng)絡(luò)所需的核心數(shù)學(xué)知識。這兩章討論的概念將廣泛用于本書后面章節(jié)。
第7章和第15章闡述主要受生物學(xué)和心理學(xué)啟發(fā)的神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)規(guī)則。它們分為兩類：聯(lián)想網(wǎng)絡(luò)和競爭網(wǎng)絡(luò)。聯(lián)想網(wǎng)絡(luò)安排在第7章，而競爭網(wǎng)絡(luò)安排在第15章。
第8～14章以及第16章論述一類稱為性能學(xué)習(xí)的方法，該方法用于訓(xùn)練網(wǎng)絡(luò)以優(yōu)化其性能。第8、9章介紹性能學(xué)習(xí)的基本概念。第10～13章中將這些概念用于逐步強(qiáng)大和復(fù)雜的前饋神經(jīng)網(wǎng)絡(luò)。第14章將這些概念用于動態(tài)神經(jīng)網(wǎng)絡(luò)。在第16章中，這些概念則被用于徑向基神經(jīng)網(wǎng)絡(luò)，這類網(wǎng)絡(luò)也用到了來自競爭學(xué)習(xí)的概念。
第17～22章和前面的章節(jié)不同。前面的章節(jié)主要關(guān)注每種網(wǎng)絡(luò)的基礎(chǔ)理論和相應(yīng)的學(xué)習(xí)規(guī)則，要點是理解核心概念。在第17～22章中，我們討論神經(jīng)網(wǎng)絡(luò)在實際應(yīng)用中的具體問題。第17章闡述許多實際的訓(xùn)練技巧，第18～22章給出一系列實例研究，這些實例包括將神經(jīng)網(wǎng)絡(luò)用于函數(shù)逼近、概率估計、模式識別、聚類和預(yù)測。
軟件MATLAB軟件并非是使用本書所必需的，上機(jī)練習(xí)可以用任何編程語言來完成。另外，本書提供的神經(jīng)網(wǎng)絡(luò)設(shè)計演示（Neural Network Design Demonstrations）程序雖然有助于理解書中內(nèi)容，但非關(guān)鍵所在。
不過，我們還是采用MATLAB軟件包來提供本書的輔助材料。該軟件使用廣泛，而且由于它的矩陣/向量表示法和圖形化顯示，為神經(jīng)網(wǎng)絡(luò)實驗提供了方便的環(huán)境。我們用兩種不同的方法使用MATLAB。第一種，我們?yōu)樽x者準(zhǔn)備了一些用MATLAB去完成的練習(xí)。神經(jīng)網(wǎng)絡(luò)的一些重要特性僅在大型問題中才能體現(xiàn)出來，這需要大量計算，不適合手工演算。利用MATLAB可以快速實現(xiàn)神經(jīng)網(wǎng)絡(luò)算法，也可以方便地測試大型問題。（如果沒有MATLAB軟件，可以使用任何其他編程語言來完成這些練習(xí)。）第二種使用MATLAB的方法是利用Neural Network Design Demonstrations軟件，你可以從網(wǎng)站hagan.okstate.edu/nnd.html下載它。這些交互式的演示程序解釋了每章中的重要概念。把這個軟件加載到你計算機(jī)的MATLAB目錄下之后（或者放在MATLAB路徑上），就可在MATLAB提示符下通過輸入nnd命令進(jìn)
目 錄
Neural Network Design，Second Edition
出版者的話
譯者序
前言
第1章 引言1
1.1 目標(biāo)1
1.2 歷史1
1.3 應(yīng)用3
1.4 生物學(xué)啟示4
1.5 擴(kuò)展閱讀5
第2章 神經(jīng)元模型及網(wǎng)絡(luò)結(jié)構(gòu)8
2.1 目標(biāo)8
2.2 理論與例子8
2.2.1 記號8
2.2.2 神經(jīng)元模型8
2.2.3 網(wǎng)絡(luò)結(jié)構(gòu)11
2.3 小結(jié)15
2.4 例題17
2.5 結(jié)束語18
2.6 習(xí)題18
第3章 一個說明性的實例20
3.1 目標(biāo)20
3.2 理論與例子20
3.2.1 問題描述20
3.2.2 感知機(jī)21
3.2.3 Hamming網(wǎng)絡(luò)23
3.2.4 Hopfield網(wǎng)絡(luò)26
3.3 結(jié)束語27
3.4 習(xí)題28
第4章 感知機(jī)學(xué)習(xí)規(guī)則31
4.1 目標(biāo)31
4.2 理論與例子31
4.2.1 學(xué)習(xí)規(guī)則31
4.2.2 感知機(jī)結(jié)構(gòu)32
4.2.3 感知機(jī)的學(xué)習(xí)規(guī)則35
4.2.4 收斂性證明39
4.3 小結(jié)41
4.4 例題42
4.5 結(jié)束語48
4.6 擴(kuò)展閱讀49
4.7 習(xí)題49
第5章 信號與權(quán)值向量空間53
5.1 目標(biāo)53
5.2 理論與例子53
5.2.1 線性向量空間53
5.2.2 線性無關(guān)54
5.2.3 生成空間55
5.2.4 內(nèi)積56
5.2.5 范數(shù)56
5.2.6 正交性56
5.2.7 向量展開式58
5.3 小結(jié)60
5.4 例題61
5.5 結(jié)束語66
5.6 擴(kuò)展閱讀67
5.7 習(xí)題67
第6章 神經(jīng)網(wǎng)絡(luò)中的線性變換71
6.1 目標(biāo)71
6.2 理論與例子71
6.2.1 線性變換71
6.2.2 矩陣表示72
6.2.3 基變換74
6.2.4 特征值與特征向量76
6.3 小結(jié)79
6.4 例題79
6.5 結(jié)束語85
6.6 擴(kuò)展閱讀85
6.7 習(xí)題86
第7章 有監(jiān)督的Hebb學(xué)習(xí)90
7.1 目標(biāo)90
7.2 理論與例子90
7.2.1 線性聯(lián)想器91
7.2.2 Hebb規(guī)則91
7.2.3 偽逆規(guī)則93
7.2.4 應(yīng)用95
7.2.5 Hebb學(xué)習(xí)的變形96
7.3 小結(jié)97
7.4 例題98
7.5 結(jié)束語105
7.6 擴(kuò)展閱讀105
7.7 習(xí)題106
第8章 性能曲面和最優(yōu)點108
8.1 目標(biāo)108
8.2 理論與例子108
8.2.1 泰勒級數(shù)108
8.2.2 方向?qū)?shù)110
8.2.3 極小點111
8.2.4 優(yōu)化的必要條件113
8.2.5 二次函數(shù)114
8.3 小結(jié)119
8.4 例題120
8.5 結(jié)束語127
8.6 擴(kuò)展閱讀127
8.7 習(xí)題128
第9章 性能優(yōu)化131
9.1 目標(biāo)131
9.2 理論與例子131
9.2.1 最速下降法131
9.2.2 牛頓法136
9.2.3 共軛梯度法139
9.3 小結(jié)142
9.4 例題142
9.5 結(jié)束語150
9.6 擴(kuò)展閱讀150
9.7 習(xí)題151
第10章 Widrow-Hoff學(xué)習(xí)153
10.1 目標(biāo)153
10.2 理論與例子153
10.2.1 ADALINE網(wǎng)絡(luò)153
10.2.2 均方誤差154
10.2.3 LMS算法156
10.2.4 收斂性分析157
10.2.5 自適應(yīng)濾波器159
10.3 小結(jié)164
10.4 例題165
10.5 結(jié)束語174
10.6 擴(kuò)展閱讀174
10.7 習(xí)題175
第11章 反向傳播179
11.1 目標(biāo)179
11.2 理論與例子179
11.2.1 多層感知機(jī)179
11.2.2 反向傳播算法182
11.2.3 例子186
11.2.4 批量訓(xùn)練和增量訓(xùn)練188
11.2.5 使用反向傳播188
11.3 小結(jié)192
11.4 例題193
11.5 結(jié)束語201
11.6 擴(kuò)展閱讀201
11.7 習(xí)題202
第12章 反向傳播算法的變形210
12.1 目標(biāo)210
12.2 理論與例子210
12.2.1 反向傳播算法的缺點210
12.2.2 反向傳播算法的啟發(fā)式改進(jìn)215
12.2.3 數(shù)值優(yōu)化技術(shù)218
12.3 小結(jié)226
12.4 例題228
12.5 結(jié)束語235
12.6 擴(kuò)展閱讀236
12.7 習(xí)題237
第13章 泛化241
13.1 目標(biāo)241
13.2 理論與例子241
13.2.1 問題描述242
13.2.2 提升泛化能力的方法243
13.3 小結(jié)257
13.4 例題258
13.5 結(jié)束語265
13.6 擴(kuò)展閱讀265
13.7 習(xí)題266
第14章 動態(tài)網(wǎng)絡(luò)270
14.1 目標(biāo)270
14.2 理論與例子270
14.2.1 分層數(shù)字動態(tài)網(wǎng)絡(luò)271
14.2.2 動態(tài)學(xué)習(xí)的基本原則273
14.2.3 動態(tài)反向傳播276
14.3 小結(jié)288
14.4 例題290
14.5 結(jié)束語296
14.6 擴(kuò)展閱讀296
14.7 習(xí)題297
第15章 競爭網(wǎng)絡(luò)302
15.1 目標(biāo)302
15.2 理論與例子302
15.2.1 Hamming網(wǎng)絡(luò)303
15.2.2 競爭層304
15.2.3 生物學(xué)中的競爭層307
15.2.4 自組織特征圖308
15.2.5 學(xué)習(xí)向量量化310
15.3 小結(jié)314
15.4 例題315
15.5 結(jié)束語322
15.6 擴(kuò)展閱讀322
15.7 習(xí)題323
第16章 徑向基網(wǎng)絡(luò)329
16.1 目標(biāo)329
16.2 理論與例子329
16.2.1 徑向基網(wǎng)絡(luò)329
16.2.2 訓(xùn)練RBF網(wǎng)絡(luò)333
16.3 小結(jié)343
16.4 例題344
16.5 結(jié)束語347
16.6 擴(kuò)展閱讀347
16.7 習(xí)題348
第17章 實際訓(xùn)練問題352
17.1 目標(biāo)352
17.2 理論與例子352
17.2.1 訓(xùn)練前的步驟353
17.2.2 網(wǎng)絡(luò)訓(xùn)練359
17.2.3 訓(xùn)練結(jié)果分析362
17.3 結(jié)束語368
17.4 擴(kuò)展閱讀368
第18章 實例研究1:函數(shù)逼近370
18.1 目標(biāo)370
18.2 理論與例子370
18.2.1 智能傳感系統(tǒng)描述370
18.2.2 數(shù)據(jù)收集與預(yù)處理371
18.2.3 網(wǎng)絡(luò)結(jié)構(gòu)選擇372
18.2.4 網(wǎng)絡(luò)訓(xùn)練372
18.2.5 驗證373
18.2.6 數(shù)據(jù)集374
18.3 結(jié)束語375
18.4 擴(kuò)展閱讀375
第19章 實例研究2：概率估計376
19.1 目標(biāo)376
19.2 理論與例子376
19.2.1 CVD過程描述376
19.2.2 數(shù)據(jù)收集與預(yù)處理377
19.2.3 網(wǎng)絡(luò)結(jié)構(gòu)選擇378
19.2.4 網(wǎng)絡(luò)訓(xùn)練379
19.2.5 驗證381
19.2.6 數(shù)據(jù)集382
19.3 結(jié)束語382
19.4 擴(kuò)展閱讀383
第20章 實例研究3：模式識別384
20.1 目標(biāo)384
20.2 理論與例子384
20.2.1 心肌梗死識別問題描述384
20.2.2 數(shù)據(jù)收集與預(yù)處理384
20.2.3 網(wǎng)絡(luò)結(jié)構(gòu)選擇387
20.2.4 網(wǎng)絡(luò)訓(xùn)練387
20.2.5 驗證388
20.2.6 數(shù)據(jù)集389
20.3 結(jié)束語390
20.4 擴(kuò)展閱讀390
第21章 實例研究4：聚類391
21.1 目標(biāo)391
21.2 理論與例子391
21.2.1 森林覆蓋問題描述391
21.2.2 數(shù)據(jù)收集與預(yù)處理392
21.2.3 網(wǎng)絡(luò)結(jié)構(gòu)選擇392
21.2.4 網(wǎng)絡(luò)訓(xùn)練393
21.2.5 驗證394
21.2.6 數(shù)據(jù)集396
21.3 結(jié)束語396
21.4 擴(kuò)展閱讀396
第22章 實例研究5：預(yù)測398
22.1 目標(biāo)398
22.2 理論與例子398
22.2.1 磁懸浮系統(tǒng)描述398
22.2.2 數(shù)據(jù)收集與預(yù)處理399
22.2.3 網(wǎng)絡(luò)結(jié)構(gòu)選擇399
22.2.4 網(wǎng)絡(luò)訓(xùn)練401
22.2.5 驗證402
22.2.6 數(shù)據(jù)集404
22.3 結(jié)束語404
22.4 擴(kuò)展閱讀405
附錄A 參考文獻(xiàn)406
附錄B 記號413
附錄C 軟件417
索引420
書單推薦
