《前饋神經(jīng)網(wǎng)絡分析與設計》系統(tǒng)地論述了前饋神經(jīng)網(wǎng)絡的主要理論、設計基礎及應用實例，旨在使讀者了解神經(jīng)網(wǎng)絡的發(fā)展背景和研究對象，理解和熟悉它的基本原理和主要應用，掌握它的結(jié)構(gòu)模型和設計應用方法，特別是前饋神經(jīng)網(wǎng)絡的參數(shù)學習算法和結(jié)構(gòu)設計方法，為深入研究和應用開發(fā)打下基礎。為了便于讀者理解，書中盡量避免煩瑣的數(shù)學推導，加強了應用舉例，并在內(nèi)容的選擇和編排上注意到讀者初次接觸新概念的易接受性和思維的邏輯性。作為擴充知識，書中還介紹了前饋神經(jīng)系統(tǒng)的基本概念、體系結(jié)構(gòu)、控制特性及信息模式。
更多科學出版社服務，請掃碼獲取。
《前饋神經(jīng)網(wǎng)絡分析與設計》適合高�？刂婆c信息類專業(yè)研究生、智能科學技術專業(yè)本科生以及各類科技人員閱讀。
喬俊飛，男，北京工業(yè)大學教授、博士生導師。國家杰出青年科學基金獲得者，北京高等學校精品課程（自動控制原理）負責人。現(xiàn)任中國人工智能學會理事、中國自動化學會智能自動化專業(yè)委員會委員、中國自動化學會過程控制專業(yè)委員會委員、北京自動化學會常務理事，《控制工程》、《北京工業(yè)大學學報》等期刊編委。入選教育部新世紀優(yōu)秀人才計劃、北京市科技新星計劃等。喬俊飛教授長期從事計算智能及智能信息處理方面的研究工作，已在IEEE Transactions on Neural Networks and Learning Systems、IEEE Transactions on Fuzzy Systems等權(quán)威刊物上發(fā)表學術論文近百篇；獲得授權(quán)國家發(fā)明專利12項，軟件著作權(quán)8項。并先后獲得教育部科學技術進步一等獎（個人排名第一）、北京市教育教學成果獎二等獎（個人排名第一）、北京市優(yōu)秀教師等10余項省部級及以上獎勵。
目錄
總序
前言
第1章 緒論 1
1.1 引言 1
1.2 神經(jīng)網(wǎng)絡及其發(fā)展 2
1.2.1 神經(jīng)網(wǎng)絡的定義 2
1.2.2 神經(jīng)網(wǎng)絡的功能 3
1.2.3 神經(jīng)網(wǎng)絡的發(fā)展 4
1.2.4 神經(jīng)網(wǎng)絡的應用 7
1.3 人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)設計 9
1.3.1 人工神經(jīng)網(wǎng)絡的結(jié)構(gòu) 9
1.3.2 前饋神經(jīng)網(wǎng)絡結(jié)構(gòu)設計研究現(xiàn)狀 10
1.4 本書主要內(nèi)容 13
1.4.1 神經(jīng)網(wǎng)絡參數(shù)學習算法研究 14
1.4.2 神經(jīng)網(wǎng)絡結(jié)構(gòu)設計方法研究 14
1.4.3 自組織神經(jīng)網(wǎng)絡結(jié)構(gòu)算法研究 15
1.4.4 應用研究 15
參考文獻 17
第2章 感知器神經(jīng)網(wǎng)絡 23
2.1 引言 23
2.2 感知器神經(jīng)網(wǎng)絡分析 23
2.2.1 單神經(jīng)元分析 24
2.2.2 單層感知器神經(jīng)網(wǎng)絡 25
2.2.3 多層感知器神經(jīng)網(wǎng)絡 28
2.3 感知器神經(jīng)網(wǎng)絡學習算法 30
2.3.1 隱含層與輸出層之間的權(quán)值修正 33
2.3.2 輸入層與隱含層之間的權(quán)值修正 34
2.3.3 BP算法的改進 36
2.4 本章小結(jié) 43
附錄A 數(shù)學基礎 44
附錄A.1 泰勒引理 44
附錄A.2 泰勒定理和推論 46
參考文獻 49
第3章 RBF神經(jīng)網(wǎng)絡 53
3.1 引言 53
3.2 RB神經(jīng)網(wǎng)絡原理 54
3.2.1 插值計算 54
3.2.2 模式可分性 56
3.2.3 正規(guī)化法則 57
3.2.4 RB神經(jīng)網(wǎng)絡結(jié)構(gòu) 58
3.3 RB神經(jīng)網(wǎng)絡學習算法 59
3.3.1 中心值學習策略 59
3.3.2 隱含層和輸出層連接權(quán)值學習策略 63
3.4 本章小結(jié) 67
附錄B 數(shù)學運算 67
附錄B.1 域和向量空間 67
附錄B.2 矩陣的表示和運算 69
附錄B.3 矩陣的性質(zhì) 70
附錄B.4 矩陣范數(shù)的運算 75
參考文獻 76
第4章 模糊神經(jīng)網(wǎng)絡 80
4.1 引言 80
4.2 模糊推理系統(tǒng)描述 81
4.2.1 模糊集合與隸屬函數(shù) 81
4.2.2 模糊運算 83
4.3 模糊神經(jīng)網(wǎng)絡結(jié)構(gòu) 87
4.4 模糊神經(jīng)網(wǎng)絡學習算法 89
4.5 本章小結(jié) 93
參考文獻 94
第5章 前饋神經(jīng)網(wǎng)絡快速下降算法研究 98
5.1 引言 98
5.2 神經(jīng)網(wǎng)絡學習 98
5.2.1 神經(jīng)網(wǎng)絡結(jié)構(gòu)及信息處理 98
5.2.2 神經(jīng)網(wǎng)絡學習算法分析 100
5.3 快速下降算法 101
5.3.1 快速下降算法描述 101
5.3.2 快速下降算法收斂性分析 104
5.4 仿真研究 108
5.4.1 感知器神經(jīng)網(wǎng)絡仿真研究 109
5.4.2 RBF神經(jīng)網(wǎng)絡仿真研究 112
5.5 本章小結(jié) 117
參考文獻 118
第6章 前饋神經(jīng)網(wǎng)絡改進型遞歸最小二乘算法研究 123
6.1 引言 123
6.2 遞歸最小二乘算法 124
6.2.1 遞歸最小二乘算法描述 124
6.2.2 遞歸最小二乘算法分析 128
6.3 改進型遞歸最小二乘算法 129
6.3.1 改進型遞歸最小二乘算法描述 130
6.3.2 改進型遞歸最小二乘算法收斂性分析 131
6.4 改進型遞歸最小二乘算法的應用 132
6.4.1 非線性函數(shù)逼近 133
6.4.2 雙螺旋模式分類 135
6.4.3 污泥膨脹預測 137
6.5 本章小結(jié) 142
參考文獻 143
第7章 基于顯著性分析的快速修剪型感知器神經(jīng)網(wǎng)絡 148
7.1 引言 148
7.1.1 增長型神經(jīng)網(wǎng)絡 148
7.1.2 修剪型神經(jīng)網(wǎng)絡 152
7.2 顯著性分析 153
7.2.1 誤差曲面分析 153
7.2.2 顯著性分析算法 155
7.3 基于顯著性分析的快速修剪算法 156
7.3.1 多層感知器神經(jīng)網(wǎng)絡 157
7.3.2 多層感知器神經(jīng)網(wǎng)絡快速修剪算法 158
7.3.3 仿真研究 160
7.4 本章小結(jié) 167
參考文獻 168
第8章 增長-修剪型多層感知器神經(jīng)網(wǎng)絡 174
8.1 引言 174
8.2 敏感度計算 175
8.2.1 敏感度分析方法的分類 175
8.2.2 敏感度分析方法 178
8.2.3 敏感度計算 181
8.3 神經(jīng)網(wǎng)絡輸出敏感度分析 182
8.3.1 敏感度分析的頻域研究 182
8.3.2 神經(jīng)網(wǎng)絡輸出敏感度分析 187
8.4 增長-修剪型多層感知器神經(jīng)網(wǎng)絡分析 189
8.4.1 隱含層神經(jīng)元的敏感度 189
8.4.2 神經(jīng)元增長和修剪 192
8.4.3 增長修剪型感知器神經(jīng)網(wǎng)絡 193
8.4.4 收斂性分析 195
8.5 增長-修剪型多層感知器神經(jīng)網(wǎng)絡應用 197
8.5.1 非線性函數(shù)逼近 197
8.5.2 數(shù)據(jù)分類199
8.5.3 生化需氧量軟測量 202
8.6 本章小結(jié) 208
參考文獻 210
第9章 彈性RBF神經(jīng)網(wǎng)絡 215
9.1 引言 215
9.2 RBF神經(jīng)網(wǎng)絡描述 216
9.3 彈性RBF神經(jīng)網(wǎng)絡 217
9.3.1 神經(jīng)元修復準則 217
9.3.2 神經(jīng)網(wǎng)絡結(jié)構(gòu)優(yōu)化設計 219
9.3.3 彈性RBF神經(jīng)網(wǎng)絡 221
9.3.4 收斂性分析 221
9.4 彈性RBF神經(jīng)網(wǎng)絡應用 224
9.4.1 非線性函數(shù)逼近 224
9.4.2 非線性系統(tǒng)建模 227
9.4.3 溶解氧模型預測控制 231
9.5 本章小結(jié) 238
附錄C 熵 239
附錄C.1 熵的概念 239
附錄C.2 互信息 240
參考文獻 242
第10章 自組織模糊神經(jīng)網(wǎng)絡 248
10.1 引言 248
10.2 模糊神經(jīng)網(wǎng)絡 249
10.3 自組織模糊神經(jīng)網(wǎng)絡分析 253
10.3.1 模糊神經(jīng)網(wǎng)絡結(jié)構(gòu)優(yōu)化 253
10.3.2 模糊神經(jīng)網(wǎng)絡自組織設計算法 256
10.3.3 收斂性分析 258
10.4 自組織模糊神經(jīng)網(wǎng)絡應用 260
10.4.1 非線性系統(tǒng)建模 260
10.4.2 Mackey-Glass時間序列系統(tǒng)預測 263
10.4.3 污水處理關鍵水質(zhì)參數(shù)預測 266
10.4.4 污水處理過程溶解氧控制 269
10.5 本章小結(jié) 272
參考文獻 273
索引 278
第1章 緒論
1.1 引言腦和神經(jīng)系統(tǒng)是人體結(jié)構(gòu)、功能中最復雜的系統(tǒng)，隨著分子生物學、細胞生物學的發(fā)展，大規(guī)模開展腦研究成為可能［1］。眾所周知，數(shù)字計算機具有很強的計算和信息處理能力，但是它對于模式識別、感知以及在復雜環(huán)境中作決策等問題的處理能力卻遠不如人。神經(jīng)生理學研究結(jié)果表明，人的智能主要取決于大腦皮層，而大腦皮層是一個大規(guī)�；ミB的生物神經(jīng)網(wǎng)絡生物神經(jīng)網(wǎng)絡［2］。探求大腦的組織結(jié)構(gòu)和運行機制，從模仿人腦智能的角度出發(fā)，尋求新的信息處理方法是當前人工智能領域的研究熱點問題。國家中長期科學和技術發(fā)展規(guī)劃綱要中也明確指出：腦功能的細胞和分子機理、腦學習記憶和思維等高級認知功能的過程及其神經(jīng)基礎、腦信息表達等研究方向?qū)儆诋斍暗目茖W前沿問題［3］。
高性能、低成本、普適計算和智能化等是當前信息科學發(fā)展的主要方向，尋求新的計算與處理方式和物理實現(xiàn)是未來信息技術領域面臨的重大挑戰(zhàn)［3］。人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡的研究正是在與傳統(tǒng)計算方法挑戰(zhàn)的過程中得以發(fā)展、壯大，目前已經(jīng)成為人工智能領域中最活躍的研究方向之一。一般來說，神經(jīng)網(wǎng)絡主要研究ABC2等問題，即人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡(artificial neural network, ANN)、生物神經(jīng)網(wǎng)絡生物神經(jīng)網(wǎng)絡(biological neural network, BNN)、認知科學認知科學(cognitive science)和混沌混沌(chaos)［4］。人工神經(jīng)網(wǎng)絡的研究主要集中在神經(jīng)網(wǎng)絡結(jié)構(gòu)和學習算法的研究兩方面［5］。近年來隨著腦科學、神經(jīng)生物學的發(fā)展，人工神經(jīng)網(wǎng)絡結(jié)構(gòu)的研究開始全面向生物神經(jīng)系統(tǒng)靠攏。
人工神經(jīng)網(wǎng)絡是智能科學的重要組成部分，已經(jīng)成為腦科學、認知科學、計算機科學、數(shù)學和物理學等學科共同關注的焦點。其應用研究已經(jīng)滲透到工業(yè)、農(nóng)業(yè)、國防、航空等領域，并且在信號處理、智能控制、模式識別、圖像處理、非線性優(yōu)化、知識處理等方面取得了令人鼓舞的進展［6-11］。
從20世紀80年代初復蘇以來，人工神經(jīng)網(wǎng)絡在計算能力、對任意連續(xù)映射的逼近能力、學習理論以及動態(tài)網(wǎng)絡穩(wěn)定性分析等方面都取得了豐碩的成果［12］。在結(jié)構(gòu)設計方面，除了經(jīng)典的神經(jīng)網(wǎng)絡外卻鮮有突破性進展，但這方面的工作已引起了學者們的廣泛關注［13-15］。神經(jīng)網(wǎng)絡實際應用的需求驅(qū)動了其理論研究的發(fā)展，其實每一個成功的應用都需要對神經(jīng)網(wǎng)絡進行精心設計�？梢姡斯ど窠�(jīng)網(wǎng)絡結(jié)構(gòu)優(yōu)化設計是神經(jīng)網(wǎng)絡成功應用的核心技術，對其展開研究也是神經(jīng)網(wǎng)絡推廣應用的客觀需要。
人工神經(jīng)網(wǎng)絡就是借鑒生物神經(jīng)網(wǎng)絡生物神經(jīng)網(wǎng)絡結(jié)構(gòu)和生物神經(jīng)元工作機理，在一定程度上模擬人腦功能的信息處理系統(tǒng)。人工神經(jīng)網(wǎng)絡已經(jīng)在模式識別、組合優(yōu)化、函數(shù)逼近、智能控制、過程建模等方面得到成功應用，應用前景不容置疑。但目前的神經(jīng)網(wǎng)絡多數(shù)是通過足夠的設計經(jīng)驗和充足的數(shù)據(jù)確定其結(jié)構(gòu)，且神經(jīng)網(wǎng)絡結(jié)構(gòu)一旦確定之后將不再調(diào)整。對一些工況變化不大、動態(tài)特性比較平穩(wěn)的任務，理論和實踐都已經(jīng)證明通過調(diào)整神經(jīng)網(wǎng)絡參數(shù)可以滿足實際需要。但是對于工況變化異常劇烈、動態(tài)特性呈現(xiàn)出很強的非線性的任務，其效果往往不佳。傳統(tǒng)的固定結(jié)構(gòu)人工神經(jīng)網(wǎng)絡性能僅僅由參數(shù)學習算法提供，在工作過程中，只是通過改變神經(jīng)網(wǎng)絡的參數(shù)以適應任務的變化。而神經(jīng)計算領域的研究結(jié)果顯示生物神經(jīng)網(wǎng)絡生物神經(jīng)網(wǎng)絡之所以有如此強大的信息處理能力，與生物神經(jīng)網(wǎng)絡生物神經(jīng)網(wǎng)絡的結(jié)構(gòu)有很大的關系，生物神經(jīng)網(wǎng)絡生物神經(jīng)網(wǎng)絡的信息傳輸和信息處理能夠根據(jù)信息量和復雜度進行自組調(diào)整神經(jīng)網(wǎng)絡結(jié)構(gòu)連接方式。為了進一步推進人工神經(jīng)網(wǎng)絡對人腦功能的模擬，解決人工神經(jīng)網(wǎng)絡結(jié)構(gòu)動態(tài)優(yōu)化設計的問題，本書詳細介紹了幾種典型前饋神經(jīng)網(wǎng)絡；并描述了幾種前饋神經(jīng)網(wǎng)絡學習算法；最后分析了神經(jīng)網(wǎng)絡性能與神經(jīng)網(wǎng)絡結(jié)構(gòu)之間的聯(lián)系，介紹了前饋神經(jīng)網(wǎng)絡結(jié)構(gòu)生長和削減的演化機制，基于此獲得幾種自組織前饋神經(jīng)網(wǎng)絡。
1.2 神經(jīng)網(wǎng)絡及其發(fā)展
1.2.1神經(jīng)網(wǎng)絡的定義人工神經(jīng)網(wǎng)絡，簡稱神經(jīng)網(wǎng)絡，是由大量簡單的處理單元——人工神經(jīng)元人工神經(jīng)元(artificial neuron)互相連接而組成的一個高度非線性、并行的自適應的信息處理系統(tǒng)。神經(jīng)網(wǎng)絡是一個非線性的動力學系統(tǒng)，打破了傳統(tǒng)的串行處理計算機的局限，以并行分布式存儲和處理信息，盡管單個神經(jīng)元的結(jié)構(gòu)和功能都比較簡單，但大量的神經(jīng)元組合起來卻具有強大的處理問題的能力。神經(jīng)網(wǎng)絡旨在模仿人腦或生物的信息處理系統(tǒng)，是對人腦功能的一種模仿與簡化，具有學習、記憶、聯(lián)想、類比、計算以及智能處理的能力，是現(xiàn)代神經(jīng)科學研究與工程技術相結(jié)合的產(chǎn)物。神經(jīng)網(wǎng)絡理論的開創(chuàng)與發(fā)展，對智能科學和信息技術的發(fā)展產(chǎn)生了重大的影響和積極的推動作用。
1943年美國神經(jīng)生理學家McCulloch和Pitts提出的第一個神經(jīng)網(wǎng)絡模型M-P模型［16］，開創(chuàng)了微觀人工智能的研究工作，奠定了人工神經(jīng)網(wǎng)絡發(fā)展的基礎。人工神經(jīng)網(wǎng)絡經(jīng)過幾十年的發(fā)展，無論是在理論研究還是在工程應用方面都取得了較為豐富的科研成果。
1.2.2 神經(jīng)網(wǎng)絡的功能
神經(jīng)網(wǎng)絡是通過對人類大腦結(jié)構(gòu)和功能的模擬建立起來的一個非線性、自適應的高級信息處理系統(tǒng)。它是現(xiàn)代神經(jīng)科學研究與工程技術應用相結(jié)合的產(chǎn)物，通過對大腦的模擬進行信息處理。神經(jīng)網(wǎng)絡具有強大的計算能力，是由其本身大規(guī)模的并行分布式結(jié)構(gòu)和較好的學習能力以及由此延伸而來的泛化能力決定。神經(jīng)網(wǎng)絡具有非線性、分布/處理、容錯性、自適應性等顯著特點，如圖1-1所示。
圖1-1神經(jīng)網(wǎng)絡的特點
1.非線性
神經(jīng)網(wǎng)絡的單個處理單元——人工神經(jīng)元人工神經(jīng)元可以是線性或非線性的，但是由此互相連接而成的神經(jīng)網(wǎng)絡本身卻是非線性的。此外，非線性是一種分布于整個網(wǎng)絡的特殊性質(zhì)。因此，神經(jīng)網(wǎng)絡具有非線性映射能力，且理論研究已經(jīng)表明一個三層的神經(jīng)網(wǎng)絡能夠以任意精度逼近非線性系統(tǒng)。
2.并行分布/處理
神經(jīng)網(wǎng)絡是為模擬大腦的結(jié)構(gòu)和功能而建立的一種數(shù)學模型，大量的人工神經(jīng)元人工神經(jīng)元相互連接成一個高度并行的非線性動力學系統(tǒng)。盡管單個人工神經(jīng)元人工神經(jīng)元的功能都十分簡單，但大量神經(jīng)元的并行活動使得整個網(wǎng)絡呈現(xiàn)出較強大的處理能力。神經(jīng)網(wǎng)絡中信息的存儲體現(xiàn)在神經(jīng)元之間互相連接的并行分布結(jié)構(gòu)上，進而使得信息的處理必然采用大規(guī)模的并行分布方式進行，即神經(jīng)網(wǎng)絡中信息的存儲和處理是在整個網(wǎng)絡中同時進行的，信息不是存儲在神經(jīng)網(wǎng)絡中的某個局部，而是分布在網(wǎng)絡的所有單元之中。一個神經(jīng)網(wǎng)絡可以存儲多種信息，而神經(jīng)元連接權(quán)值中只存儲多種信息的一部分。神經(jīng)網(wǎng)絡的內(nèi)在結(jié)構(gòu)的并行分布方式，使得信息的存儲和處理在空間與時間分布上均是并行的。神經(jīng)網(wǎng)絡中的數(shù)據(jù)及其處理是全局的而不是局部的。
3.容錯性
神經(jīng)網(wǎng)絡善于聯(lián)想、概括、類比和推廣，加之神經(jīng)網(wǎng)絡信息存儲和處理的并行特性，使得神經(jīng)網(wǎng)絡在以下兩個方面表現(xiàn)出較好的容錯性。一方面，由于網(wǎng)絡的信息采用分布式存儲，分布在各個神經(jīng)元的連接權(quán)值之中，當網(wǎng)絡中某一神經(jīng)元或連接權(quán)值出現(xiàn)問題時，局部的改變將不會影響網(wǎng)絡的整體非線性映射。這一點，與人的大腦中每時每刻都有神經(jīng)細胞的正常死亡和分裂，但不會影響大腦的整體功能相類似。另一方面，當網(wǎng)絡的輸入信息模糊、殘缺或不完整時，神經(jīng)網(wǎng)絡能夠通過聯(lián)想、記憶等實現(xiàn)對輸入信息的正確識別。
4.自適應性
自適應性是指系統(tǒng)能夠通過改變自身的某些性能以適應外界環(huán)境變化的能力。自適應性是神經(jīng)網(wǎng)絡的一個重要特性。神經(jīng)網(wǎng)絡的自學習能力表現(xiàn)在，當外界環(huán)境發(fā)生改變，即網(wǎng)絡的輸入變化時，神經(jīng)網(wǎng)絡通過一段時間的學習和訓練，能夠自動調(diào)整網(wǎng)絡的結(jié)構(gòu)和參數(shù)，從而給出期望的輸出�？梢栽趯W習過程中不斷地完善自身，具有創(chuàng)新的特點。而其自組織特性則表現(xiàn)在，神經(jīng)網(wǎng)絡在接收外部激勵后可以根據(jù)一定的規(guī)則通過對網(wǎng)絡權(quán)值的調(diào)整以及神經(jīng)元的增減來重新構(gòu)建新的神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡不但可以處理各種變化的信息，而且在其學習階段可以根據(jù)流過網(wǎng)絡的外部和內(nèi)部信息對自身的連接權(quán)值（結(jié)構(gòu)）進行調(diào)整，從而改變網(wǎng)絡本身的非線性動力學特性，從而實現(xiàn)對外界環(huán)境的變化。
1.2.3 神經(jīng)網(wǎng)絡的發(fā)展
人工神經(jīng)網(wǎng)絡是一門新興交叉學科，是人類智能研究的重要組成部分，人工神經(jīng)網(wǎng)絡借鑒了神經(jīng)科學的研究成果，基于模仿人類大腦的結(jié)構(gòu)和功能構(gòu)成的一種信息處理系統(tǒng)，具有廣泛的應用前景。已成為腦科學、神經(jīng)科學、認知科學、心理學、計算機科學、數(shù)學和物理學等共同關注的焦點。它模仿人腦神經(jīng)網(wǎng)絡的結(jié)構(gòu)和某些工作機制建立一種計算模型，在過去半個多世紀中一直統(tǒng)治著信息處理的程序化計算。人工神經(jīng)網(wǎng)絡的應用和發(fā)展不但推動神經(jīng)動力學本身的發(fā)展，而且為智能計算提供了新的現(xiàn)代化方法，有可能給信息科學帶來革命性的變化。雖然目前人工神經(jīng)網(wǎng)絡的研究正處在前所未有的熱潮中，但它的發(fā)展卻不是一帆風順的。從研究時間遞推的角度看，人工神經(jīng)網(wǎng)絡研究主要經(jīng)歷了興起與高潮、蕭條、穩(wěn)步發(fā)展的較為曲折的道路，如圖1-2所示。
圖1-2人工神經(jīng)網(wǎng)絡的發(fā)展
1.興起與高潮期(1940-1970年)
1943年，心理學家McCulloch和數(shù)理邏輯學家Pitts提出了M-P模型［16］，這是第一個用數(shù)理語言描述腦的信息處理過程的模型，雖然神經(jīng)元的功能比較弱，但它為以后的研究工作提供了依據(jù)。1949年，心理學家Hebb提出突觸聯(lián)系可變的假設［17］，根據(jù)這一假設提出的學習規(guī)律為神經(jīng)網(wǎng)絡的學習算法奠定了基礎。1957年，計算機科學家Rosenblatt提出了著名的感知機模型［18］，它的模型包含了現(xiàn)代計算機的一些原理，是第一個完整的人工神經(jīng)網(wǎng)絡，第一次把神經(jīng)網(wǎng)絡研究付諸工程實現(xiàn)。1960年，Windrow提出了自適應線性單元(ADAIINE)［19］，主要用于自適應系統(tǒng)。這些簡單網(wǎng)絡中所體現(xiàn)的許多性質(zhì)，如并行處理、分布式存儲、連續(xù)計算、可學習性等，因而引起了不少人的興趣。至此，人工神經(jīng)網(wǎng)絡的研究工作進入了第一個高潮［20］。
……
書單推薦
