第0章　導言 1
0.1　什么是神經(jīng)網(wǎng)絡(luò) 1
0.2　人腦 6
0.3　神經(jīng)元模型 10
0.4　視為有向圖的神經(jīng)網(wǎng)絡(luò) 15
0.5　反饋 18
0.6　網(wǎng)絡(luò)架構(gòu) 21
0.7　知識表征 24
0.8　學習過程 34
0.9　學習任務(wù) 38
0.10小結(jié) 45
注釋和參考文獻 46

第1章　Rosenblatt感知器 47
1.1　引言 47
1.2　感知器 48
1.3　感知器收斂定理 50
1.4　高斯環(huán)境下感知器與貝葉斯分類器的關(guān)系 55
1.5　計算機實驗：模式分類 60
1.6　批量感知器算法 62
1.7　小結(jié)和討論 65
注釋和參考文獻 66
習題 66

第2章　回歸建模 68
2.1　引言 68
2.2　線性回歸模型：初步考慮 69
2.3　參數(shù)向量的后驗估計 71
2.4　正則化最小二乘估計和MAP估計的關(guān)系 76
2.5　計算機實驗：模式分類 77
2.6　最小描述長度原則 79
2.7　有限樣本量考慮 82
2.8　輔助變量法 86
2.9　小結(jié)和討論 88
注釋和參考文獻 89
習題 89

第3章　最小均方算法 91
3.1　引言 91
3.2　LMS算法的濾波結(jié)構(gòu) 92
3.3　無約束優(yōu)化：綜述 94
3.4　維納濾波器 100
3.5　最小均方算法 102
3.6　描述LMS算法和維納濾波器的偏差的馬爾可夫模型 104
3.7　朗之萬方程：布朗運動的特點 106
3.8　庫什納直接平均法 107
3.9　小學習率參數(shù)的統(tǒng)計LMS學習理論 108
3.10 計算機實驗I：線性預測 110
3.11 計算機實驗II：模式分類 112
3.12 LMS算法的優(yōu)缺點 113
3.13 學習率退火過程 115
3.14 小結(jié)和討論 117
注釋和參考文獻 118
習題 119

第4章　多層感知器 122
4.1 引言 123
4.2 預備知識 124
4.3 批量學習和在線學習 126
4.4 反向傳播算法 129
4.5 異或問題 141
4.6 提升反向傳播算法性能的啟發(fā)式方法 144
4.7 計算機實驗：模式分類 150
4.8 反向傳播與微分 153
4.9 海森矩陣及其對在線學習的作用 155
4.10 學習率的最優(yōu)退火和自適應(yīng)控制 157
4.11 泛化 164
4.12 函數(shù)逼近 166
4.13 交叉驗證 171
4.14 復雜度正則化和網(wǎng)絡(luò)剪枝 175
4.15 反向傳播學習的優(yōu)缺點 180
4.16 視為優(yōu)化問題的監(jiān)督學習 186
4.17 卷積網(wǎng)絡(luò) 201
4.18 非線性濾波 203
4.19 大小規(guī)模學習問題 209
4.20 小結(jié)和討論 217
注釋和參考文獻 219
習題 221

第5章　核方法和徑向基函數(shù)網(wǎng)絡(luò) 230
5.1 引言 230
5.2 模式可分性的Cover定理 231
5.3 插值問題 236
5.4 徑向基函數(shù)網(wǎng)絡(luò) 239
5.5 均值聚類 242
5.6 權(quán)重向量的遞歸最小二乘估計 245
5.7 RBF網(wǎng)絡(luò)的混合學習過程 249
5.8 計算機實驗：模式分類 250
5.9 高斯隱藏單元的說明 252
5.10 核回歸及其與RBF網(wǎng)絡(luò)的關(guān)系 255
5.11 小結(jié)和討論 259
注釋和參考文獻 261
習題 263

第6章　支持向量機 268
6.1 引言 268
6.2 線性可分模式的最優(yōu)超平面 269
6.3 不可分模式的最優(yōu)超平面 276
6.4 視為核機器的支持向量機 281
6.5 構(gòu)建支持向量機 284
6.6 異或問題 286
6.7 計算機實驗：模式分類 289
6.8 回歸：魯棒性考慮 289
6.9 線性回歸問題的最優(yōu)解 293
6.10 表示定理和相關(guān)問題 296
6.11 小結(jié)和討論 302
注釋和參考文獻 304
習題 307

第7章　正則化理論 313
7.1 引言 313
7.2 哈達瑪適定性條件 314
7.3 Tikhonov的正則化理論 315
7.4 正則化網(wǎng)絡(luò) 326
7.5 廣義徑向基函數(shù)網(wǎng)絡(luò) 327
7.6 再論正則化最小二乘估計 331
7.7 關(guān)于正則化的其他說明 335
7.8 正則化參數(shù)估計 336
7.9 半監(jiān)督學習 342
7.10 流形正則化：初步考慮 343
7.11 可微流形 345
7.12 廣義正則化理論 348
7.13 圖譜論 350
7.14 廣義表示定理 352
7.15 拉普拉斯正則化最小二乘算法 354
7.16 半監(jiān)督學習的模式分類實驗 356
7.17 小結(jié)和討論 359
注釋和參考文獻 361
習題 363

第8章　主成分分析 367
8.1 引言 367
8.2 自組織原則 368
8.3 自組織特征分析 372
8.4 主成分分析：微擾理論 373
8.5 基于Hebb的最大特征濾波器 383
8.6 基于Hebb的主成分分析 392
8.7 案例分析：圖像編碼 398
8.8 核主成分分析 401
8.9 自然圖像編碼的基本問題 406
8.10 核Hebb算法 407
8.11 小結(jié)和討論 412
注釋和參考文獻 415
習題 418

第9章 自組織映射 425
9.1 引言 425
9.2 兩個基本特征映射模型 426
9.3 自組織映射 428
9.4 特征映射的性質(zhì) 437
9.5 計算機實驗I：利用SOM求解點陣動力學 445
9.6 上下文映射 447
9.7 分層向量量化 450
9.8 核自組織映射 454
9.9 計算機實驗II：使用核SOM求解點陣動力學 462
9.10 核SOM與KL散度的關(guān)系 464
9.11 小結(jié)和討論 466
注釋和參考文獻 468
習題 470

第10章 信息論學習模型 475
10.1 引言 476
10.2 熵 477
10.3 最大熵原則 481
10.4 互信息 484
10.5 KL散度 486
10.6 Copula函數(shù) 489
10.7 作為待優(yōu)化目標函數(shù)的互信息 493
10.8 最大互信息原理 494
10.9 最大互信息與冗余減少 499
10.10 空間相干特征 501
10.11 空間非相干特征 504
10.12 獨立成分分析 508
10.13 自然圖像的稀疏編碼與ICA編碼比較 514
10.14 獨立成分分析的自然梯度學習 516
10.15 獨立成分分析的最大似然估計 526
10.16 盲源分離的最大熵學習 529
10.17 獨立成分分析的負熵的最大化 534
10.18 相干獨立成分分析 541
10.19 率失真理論與信息瓶頸 549
10.20 數(shù)據(jù)的最優(yōu)流形表示 553
10.21 計算機實驗：模式分類 560
10.22 小結(jié)和討論 561
注釋和參考文獻 564
習題 572

第11章 源于統(tǒng)計力學的隨機方法 579
11.1 引言 580
11.2 統(tǒng)計力學 580
11.3 馬爾可夫鏈 582
11.4 Metropolis算法 591
11.5 模擬退火 594
11.6 吉布斯采樣 596
11.7 玻爾茲曼機 598
11.8 邏輯置信網(wǎng)絡(luò) 604
11.9 深度置信網(wǎng)絡(luò) 606
11.10 確定性退火 610
11.11 確定性退火與期望最大化算法的類比 616
11.12 小結(jié)和討論 617
注釋和參考文獻 619
習題 621

第12章　動態(tài)規(guī)劃 627
12.1 引言 627
12.2 馬爾可夫決策過程 629
12.3 貝爾曼最優(yōu)性準則 631
12.4 策略迭代 635
12.5 值迭代 637
12.6 近似動態(tài)規(guī)劃：直接法 642
12.7 時序差分學習 643
12.8 Q學習 648
12.9 近似動態(tài)規(guī)劃：間接法 652
12.10 最小二乘策略評估 655
12.11 近似策略迭代 660
12.12 小結(jié)和討論 663
注釋和參考文獻 665
習題 668

第13章　神經(jīng)動力學 672
13.1 引言 672
13.2 動力系統(tǒng) 674
13.3 平衡狀態(tài)的穩(wěn)定性 678
13.4 吸引子 684
13.5 神經(jīng)動力學模型 686
13.6 作為一個遞歸網(wǎng)絡(luò)范式的吸引子操作 689
13.7 Hopfield模型 690
13.8 Cohen-Grossberg定理 703
13.9 盒中腦狀態(tài)模型 705
13.10 奇異吸引子與混沌 711
13.11 混沌過程的動態(tài)重建 716
13.12 小結(jié)和討論 722
注釋和參考文獻 724
習題 727

第14章　動態(tài)系統(tǒng)狀態(tài)估計的貝葉斯濾波 731
14.1 引言 731
14.2 狀態(tài)空間模型 732
14.3 卡爾曼濾波器 736
14.4 發(fā)散現(xiàn)象與平方根濾波 744
14.5 擴展卡爾曼濾波器 750
14.6 貝葉斯濾波器 755
14.7 容積卡爾曼濾波器：基于卡爾曼濾波器 759
14.8 粒子濾波器 765
14.9 計算機實驗：擴展卡爾曼濾波器與粒子濾波器的比較 775
14.10 腦功能建模中的卡爾曼濾波 777
14.11 小結(jié)和討論 780
注釋和參考文獻 782
習題 784

第15章　動態(tài)驅(qū)動遞歸網(wǎng)絡(luò) 790
15.1 引言 790
15.2 遞歸網(wǎng)絡(luò)架構(gòu) 791
15.3 萬能逼近定理 797
15.4 可控性和可觀察性 799
15.5 遞歸網(wǎng)絡(luò)的計算能力 804
15.6 學習算法 806
15.7 時間反向傳播 808
15.8 實時遞歸學習 812
15.9 遞歸網(wǎng)絡(luò)中的梯度消失 818
15.10 使用非線性序列狀態(tài)估計的遞歸網(wǎng)絡(luò)的監(jiān)督訓練框架 822
15.11 計算機實驗：Mackay-Glass吸引子的動態(tài)重建 829
15.12 適應(yīng)性考慮 831
15.13 案例分析：應(yīng)用于神經(jīng)網(wǎng)絡(luò)控制的模型參考 833
15.14 小結(jié)和討論 835
注釋和參考文獻 839
習題 842

參考文獻 847