現(xiàn)代光譜分析中的化學(xué)計量學(xué)方法
近年來,隨著人工智能、大數(shù)據(jù)和云計算等科技的飛速發(fā)展,用于光譜分析的新型化學(xué)計量學(xué)方法如雨后春筍般涌現(xiàn)出來,成為光譜分析技術(shù)中發(fā)展最為迅速的分支之一,是國內(nèi)外本領(lǐng)域?qū)<覍W(xué)者重點和熱點的研究方向。本書主要論述用于光譜分析的化學(xué)計量學(xué)方法,包括光譜預(yù)處理算法、變量選擇算法、數(shù)據(jù)降維算法、線性和非線性多元定量校正算法、模式識別算法、校正樣本選擇算法、界外樣本識別算法、模型更新與維護算法、多光譜融合算法、模型傳遞算法和深度學(xué)習(xí)算法等。本書在保證全面性和系統(tǒng)性的基礎(chǔ)上,對國內(nèi)外的最新研究進展進行歸納述評,尤其是將這些方法與科研開發(fā)和實際應(yīng)用緊密結(jié)合起來,對許多算法的改進和策略的延伸做了重點評述,為本領(lǐng)域科研和應(yīng)用工作者提供值得借鑒的新觀點和新思路。
本書可作為從事光譜分析、化學(xué)計量學(xué)、分析儀器、現(xiàn)場快速或在線分析、過程控制等領(lǐng)域的研究和應(yīng)用人員的參考書,也可作為相關(guān)專業(yè)的本科生和研究生的選修教材或教學(xué)參考書,以及企事業(yè)單位專業(yè)人員技術(shù)技能的培訓(xùn)教材。
褚小立,石油化工科學(xué)研究院教授級高工,我國為數(shù)不多的現(xiàn)代過程分析技術(shù)學(xué)術(shù)帶頭人之一,長期從事成套近紅外光譜分析技術(shù)和應(yīng)用研究,主持和參與了近20項基礎(chǔ)研究、新產(chǎn)品研發(fā)和應(yīng)用技術(shù)推廣等科研項目,取得了多項具有創(chuàng)新性的研究成果,在國內(nèi)外期刊發(fā)表論文80余篇,其中兩篇論文分別獲“2008年國內(nèi)zui具影響百篇文章稱號”和“2012年領(lǐng)跑者5000—中國精品科技期刊頂 尖論文”。申請發(fā)明專利30余項,有近20項獲得授權(quán)。獲省部級科技進步獎5項,其中獲軍隊科技進步一等獎1項,中石化科技進步二等獎3項。2005年獲侯祥麟石油加工科學(xué)技術(shù)獎,2009年獲中國石化閔恩澤青年科技人才獎,2011年獲閔恩澤院士科技原始創(chuàng)新獎,2013年獲13屆“中國青年科技獎”,2015年獲“中國分析測試協(xié)會科學(xué)技術(shù)青年獎”。
褚小立學(xué)術(shù)造詣深厚,編著了多部與分子光譜、化學(xué)計量學(xué)和現(xiàn)代過程分析技術(shù)等有關(guān)的學(xué)術(shù)著作,取得了很好學(xué)術(shù)成果,其中獨著的本書姊妹篇《化學(xué)計量學(xué)與分子光譜分析技術(shù)》是我國較為全面、系統(tǒng)介紹現(xiàn)代過程分析技術(shù)的專著,受到本領(lǐng)域?qū)<液蛯W(xué)者的一致好評。
1 緒論 / 001
1.1 化學(xué)計量學(xué)概述 001
1.1.1 化學(xué)計量學(xué)起源、定義和發(fā)展歷程 001
1.1.2 化學(xué)計量學(xué)研究的內(nèi)容 003
1.1.3 化學(xué)計量學(xué)方法的必要性 005
1.1.4 應(yīng)用化學(xué)計量學(xué)方法需注意的問題 009
1.2 光譜結(jié)合化學(xué)計量學(xué)的分析方法 010
1.2.1 校正模型的建立 010
1.2.2 常規(guī)分析 014
1.2.3 方法的特點 014
1.3 現(xiàn)代光譜分析技術(shù)的開端——Karl Norris 的貢獻 016
參考文獻 022
2 現(xiàn)代光譜分析技術(shù) / 026
2.1 引言 026
2.2 近紅外光譜 028
2.2.1 微型近紅外分析技術(shù) 029
2.2.2 在線近紅外分析技術(shù) 030
2.2.3 近紅外光譜標(biāo)準(zhǔn)方法 032
2.3 中紅外光譜 036
2.3.1 便攜式中紅外分析技術(shù) 036
2.3.2 在線中紅外分析技術(shù) 037
2.4 拉曼光譜 037
2.4.1 傅里葉拉曼光譜 038
2.4.2 表面增強拉曼光譜 038
2.4.3 共聚焦拉曼光譜 039
2.4.4 空間偏移拉曼光譜 040
2.4.5 透射拉曼光譜 041
2.4.6 便攜式拉曼分析技術(shù) 042
2.4.7 光纖拉曼分析技術(shù) 043
2.5 紫外-可見光譜 044
2.6 分子熒光光譜 046
2.6.1 三維熒光光譜 046
2.6.2 激光誘導(dǎo)熒光光譜 047
2.7 低場核磁共振譜 048
2.8 太赫茲光譜 049
2.9 激光誘導(dǎo)擊穿光譜 051
2.10 光譜成像 052
參考文獻 056
3 矩陣和數(shù)理統(tǒng)計基礎(chǔ) / 064
3.1 矩陣基礎(chǔ) 064
3.2 朗伯-比爾定律的矩陣表示 066
3.3 方差和正態(tài)分布 066
3.4 顯著性檢驗 069
3.5 相關(guān)系數(shù) 070
3.6 協(xié)方差與協(xié)方差矩陣 071
3.7 多變量的圖表示法 073
3.7.1 樣本的空間表示 073
3.7.2 箱須圖 073
3.7.3 雷達圖 075 參考文獻 077
4 光譜預(yù)處理方法 / 079
4.1 均值中心化 079
4.2 標(biāo)準(zhǔn)化 080
4.3 歸一化 080
4.4 平滑去噪 081
4.4.1 移動平均平滑 081
4.4.2 Savitzky-Golay卷積平滑 083
4.4.3 傅里葉變換和小波變換 084
4.5 連續(xù)統(tǒng)去除法 085
4.6 自適應(yīng)迭代重加權(quán)懲罰最小二乘 085
4.7 導(dǎo)數(shù) 087
4.7.1 Norris方法 087
4.7.2 Savitzky-Golay卷積求導(dǎo) 087
4.7.3 小波變換求導(dǎo) 089
4.7.4 分?jǐn)?shù)階導(dǎo)數(shù) 091
4.8 SNV 和去趨勢 092
4.9 乘性散射校正 094
4.10 向量角轉(zhuǎn)換 095
4.11 傅里葉變換 096
4.12 小波變換 098
4.13 圖像矩方法 103
4.14 外部參數(shù)正交化 104
4.15 廣義最小二乘加權(quán) 105
4.16 載荷空間標(biāo)準(zhǔn)化 106
4.17 斜投影 106
4.18 正交信號校正 106
4.18.1 Wold算法 107
4.18.2 Fearn算法 107
4.18.3 DOSC算法 108
4.18.4 DO 算法 108
4.18.5 正交信號校正算法的應(yīng)用研究 109
4.19 凈分析信號 109
4.20 光程估計與校正 110
4.21 二維相關(guān)光譜方法 111
參考文獻 112
5 波長變量選擇方法 / 118
5.1 相關(guān)系數(shù)和方差分析方法 118
5.2 交互式自模型混合物分析方法 120
5.3 連續(xù)投影方法 121
5.4 變量投影重要性方法 122
5.5 無信息變量消除方法 122
5.6 競爭性自適應(yīng)重加權(quán)采樣方法 124
5.7 間隔 PLS 方法 124
5.8 移動窗口 PLS 方法 125
5.9 遞歸加權(quán) PLS 方法 126
5.10 全局優(yōu)化的方法 126
5.10.1 遺傳算法 126
5.10.2 模擬退火算法 129
5.10.3 粒子群算法 129
5.10.4 蟻群算法 130
5.11 迭代保留信息變量方法 131
5.12 其他方法 133
5.13 波長選擇算法的聯(lián)合與融合 133
5.14 光譜預(yù)處理和波長選取方法的選擇 134
參考文獻 137
6 光譜降維方法 / 144
6.1 多重共線性問題 144
6.2 主成分分析 146
6.2.1 主成分分析基本原理 146
6.2.2 主成分?jǐn)?shù)的確定 148
6.2.3 主成分分析算法 149
6.2.4 主成分分析的應(yīng)用 149
6.2.5 多元分辨交替最小二乘 149
6.2.6 目標(biāo)波段熵最小化 150
6.2.7 多級同時成分分析 151
6.3 非負矩陣因子分解 152
6.4 獨立成分分析 153
6.5 多維尺度變換 154
6.6 Isomap 方法 155
6.7 局部線性嵌入算法 156
6.8 t-分布式隨機鄰域嵌入算法 157
6.9 其他算法 158
參考文獻 159
7 線性校正方法 / 162
7.1 一元線性回歸 162
7.2 多元線性回歸 162
7.3 濃度殘差增廣最小二乘回歸 163
7.4 逐步線性回歸 164
7.5 嶺回歸 164
7.6 Lasso 回歸 165
7.7 最小角回歸 166
7.8 彈性網(wǎng)絡(luò) 167
7.9 主成分回歸 168
7.9.1 基本原理 168
7.9.2 選取最佳主因子數(shù)的方法 168
7.10 偏最小二乘回歸 171
參考文獻 174
8 非線性校正方法 / 176
8.1 人工神經(jīng)網(wǎng)絡(luò) 176
8.1.1 引言 176
8.1.2 BP神經(jīng)網(wǎng)絡(luò)及其算法 179
8.1.3 BP神經(jīng)網(wǎng)絡(luò)的設(shè)計 182
8.1.4 其他類型的神經(jīng)網(wǎng)絡(luò) 184
8.1.5 神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化 185
8.2 支持向量機 186
8.2.1 引言 186
8.2.2 支持向量回歸 190
8.2.3 最小二乘支持向量回歸 192
8.2.4 支持向量回歸參數(shù)的優(yōu)化 193
8.3 相關(guān)向量機 194
8.4 核偏最小二乘法 195
8.5 極限學(xué)習(xí)機 196
8.6 高斯過程回歸 198
參考文獻 200
9 校正樣本的選擇方法 / 203
9.1 引言 203
9.2 Kennard-Stone 方法 206
9.3 SPXY 方法 207
9.4 OptiSim 方法 208
9.5 其他方法 208
參考文獻 210
10 界外樣本的檢測方法 / 212
10.1 校正過程界外樣本的檢測 212
10.2 預(yù)測過程界外樣本的檢測 212
10.3 其他檢測方法 214
參考文獻 215
11 定量校正模型的維護更新 / 217
11.1 必要性 217
11.2 遞歸指數(shù)加權(quán) PLS 方法 221
11.3 塊式遞歸 PLS 方法 221
11.4 即時學(xué)習(xí)與主動學(xué)習(xí) 223
參考文獻 223
12 模式識別方法 / 225
12.1 引言 225
12.2 無監(jiān)督的模式識別方法 226
12.2.1 相似系數(shù)和距離 226
12.2.2 系統(tǒng)聚類分析 228
12.2.3 K-均值聚類方法 229
12.2.4 模糊 K-均值聚類方法 230
12.2.5 高斯混合模型 231
12.2.6 自組織神經(jīng)網(wǎng)絡(luò) 232
12.3 有監(jiān)督的模式識別方法 234
12.3.1 最小距離判別法 234
12.3.2 典型變量分析 234
12.3.3 K-最近鄰法 237
12.3.4 SIMCA 法 238
12.3.5 Logistic回歸 239
12.3.6 Softmax分類器 241
12.3.7 隨機森林 242
12.3.8 回歸方法用于判別分析 244
12.4 光譜檢索算法及其應(yīng)用 245
12.4.1 引言 245
12.4.2 光譜檢索基本算法 246
12.4.3 光譜檢索算法的改進與應(yīng)用 248
12.4.4 光譜檢索策略與應(yīng)用 251
參考文獻 254
13 模型的評價 / 259
13.1 定量校正模型的評價 259
13.1.1 評價參數(shù) 259
13.1.2 模型的評價 261
13.1.3 模型的統(tǒng)計報告 266
13.2 模式識別模型性能的評價 266
參考文獻 270
14 提高模型預(yù)測能力的方法 / 272
14.1 提高穩(wěn)健性的建模策略 272
14.2 基于局部樣本的建模策略 273
14.3 集成的建模策略 275
14.3.1 Bagging方法 275
14.3.2 Boosting方法 276
14.3.3 疊加PLS方法 278
14.3.4 堆棧泛化算法 280
14.4 虛擬樣本建模策略 281
14.5 半監(jiān)督學(xué)習(xí)方法 283
14.6 多目標(biāo)回歸策略 285
參考文獻 285
15 多光譜融合技術(shù) / 290
15.1 融合策略與方法 290
15.2 多塊偏最小二乘方法 294
15.3 序貫正交偏最小二乘方法 295
15.4 多光譜融合的應(yīng)用研究 296
15.5 展望 300
參考文獻 300
16 多維分辨和校正方法 / 303
16.1 引言 303
16.2 PARAFAC 方法 305
16.3 交替三線性分解方法 306
16.4 多維偏最小二乘法 307
參考文獻 309
17 模型傳遞方法 / 311
17.1 引言 311
17.2 經(jīng)典算法 312
17.2.1 SSC算法 313
17.2.2 Shenk??s算法 313
17.2.3 DS算法 313
17.2.4 PDS算法 313
17.2.5 普魯克分析算法 315
17.2.6 目標(biāo)轉(zhuǎn)換因子分析算法 315
17.2.7 最大似然主成分分析算法 315
17.2.8 SBC算法 316
17.3 經(jīng)典算法的改進 316
17.4 算法新進展 319
17.4.1 CCA 算法 319
17.4.2 SST算法 320
17.4.3 ATLD算法 320
17.4.4 MTL算法 321
17.4.5 GLS算法 322
17.4.6 其他算法 322
17.5 全局模型、穩(wěn)健模型和模型更新 325
17.6 應(yīng)用研究進展 329
17.6.1 SBC方法 329
17.6.2 SSC方法 329
17.6.3 Shenk??s方法 330
17.6.4 DS方法 330
17.6.5 PDS方法 331
17.6.6 CCA 方法 333
17.6.7 全局模型的建立 334
17.6.8 其他方法 334
參考文獻 335
18 深度學(xué)習(xí)算法 / 354
18.1 棧式自動編碼器 354
18.2 卷積神經(jīng)網(wǎng)絡(luò) 357
18.2.1 卷積神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成 357
18.2.2 優(yōu)化算法 361
18.2.3 損失函數(shù) 362
18.2.4 激活函數(shù) 363
18.2.5 防止過擬合的方法 365
18.2.6 經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu) 367
18.2.7 流行的深度學(xué)習(xí)軟件框架 371
18.2.8 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計 372
18.2.9 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 374
18.2.10 卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點 376
18.2.11 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究 376
18.3 深度信念網(wǎng)絡(luò) 383
18.4 遷移學(xué)習(xí) 385
參考文獻 387
19 化學(xué)計量學(xué)軟件和工具包 / 391
19.1 引言 391
19.2 軟件的基本構(gòu)架和功能 391
19.3 常用軟件與工具箱 394
參考文獻 395
20 若干問題的探討 / 398
20.1 不同光譜分析技術(shù)的比較 398
20.2 化學(xué)計量學(xué)方法的選擇 400
20.2.1 多元校正方法的選擇 401
20.2.2 模式識別方法的選擇 401
20.2.3 光譜預(yù)處理方法和光譜變量的選擇 403
20.3 模型預(yù)測能力影響因素淺析 404
20.3.1 校正樣本的影響 404
20.3.2 基礎(chǔ)數(shù)據(jù)的影響 406
20.3.3 光譜測量方式的影響 409
20.3.4 光譜采集條件的影響 410
20.3.5 儀器性能的影響 414
20.4 展望 414
參考文獻 416
縮略語表 / 421
后記 / 433