大模型作為人工智能技術(shù)的重要發(fā)展方向，逐漸成為未來(lái)科技發(fā)展的重要方向之一�；诖耍緯攸c(diǎn)介紹與大模型相關(guān)的基礎(chǔ)知識(shí)、原理與技術(shù)。本書分為14章，內(nèi)容包括深度學(xué)習(xí)基礎(chǔ)、自然語(yǔ)言處理、大模型網(wǎng)絡(luò)結(jié)構(gòu)、大模型訓(xùn)練與優(yōu)化、大模型微調(diào)及相關(guān)應(yīng)用案例等。全書強(qiáng)調(diào)內(nèi)容的科學(xué)性與系統(tǒng)性，從大模型歷史發(fā)展脈絡(luò)、理論基礎(chǔ)、構(gòu)建方法到應(yīng)用場(chǎng)景，循序漸進(jìn)地全面講解大模型技術(shù)。本書聚焦于大模型在不同領(lǐng)域的擴(kuò)展應(yīng)用，提供了應(yīng)用案例的全方位學(xué)習(xí)路徑，旨在培養(yǎng)和提升學(xué)生的實(shí)踐和創(chuàng)造能力。每章都提供了相應(yīng)的習(xí)題，供學(xué)生練習(xí)和鞏固知識(shí)。同時(shí)，本書通過(guò)介紹開(kāi)源框架"計(jì)圖”、華為芯片、航空航天裝備制造等知識(shí)，可以讓學(xué)生了解更多國(guó)產(chǎn)技術(shù)。 本書提供了電子課件及習(xí)題參考答案等配套資源，可登錄華信教育資源網(wǎng)（www.hxedu.com.cn）下載。本書適合作為科研院所和本科院校計(jì)算機(jī)、人工智能、機(jī)械制造與自動(dòng)化等相關(guān)專業(yè)的教材，也可以作為高職高專院校的教學(xué)參考書。
魏明強(qiáng)，國(guó)家優(yōu)青、教授、博士生導(dǎo)師。博士畢業(yè)于香港中文大學(xué)并獲最佳博士畢業(yè)論文獎(jiǎng)（2014）。近年來(lái)，圍繞大飛機(jī)3D掃描與測(cè)量、幾何深度學(xué)習(xí)和三維視覺(jué)等研究方向，主持國(guó)防基礎(chǔ)科研、國(guó)家重點(diǎn)研發(fā)計(jì)劃子課題、國(guó)自然優(yōu)青/面上/青年以及聯(lián)合主持國(guó)自然重點(diǎn)項(xiàng)目等10余項(xiàng)；發(fā)表學(xué)術(shù)論文150余篇，如IEEE TPAMI、CVPR等CCF A類期刊和會(huì)議，相關(guān)技術(shù)用在多個(gè)國(guó)家重點(diǎn)型號(hào)工程。
目 錄
第1章 緒論 1
1.1 大模型基本概念 2
1.2 大模型發(fā)展歷程 4
1.2.1 從技術(shù)架構(gòu)看發(fā)展歷程 5
1.2.2 從參數(shù)規(guī)模看發(fā)展歷程 6
1.2.3 從模態(tài)支持看發(fā)展歷程 6
1.2.4 從應(yīng)用領(lǐng)域看發(fā)展歷程 6
1.3 大模型關(guān)鍵技術(shù)及訓(xùn)練流程 7
1.3.1 大模型關(guān)鍵技術(shù) 7
1.3.2 大模型訓(xùn)練流程 9
1.4 本書內(nèi)容安排 11
1.5 思考 12
習(xí)題1 13
第2章 深度學(xué)習(xí)基礎(chǔ) 14
2.1 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 14
2.1.1 神經(jīng)網(wǎng)絡(luò) 14
2.1.2 卷積神經(jīng)網(wǎng)絡(luò) 18
2.2 損失函數(shù)和優(yōu)化算法 24
2.2.1 損失函數(shù) 24
2.2.2 優(yōu)化算法 26
2.3 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 29
2.3.1 梯度和鏈?zhǔn)椒▌t 29
2.3.2 前向傳播與反向傳播 30
2.3.3 訓(xùn)練神經(jīng)網(wǎng)絡(luò)示例 32
2.4 深度學(xué)習(xí)框架 34
2.4.1 主流深度學(xué)習(xí)框架 34
2.4.2 框架選擇和優(yōu)缺點(diǎn)比較 36
2.5 思考 37
習(xí)題2 38
第3章 自然語(yǔ)言處理 40
3.1 自然語(yǔ)言處理概述 40
3.1.1 基本任務(wù) 40
3.1.2 發(fā)展歷程 42
3.1.3 應(yīng)用領(lǐng)域 43
3.2 詞嵌入 44
3.2.1 獨(dú)熱向量 44
3.2.2 Word2vec 45
3.2.3 代碼示例 48
3.3 循環(huán)神經(jīng)網(wǎng)絡(luò) 50
3.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)介紹 50
3.3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練 51
3.3.3 循環(huán)神經(jīng)網(wǎng)絡(luò)梯度問(wèn)題 52
3.3.4 雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 53
3.4 長(zhǎng)短期記憶網(wǎng)絡(luò) 54
3.4.1 長(zhǎng)短期記憶網(wǎng)絡(luò)介紹 55
3.4.2 長(zhǎng)短期記憶網(wǎng)絡(luò)應(yīng)用 57
3.5 門控循環(huán)單元 61
3.5.1 門控循環(huán)單元介紹 62
3.5.2 門控循環(huán)單元應(yīng)用 63
3.6 思考 67
習(xí)題3 68
第4章 大模型網(wǎng)絡(luò)結(jié)構(gòu) 69
4.1 Transformer 69
4.1.1 注意力機(jī)制 71
4.1.2 編碼器-解碼器結(jié)構(gòu) 80
4.1.3 大模型中的編碼器-解碼器結(jié)構(gòu) 84
4.2 編碼器結(jié)構(gòu)—BERT家族 87
4.2.1 BERT結(jié)構(gòu) 87
4.2.2 預(yù)訓(xùn)練策略 89
4.2.3 BERT的變體 92
4.3 解碼器結(jié)構(gòu)—GPT家族 95
4.3.1 GPT結(jié)構(gòu) 96
4.3.2 自回歸預(yù)訓(xùn)練 98
4.3.3 后續(xù)改進(jìn) 100
4.4 思考 104
習(xí)題4 105
第5章 大模型訓(xùn)練與優(yōu)化 106
5.1 訓(xùn)練數(shù)據(jù)準(zhǔn)備 106
5.1.1 數(shù)據(jù)獲取 106
5.1.2 數(shù)據(jù)預(yù)處理 109
5.1.3 數(shù)據(jù)增強(qiáng) 111
5.1.4 數(shù)據(jù)配比與課程設(shè)置 114
5.1.5 開(kāi)源數(shù)據(jù)集 115
5.2 并行化和分布式訓(xùn)練 118
5.2.1 大模型訓(xùn)練的挑戰(zhàn) 118
5.2.2 并行策略 118
5.2.3 節(jié)點(diǎn)間數(shù)據(jù)通信 120
5.2.4 分布式訓(xùn)練框架 123
5.3 模型壓縮 126
5.3.1 量化 127
5.3.2 剪枝 132
5.3.3 知識(shí)蒸餾 136
5.4 華為芯片助力大模型訓(xùn)練與部署 138
5.4.1 Ascend AI芯片 139
5.4.2 Atlas系列硬件 139
5.4.3 異構(gòu)計(jì)算架構(gòu)CANN 139
5.4.4 深度學(xué)習(xí)框架MindSpore 140
5.4.5 應(yīng)用使能與行業(yè)應(yīng)用 140
5.5 思考 140
習(xí)題5 142
第6章 大模型微調(diào) 144
6.1 大模型微調(diào)概述 144
6.2 參數(shù)高效微調(diào) 146
6.2.1 增量式微調(diào) 146
6.2.2 指定式微調(diào) 150
6.2.3 重參數(shù)化微調(diào) 151
6.2.4 混合微調(diào) 156
6.2.5 小結(jié) 157
6.3 指令微調(diào) 158
6.3.1 指令數(shù)據(jù)集構(gòu)建 159
6.3.2 指令微調(diào)階段 160
6.4 基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào) 161
6.4.1 獎(jiǎng)勵(lì)建模 162
6.4.2 強(qiáng)化學(xué)習(xí)微調(diào) 163
6.4.3 案例講解 164
6.5 思考 166
習(xí)題6 166
第7章 大模型提示工程 168
7.1 提示工程簡(jiǎn)介 168
7.2 零樣本提示 169
7.3 少樣本提示 176
7.4 鏈?zhǔn)剿伎继崾?177
7.4.1 思維鏈提示工程概述 177
7.4.2 零樣本思維鏈 180
7.4.3 思維鏈拓展 180
7.5 思維樹(shù)提示 181
7.6 檢索增強(qiáng)生成 185
7.7 自動(dòng)提示工程 185
7.8 思考 187
習(xí)題7 188
第8章 高效大模型策略 190
8.1 大模型效率概述 190
8.1.1 大模型效率面臨的問(wèn)題 190
8.1.2 大模型效率及其評(píng)估指標(biāo) 190
8.2 預(yù)算效率策略：縮放定律 192
8.3 數(shù)據(jù)效率策略 193
8.3.1 數(shù)據(jù)過(guò)濾 193
8.3.2 主動(dòng)學(xué)習(xí)/重要性采樣 194
8.3.3 課程學(xué)習(xí) 194
8.4 架構(gòu)效率策略 195
8.4.1 高效注意力 195
8.4.2 高效位置編碼 196
8.4.3 稀疏模型 197
8.4.4 無(wú)注意力模型 197
8.5 訓(xùn)練效率策略 197
8.5.1 穩(wěn)定訓(xùn)練策略 198
8.5.2 混合精度訓(xùn)練 198
8.5.3 并行訓(xùn)練技術(shù) 199
8.5.4 內(nèi)存優(yōu)化 200
8.6 推理效率策略 200
8.6.1 剪枝 201
8.6.2 知識(shí)蒸餾 201
8.6.3 量化 202
8.6.4 低秩分解 202
8.7 微調(diào)效率策略 203
8.7.1 參數(shù)高效微調(diào) 203
8.7.2 數(shù)據(jù)高效調(diào)整 204
8.8 思考 204
習(xí)題8 205
第9章 單模態(tài)通用大模型 206
9.1 LLaMA：一種自然語(yǔ)言處理大模型 206
9.1.1 模型結(jié)構(gòu) 206
9.1.2 預(yù)訓(xùn)練 209
9.1.3 微調(diào) 209
9.1.4 使用方法 211
9.2 SAM：一種圖像分割大模型 211
9.2.1 概述 212
9.2.2 提示下的圖像分割任務(wù) 212
9.2.3 SAM模型架構(gòu) 212
9.2.4 SA-1B：大規(guī)模掩碼數(shù)據(jù)集 216
9.2.5 SAM在各視覺(jué)任務(wù)中的應(yīng)用 217
9.2.6 SAM的使用方法 218
9.3 AudioLM：讓AI為你譜曲寫歌 219
9.3.1 概述 219
9.3.2 AudioLM的組件構(gòu)成 219
9.3.3 AudioLM的訓(xùn)練方式 220
9.3.4 AudioLM的安裝與使用 225
9.3.5 AudioLM的推理應(yīng)用 225
9.4 Zero-1-to-3：二生三維 226
9.4.1 概述 226
9.4.2 Zero-1-to-3模型結(jié)構(gòu) 227
9.4.3 Zero-1-to-3的使用 229
9.5 思考 231
習(xí)題9 231
第10章 多模態(tài)通用大模型 232
10.1 多模態(tài)數(shù)據(jù)集介紹 232
10.1.1 GQA數(shù)據(jù)集 232
10.1.2 HowTo100M數(shù)據(jù)集 233
10.1.3 Conceptual-12M數(shù)據(jù)集 234
10.1.4 YT-Temporal-180M數(shù)據(jù)集 234
10.1.5 WebVid-2M數(shù)據(jù)集 234
10.1.6 ModelNet數(shù)據(jù)集 234
10.1.7 ShapeNet數(shù)據(jù)集 235
10.1.8 ScanObjectNN數(shù)據(jù)集 235
10.1.9 KITTI數(shù)據(jù)集 236
10.1.10 nuScenes數(shù)據(jù)集 236
10.1.11 Waymo數(shù)據(jù)集 237
10.2 CLIP：探索圖文結(jié)合的奧秘 238
10.2.1 概述 238
10.2.2 模型架構(gòu) 239
10.2.3 訓(xùn)練過(guò)程 242
10.2.4 CLIP相關(guān)應(yīng)用 244
10.2.5 CLIP的不足 247
10.3 GPT-4V：大模型視覺(jué)能力的新篇章 248
10.3.1 輸入模式 248
10.3.2 工作方式 249
10.3.3 視覺(jué)語(yǔ)言能力 251
10.4 ImageBind：多感官統(tǒng)一 255
10.4.1 概述 255
10.4.2 多模態(tài)特征編碼與對(duì)齊 256
10.4.3 數(shù)據(jù)集的靈活應(yīng)用 257
10.4.4 相關(guān)應(yīng)用 257
10.4.5 使用方法 258
10.5 3D-LLM：將三維世界注入大模型 260
10.5.1 三維語(yǔ)言數(shù)據(jù)生成 260
10.5.2 3D-LLM訓(xùn)練方式 261
10.5.3 3D-LLM安裝與實(shí)現(xiàn)細(xì)節(jié) 263
10.5.4 3D-LLM應(yīng)用圖譜 264
10.6 Sora：文生視頻 265
10.6.1 Sora為視頻生成帶來(lái)的改變 266
10.6.2 Sora的局限性與爭(zhēng)議 268
10.7 思考 268
習(xí)題10 269
第11章 大模型評(píng)測(cè) 271
11.1 大模型評(píng)測(cè)概述 271
11.2 知識(shí)和能力評(píng)測(cè) 272
11.2.1 問(wèn)答能力 272
11.2.2 知識(shí)補(bǔ)全能力 272
11.2.3 推理能力 272
11.2.4 工具學(xué)習(xí)能力 274
11.3 對(duì)齊評(píng)測(cè) 274
11.3.1 倫理道德 275
11.3.2 偏見(jiàn) 275
11.3.3 有害內(nèi)容 276
11.3.4 真實(shí)性 276
11.4 安全評(píng)測(cè) 277
11.4.1 魯棒性評(píng)測(cè) 277
11.4.2 風(fēng)險(xiǎn)評(píng)測(cè) 278
11.5 行業(yè)大模型評(píng)測(cè) 278
11.5.1 醫(yī)學(xué) 278
11.5.2 教育學(xué) 279
11.5.3 計(jì)算機(jī)科學(xué) 279
11.5.4 金融學(xué) 280
11.6 思考 280
習(xí)題11 281
第12章 大模型主要應(yīng)用場(chǎng)景 283
12.1 大模型產(chǎn)業(yè)圖譜 283
12.2 大模型軍事智能應(yīng)用 284
12.3 大模型教育教學(xué)應(yīng)用 286
12.4 大模型醫(yī)療健康應(yīng)用 288
12.5 大模型工業(yè)應(yīng)用 289
12.6 大模型氣象預(yù)報(bào)應(yīng)用 292
12.7 大模型測(cè)繪應(yīng)用 294
12.8 思考 295
習(xí)題12 296
第13章 基于大模型的智能軟件研發(fā) 297
13.1 基于大模型的智能軟件研發(fā)框架 297
13.2 智能軟件研發(fā)中的大模型技術(shù) 298
13.2.1 常用大模型 298
13.2.2 預(yù)訓(xùn)練范式 299
13.3 智能軟件研發(fā)中的下游任務(wù) 300
13.3.1 程序語(yǔ)言相關(guān)任務(wù) 301
13.3.2 自然語(yǔ)言相關(guān)任務(wù) 308
13.3.3 程序語(yǔ)言與自然語(yǔ)言交互任務(wù) 311
13.4 常用數(shù)據(jù)集 317
13.4.1 預(yù)訓(xùn)練數(shù)據(jù)集 317
13.4.2 下游任務(wù)數(shù)據(jù)集 318
13.5 思考 320
習(xí)題13 321
第14章 基于大模型的航空航天裝備制造 323
14.1 大模型在大飛機(jī)制造中的應(yīng)用 323
14.1.1 大飛機(jī)制造概述 323
14.1.2 設(shè)計(jì)和優(yōu)化中的應(yīng)用 324
14.2 大模型在航空發(fā)動(dòng)機(jī)中的應(yīng)用 327
14.2.1 航空發(fā)動(dòng)機(jī)概述 327
14.2.2 具體應(yīng)用場(chǎng)景 328
14.3 大模型在航空機(jī)載設(shè)備與系統(tǒng)中的應(yīng)用 330
14.3.1 航空機(jī)載設(shè)備與系統(tǒng)概述 330
14.3.2 具體應(yīng)用場(chǎng)景 330
14.4 大模型在無(wú)人機(jī)智能集群中的應(yīng)用 332
14.4.1 無(wú)人機(jī)智能集群概述 332
14.4.2 具體應(yīng)用場(chǎng)景 334
14.4.3 典型應(yīng)用案例 334
14.5 思考 337
習(xí)題14 338
參考文獻(xiàn) 339
書單推薦
