隨著ChatGPT 的出現(xiàn)，大語(yǔ)言模型的能力得到了業(yè)內(nèi)外的認(rèn)可，新的商業(yè)模式不斷涌現(xiàn)，舊的設(shè)計(jì)和實(shí)現(xiàn)都將重構(gòu)。本書主要介紹基于ChatGPT 開發(fā)算法相關(guān)的應(yīng)用或服務(wù)，側(cè)重于介紹與自然語(yǔ)言處理相關(guān)的常見任務(wù)和應(yīng)用，以及如何使用類似ChatGPT 的大語(yǔ)言模型服務(wù)來(lái)實(shí)現(xiàn)以前只有算法工程師才能完成的工作。
全書共8 章內(nèi)容，第1 章介紹與ChatGPT 相關(guān)的基礎(chǔ)知識(shí)，第2～5 章分別介紹相似匹配、句詞分類、文本生成和復(fù)雜推理方面的任務(wù)，第6～8 章分別介紹ChatGPT 的工程實(shí)踐、局限與不足，以及商業(yè)應(yīng)用，以幫助讀者更好地構(gòu)建自己的應(yīng)用。
本書以實(shí)踐為主，尤其注重任務(wù)的講解和設(shè)計(jì)，但同時(shí)也對(duì)自然語(yǔ)言處理相關(guān)算法的基本原理和基礎(chǔ)知識(shí)進(jìn)行科普性介紹，適合所有對(duì)大語(yǔ)言模型感興趣的開發(fā)者閱讀。
1. Di一本基于大語(yǔ)言模型進(jìn)行商業(yè)應(yīng)用開發(fā)的書；
2. 以任務(wù)（相似匹配、句詞分類、文本生成、復(fù)雜推理）為中心，內(nèi)容不僅可用于ChatGPT，也適用于其他大語(yǔ)言模型；
3. 側(cè)重于任務(wù)的講解與設(shè)計(jì)，思路可用于任何項(xiàng)目；
4. 有詳細(xì)的示例代碼，大部分的代碼稍作修改后可用于生產(chǎn)環(huán)境，還有Datawhale的HuggingLLM開源教程、B站視頻課程，書-課-代碼倉(cāng)庫(kù)全方位助力學(xué)習(xí)與實(shí)踐；
5. Datawhale開源社區(qū)又一力作，五位人工智能領(lǐng)域?qū)W者吳飛、周明、朱信忠、金耀輝、張俊林親筆推薦！
郝少春
某AI大語(yǔ)言模型公司的算法工程師，開源組織Datawhale成員；擁有7 年算法和工程架構(gòu)經(jīng)驗(yàn)及豐富的項(xiàng)目和產(chǎn)品經(jīng)歷，涉及文本、音頻、視頻、圖像等多種模態(tài)。
黃玉琳
上海財(cái)經(jīng)大學(xué)碩士，京東算法工程師，開源組織Datawhale成員；從事智能供應(yīng)鏈領(lǐng)域的算法研究及應(yīng)用工作；主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、自然語(yǔ)言處理、運(yùn)籌優(yōu)化。
易華揮
四川大學(xué)華西醫(yī)院生物大數(shù)據(jù)中心的科研助理，開源組織Datawhale成員；主要研究方向?yàn)槎嗄B(tài)表征學(xué)習(xí)及其在醫(yī)學(xué)影像分析中的應(yīng)用；發(fā)表頂會(huì)論文3篇。
第 1 章 基礎(chǔ)知識(shí)——大語(yǔ)言模型背后 1
1.1 自然語(yǔ)言背景 1
1.1.1 語(yǔ)言是智能的標(biāo)志 1
1.1.2 從圖靈測(cè)試到ChatGPT 2
1.2 語(yǔ)言模型基礎(chǔ) 6
1.2.1 最小語(yǔ)義單位Token 與Embedding 6
1.2.2 語(yǔ)言模型是怎么回事 8
1.3 ChatGPT基礎(chǔ) 14
1.3.1 最強(qiáng)表示架構(gòu)Transformer設(shè)計(jì)與演變 14
1.3.2 生成語(yǔ)言模型GPT進(jìn)化與逆襲 18
1.3.3 利器強(qiáng)化學(xué)習(xí)RLHF流程與思想 25
1.4 本章小結(jié) 30
第 2 章 相似匹配——萬(wàn)物皆可Embedding 31
2.1 相似匹配基礎(chǔ) 31
2.1.1 更好的Embedding表示 31
2.1.2 如何度量Embedding相似度 36
2.2 ChatGPT接口使用 37
2.2.1 Embedding接口 37
2.2.2 ChatGPT+提示詞 40
2.3 相關(guān)任務(wù)與應(yīng)用 41
2.3.1 簡(jiǎn)單問答：以問題找問題 42
2.3.2 聚類任務(wù)：物以類聚也以群分 50
2.3.3 推薦應(yīng)用：一切都是Embedding 55
2.4 本章小結(jié) 64
第3 章 句詞分類——句子Token都是類別 65
3.1 句詞分類基礎(chǔ) 65
3.1.1 如何對(duì)一句話進(jìn)行分類 68
3.1.2 從句子分類到Token分類 71
3.2 ChatGPT接口使用 72
3.2.1 基礎(chǔ)版GPT續(xù)寫 72
3.2.2 進(jìn)階版ChatGPT指令 77
3.3 相關(guān)任務(wù)與應(yīng)用 82
3.3.1 文檔問答：給定文檔問問題 82
3.3.2 模型微調(diào)：滿足個(gè)性化需要 94
3.3.3 智能對(duì)話：大語(yǔ)言模型=自主控制的機(jī)器人 106
3.4 本章小結(jié) 117
第4 章 文本生成——超越理解更智能 119
4.1 文本生成任務(wù)基礎(chǔ) 119
4.2 文本摘要 121
4.2.1 什么是文本摘要 121
4.2.2 常見的文本摘要技術(shù) 121
4.2.3 基于OpenAI接口的文本摘要實(shí)驗(yàn) 123
4.3 文本糾錯(cuò) 131
4.3.1 什么是文本糾錯(cuò) 131
4.3.2 常見的文本糾錯(cuò)技術(shù) 132
4.3.3 基于OpenAI接口的文本糾錯(cuò)實(shí)驗(yàn) 135
4.4 機(jī)器翻譯 136
4.4.1 什么是機(jī)器翻譯 136
4.4.2 常見的機(jī)器翻譯技術(shù) 137
4.4.3 基于OpenAI接口的機(jī)器翻譯實(shí)驗(yàn) 138
4.5 本章小結(jié) 144
第5 章 復(fù)雜推理——更加像人一樣思考 145
5.1 什么是復(fù)雜推理 145
5.2 復(fù)雜推理能力的激活和改善 147
5.2.1 初步評(píng)估ChatGPT的推理能力 147
5.2.2 復(fù)雜推理能力的激活 150
5.2.3 大語(yǔ)言模型復(fù)雜推理能力的改善 156
5.3 大語(yǔ)言模型復(fù)雜推理能力的探討 168
5.4 本章小結(jié) 170
第6 章 工程實(shí)踐——真實(shí)場(chǎng)景大不同 172
6.1 評(píng)測(cè)：決定是否上線的標(biāo)準(zhǔn) 172
6.1.1 為什么評(píng)測(cè) 172
6.1.2 NLU常用評(píng)測(cè)指標(biāo) 173
6.1.3 NLG常用評(píng)測(cè)指標(biāo) 175
6.2 安全：必須認(rèn)真對(duì)待的話題 178
6.2.1 前/ 后處理 178
6.2.2 提示詞 179
6.2.3 可控文本生成 179
6.3 網(wǎng)絡(luò)：接口調(diào)用并不總是成功 180
6.3.1 失敗 181
6.3.2 延遲 182
6.3.3 擴(kuò)展 183
6.4 本章小結(jié) 185
第7 章 局限與不足——工具不是萬(wàn)能的 186
7.1 事實(shí)性錯(cuò)誤 186
7.1.1 錯(cuò)誤示例 186
7.1.2 原因分析 188
7.1.3 解決方法 189
7.2 實(shí)時(shí)更新 190
7.2.1 問題示例 190
7.2.2 原因分析 191
7.2.3 解決方法 192
7.3 性能瓶頸 193
7.3.1 背景描述 193
7.3.2 原因分析 193
7.3.3 解決方法 194
7.4 本章小結(jié) 194
第8 章 商業(yè)應(yīng)用——LLM是星辰大海 196
8.1 相關(guān)背景 196
8.2 影響分析 197
8.3 商業(yè)賦能 198
8.4 本章小結(jié) 204
書單推薦
