前言
第1章緒論
1.1基本概念
1.1.1語言學(xué)與語音學(xué)
1.1.2自然語言
1.1.3自然語言處理
1.2自然語言處理的發(fā)展歷程
1.2.1自然語言處理的發(fā)展歷史
1.2.2自然語言處理的研究現(xiàn)狀
1.2.3自然語言處理的發(fā)展前景
1.3自然語言處理的基本方法
1.3.1理性主義方法
1.3.2經(jīng)驗主義方法
1.3.3對比分析
1.4自然語言處理的研究內(nèi)容
1.4.1文本分類
1.4.2信息抽取
1.4.3文本摘要
1.4.4智能問答
第2章語言模型
2.1語言模型概述
2.2n-gram統(tǒng)計語言模型
2.2.1何為n-gram模型
2.2.2n-gram語言模型評估詞序列
2.2.3n-gram統(tǒng)計語言模型的應(yīng)用
2.2.4n-gram模型中n對性能的影響
2.2.5n-gram模型小結(jié)
思考題
參考文獻
第3章神經(jīng)網(wǎng)絡(luò)和神經(jīng)語言模型
3.1人工神經(jīng)網(wǎng)絡(luò)和神經(jīng)語言模型
3.1.1人工神經(jīng)網(wǎng)絡(luò)
3.1.2神經(jīng)語言模型
3.2卷積神經(jīng)網(wǎng)絡(luò)
3.2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
3.2.2卷積神經(jīng)網(wǎng)絡(luò)的文本處理
3.3循環(huán)神經(jīng)網(wǎng)絡(luò)
3.4遞歸神經(jīng)網(wǎng)絡(luò)
3.4.1遞歸神經(jīng)網(wǎng)絡(luò)的前向計算
3.4.2遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法
思考題
參考文獻
第4章詞和語義向量
4.1離散分布表示
4.1.1獨熱表示法
4.1.2詞袋表示法
4.2分布式表示
4.2.1Word2vec
4.2.2矩陣分解
4.2.3GloVe
4.3文本特征選擇法
4.3.1基于文檔頻率的特征提取法
4.3.2 2統(tǒng)計量
4.3.3信息增益法
4.3.4互信息法
4.4特征權(quán)重計算方法
4.4.1布爾權(quán)重
4.4.2絕對詞頻
4.4.3TF-IDF
思考題
參考文獻
第5章預(yù)訓(xùn)練語言模型
5.1Transformer
5.2ELMo
5.3GPT
5.4BERT
5.5后BERT時代
思考題
參考文獻
第6章序列標注
6.1馬爾可夫模型
6.2條件隨機場、維特比算法
6.2.1條件隨機場的原理解析
6.2.2條件隨機場的特性
6.3序列標注任務(wù)
6.3.1自動分詞
6.3.2漢語自動分詞中的基本問題
6.3.3歧義切分問題
6.3.4未登錄詞問題
6.4漢語分詞方法
6.4.1基于詞頻度統(tǒng)計的分詞方法
6.4.2N-最短路徑方法
6.4.3基于詞的n元語法模型的分詞方法
6.4.4由字構(gòu)詞的漢語分詞方法
6.4.5基于詞感知機的漢語分詞方法
6.4.6基于字的生成式模型和區(qū)分式模型相結(jié)合的漢語分詞方法
6.4.7其他分詞方法
6.5詞性標注
6.5.1詞性標注概述
6.5.2基于規(guī)則的詞性標注方法
6.5.3基于統(tǒng)計模型的詞性標注方法
6.5.4統(tǒng)計方法與規(guī)則方法相結(jié)合的詞性標注方法
6.5.5詞性標注的一致性檢查
6.5.6技術(shù)評測
6.6命名實體識別
6.6.1基于條件隨機場的命名實體識別方法
6.6.2基于多特征的命名實體識別方法
6.6.3基于神經(jīng)網(wǎng)絡(luò)的命名實體識別方法
思考題
參考文獻
第7章語義分析
7.1詞義消歧
7.1.1有監(jiān)督的詞義消歧方法
7.1.2基于詞典的詞義消歧方法
7.1.3無監(jiān)督的詞義消歧方法
7.1.4詞義消歧系統(tǒng)評價
7.2語義角色標注
7.2.1語義角色標注基本方法
7.2.2語義角色標注的領(lǐng)域適應(yīng)性問題
7.3雙語聯(lián)合語義角色標注方法
7.3.1基本思路
7.3.2雙語聯(lián)合語義角色標注方法系統(tǒng)實現(xiàn)
思考題
參考文獻
第8章文本分類
8.1文本分類概述
8.2傳統(tǒng)分類器設(shè)計
8.2.1樸素貝葉斯分類器
8.2.2基于支持向量機的分類器
8.2.3KNN法
8.2.4線性最小二乘擬合法
8.2.5決策樹分類器
8.3基于神經(jīng)網(wǎng)絡(luò)方法
8.3.1文本分析中的循環(huán)神經(jīng)網(wǎng)絡(luò)方法
8.3.2文本分析中的遞歸神經(jīng)網(wǎng)絡(luò)方法
8.4文本分類性能評測
思考題
參考文獻
第9章情感計算
9.1文檔或句子級情感計算方法
9.1.1情感詞典方法
9.1.2基于傳統(tǒng)機器學(xué)習(xí)的監(jiān)督情感分類
9.1.3深度神經(jīng)網(wǎng)絡(luò)方法
9.2屬性級情感分析
9.2.1意見挖掘和屬性抽取
9.2.2針對特定目標的情感分析
9.2.3立場檢測
9.3其他情感分析任務(wù)
9.3.1諷刺識別
9.3.2多模態(tài)情感分析
思考題
參考文獻
第10章知識抽取
10.1知識抽取概述
10.2命名實體識別
10.2.1命名實體識別概述
10.2.2基于詞典及規(guī)則的方法
10.2.3基于機器學(xué)習(xí)的有監(jiān)督方法
10.2.4基于深度學(xué)習(xí)的方法
10.3實體鏈接
10.3.1實體鏈接概述
10.3.2通用解決框架
10.3.3實體鏈接數(shù)據(jù)集
10.4關(guān)系抽取
10.4.1關(guān)系抽取概述
10.4.2有監(jiān)督關(guān)系抽取
10.4.3遠程監(jiān)督
10.4.4實體關(guān)系聯(lián)合抽取
10.4.5小樣本關(guān)系抽取
10.4.6開放域關(guān)系抽取
10.5事件抽取
10.5.1事件抽取概述
10.5.2基于模式匹配的方法
10.5.3基于機器學(xué)習(xí)的方法
10.5.4基于深度學(xué)習(xí)的方法
10.5.5事件抽取數(shù)據(jù)集
思考題
參考文獻
第11章統(tǒng)計機器翻譯和神經(jīng)機器翻譯
11.1機器翻譯概述
11.1.1機器翻譯的發(fā)展
11.1.2機器翻譯方法
11.1.3機器翻譯研究現(xiàn)狀
11.2基于HMM的詞對位模型
11.3基于短語的翻譯模型
11.4基于最大熵的翻譯模型
11.4.1對位模板與最大近似
11.4.2特征函數(shù)
11.4.3參數(shù)訓(xùn)練
11.5基于層次短語的翻譯模型
11.5.1概述
11.5.2模型描述和參數(shù)訓(xùn)練
11.5.3解碼方法
11.6樹翻譯模型
11.6.1樹到串的翻譯模型
11.6.2樹到樹的翻譯模型
11.6.3串到樹的翻譯模型
11.7樹模型的相關(guān)改進
11.8基于謂詞論元結(jié)構(gòu)轉(zhuǎn)換的翻譯模型
11.9集外詞翻譯
11.9.1數(shù)字和時間表示的識別與翻譯
11.9.2普通集外詞的翻譯
11.10統(tǒng)計翻譯系統(tǒng)實現(xiàn)
11.11譯文質(zhì)量評估方法
11.11.1概述
11.11.2技術(shù)指標
11.11.3相關(guān)