第1章 緒論 1
1.1 研究背景及意義 1
1.2 基本定義及問題描述 3
第2章 語義表示學習的基礎(chǔ)信息 6
2.1 發(fā)展歷史 6
2.2 實際應用 8
第3章 分布表示方法 12
3.1 概述 12
3.2 基于矩陣分解的方法 15
3.3 基于神經(jīng)網(wǎng)絡的方法 19
3.4 方法總結(jié)與對比 26
第4章 預訓練語言模型 27
4.1 ELMo模型 27
4.2 GPT模型 28
4.3 BERT模型 29
4.4 RoBERTa模型 31
4.5 XLNet模型 32
4.6 方法總結(jié)與對比 33
第5章 增強關(guān)聯(lián)模式的語義表示方法 35
5.1 引言 35
5.2 相關(guān)工作 37
5.3 預備知識 39
5.3.1 基于上下文信息的語義表示模型 39
5.3.2 關(guān)聯(lián)模式挖掘 40
5.4 增強關(guān)聯(lián)模式的語義表示模型 41
5.4.1 基于CBOW的APWE模型 42
5.4.2 基于Skip-gram的APWE模型 43
5.5 實驗 44
5.5.1 對比方法 45
5.5.2 實驗I：文本分類 45
5.5.3 實驗II：查詢詞擴展 48
5.5.4 參數(shù)分析 51
5.5.5 實例分析 52
5.6 本章小結(jié) 53
第6章 基于知識的語義向量化表示 55
6.1 引言 55
6.2 相關(guān)工作 57
6.2.1 知識庫表示 57
6.2.2 知識與文本聯(lián)合表示 59
6.3 基于語義結(jié)構(gòu)的語義表示模型 60
6.3.1 語義結(jié)構(gòu)定義 60
6.3.2 SENSE模型 61
6.4 實驗 63
6.4.1 對比方法 64
6.4.2 參數(shù)設(shè)置 65
6.4.3 任務I：詞相似度測量 66
6.4.4 任務II：詞匯類比推理 67
6.4.5 任務III：文本分類 69
6.4.6 任務IV：查詢詞擴展 71
6.5 本章小結(jié) 73
第7章 文本分類中任務導向的語義表示方法 74
7.1 引言 74
7.2 相關(guān)工作 76
7.3 任務導向的語義表示模型 78
7.3.1 語義特征表示 78
7.3.2 任務特征表示 78
7.3.3 聯(lián)合表示模型及優(yōu)化 80
7.4 實驗 80
7.4.1 數(shù)據(jù)集 80
7.4.2 對比方法 82
7.4.3 實驗參數(shù)設(shè)置 82
7.4.4 整體評測效果 84
7.5 實例分析 87
7.6 本章小結(jié) 89
第8章 文本語義向量化表示在機器閱讀理解任務中的應用 90
8.1 引言 90
8.2 機器閱讀理解 93
8.3 機器閱讀理解基礎(chǔ)方法 95
8.4 多粒度語義匹配的MGRC模型 96
8.4.1 多粒度語義表示 96
8.4.2 多粒度語義匹配 99
8.4.3 聯(lián)合模型及其優(yōu)化 103
8.5 實驗 103
8.5.1 數(shù)據(jù)集 104
8.5.2 評測指標及對比方法 105
8.5.3 整體性能評測 106
8.5.4 參數(shù)分析 109
8.5.5 模塊有效性驗證 109
8.5.6 實例分析 113
8.6 本章小結(jié) 115
第9章 總結(jié)與展望 116
9.1 本書總結(jié) 116
9.2 未來研究方向展望 117
參考文獻 119