第1章 緒論 001
1.1 研究目的和意義 001
1.2 國(guó)內(nèi)外研究現(xiàn)狀 005
1.2.1 人體姿態(tài)估計(jì) 005
1.2.2 基于視頻的人體動(dòng)作識(shí)別 011
1.2.3 基于骨架序列的人體動(dòng)作識(shí)別 014
1.2.4 基于互動(dòng)關(guān)系的視覺人體動(dòng)作識(shí)別 015
1.2.5 視頻群體動(dòng)作識(shí)別 027
1.3 研究?jī)?nèi)容 032
1.4 本書結(jié)構(gòu)安排 034
第2章 基于時(shí)序一致性探索的人體2D姿態(tài)估計(jì) 036
2.1 引言 036
2.2 相關(guān)工作 038
2.2.1 基于深度學(xué)習(xí)的視頻人體2D姿態(tài)估計(jì) 038
2.2.2 卷積長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和可變形卷積 038
2.3 問題定義 039
2.4 圖像人體2D姿態(tài)估計(jì)網(wǎng)絡(luò) 040
2.5 視頻時(shí)序一致性探索 041
2.5.1 變形操作 042
2.5.2 聚合操作 043
2.5.3 雙向時(shí)序一致性探索 043
2.5.4 多尺度時(shí)序一致性探索 044
2.6 視頻人體2D姿態(tài)估計(jì)網(wǎng)絡(luò) 044
2.7 實(shí)驗(yàn)結(jié)果 046
2.7.1 實(shí)驗(yàn)設(shè)置 046
2.7.2 性能比較 048
2.7.3 模型控制變量分析與實(shí)驗(yàn)結(jié)果 051
2.8 本章小結(jié) 055
第3章 多視角幾何驅(qū)動(dòng)的自監(jiān)督人體3D姿態(tài)估計(jì) 057
3.1 引言 057
3.2 相關(guān)工作 059
3.2.1 基于深度學(xué)習(xí)的單目人體3D姿態(tài)估計(jì) 060
3.2.2 弱/自監(jiān)督單目人體3D姿態(tài)估計(jì) 060
3.3 自監(jiān)督人體3D姿態(tài)估計(jì)方法 061
3.3.1 雙分支自監(jiān)督訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu) 061
3.3.2 損失函數(shù) 062
3.3.3 訓(xùn)練 064
3.4 實(shí)驗(yàn)結(jié)果 065
3.4.1 實(shí)驗(yàn)設(shè)置 065
3.4.2 模型控制變量分析與實(shí)驗(yàn)結(jié)果 066
3.4.3 性能比較 070
3.5 本章小結(jié) 071
第4章 基于人體形狀與相機(jī)視角一致分解的人體3D姿態(tài)估計(jì) 072
4.1 引言 072
4.2 相關(guān)工作 074
4.2.1 基于字典學(xué)習(xí)的單目人體3D姿態(tài)估計(jì)方法 074
4.2.2 運(yùn)動(dòng)恢復(fù)非剛體結(jié)構(gòu) 075
4.3 問題定義 075
4.4 一致分解網(wǎng)絡(luò) 076
4.5 層次化字典學(xué)習(xí) 077
4.6 模型訓(xùn)練 079
4.7 實(shí)驗(yàn)結(jié)果 079
4.7.1 實(shí)驗(yàn)設(shè)置 079
4.7.2 模型控制變量分析與實(shí)驗(yàn)結(jié)果 080
4.7.3 性能比較 083
4.8 本章小結(jié) 084
第5章 基于多時(shí)空特征的人體動(dòng)作識(shí)別 086
5.1 引言 086
5.2 相關(guān)工作 088
5.2.1 基于表觀的時(shí)空表示學(xué)習(xí) 088
5.2.2 基于骨架序列的時(shí)空表示學(xué)習(xí) 089
5.3 多時(shí)空特征人體動(dòng)作識(shí)別方法概述 089
5.4 多層級(jí)表觀特征聚合 090
5.4.1 局部演化描述符提取 090
5.4.2 局部演化描述符編碼 092
5.4.3 深度監(jiān)督的多層級(jí)特征聚合 092
5.5 時(shí)空?qǐng)D卷積網(wǎng)絡(luò) 093
5.5.1 時(shí)空?qǐng)D卷積 094
5.5.2 網(wǎng)絡(luò)細(xì)節(jié) 095
5.6 實(shí)驗(yàn)結(jié)果 096
5.6.1 實(shí)驗(yàn)設(shè)置 096
5.6.2 模型控制變量分析與實(shí)驗(yàn)結(jié)果 097
5.6.3 性能比較 099
5.7 本章小結(jié) 100
第6章 基于扁平式互動(dòng)關(guān)系分析的多人動(dòng)作識(shí)別 101
6.1 引言 101
6.2 相關(guān)工作 109
6.3 特征表征 111
6.3.1 肢體角度描述符特征 113
6.3.2 空間布局特征 114
6.3.3 基于融合受限玻爾茲曼機(jī)的特征融合 116
6.4 線索互動(dòng)關(guān)系模型 126
6.5 扁平式動(dòng)作識(shí)別方法 127
6.6 局部線索與局部識(shí)別 129
6.7 基于目標(biāo)子空間度量的動(dòng)作相關(guān)性分析 130
6.8 全局線索整合與動(dòng)作識(shí)別 131
6.8.1 全局-局部線索整合算法 131
6.8.2 改進(jìn)全局-局部線索整合算法 132
6.9 實(shí)驗(yàn)結(jié)果與分析 136
6.9.1 數(shù)據(jù)集及實(shí)驗(yàn)設(shè)置 136
6.9.2 算法結(jié)果與分析 138
6.9.3 與現(xiàn)有方法的對(duì)比 146
6.10 本章小結(jié) 149
第7章 基于層級(jí)式互動(dòng)關(guān)系分析的群組動(dòng)作識(shí)別 150
7.1 引言 150
7.2 相關(guān)工作 152
7.3 混合群組動(dòng)作模型 154
7.4 混合群組動(dòng)作模型的概率分布 157
7.5 基于混合群組動(dòng)作模型的動(dòng)作識(shí)別算法 161
7.6 實(shí)驗(yàn)與算法分析 162
7.6.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置 162
7.6.2 算法結(jié)果和分析 163
7.6.3 與現(xiàn)有方法的對(duì)比 168
7.7 本章小結(jié) 170
第8章 融合動(dòng)作相關(guān)性的群體動(dòng)作識(shí)別 171
8.1 引言 171
8.2 相關(guān)工作 172
8.3 問題定義 173
8.4 動(dòng)作表示 173
8.4.1 多尺度特征 174
8.4.2 動(dòng)作表示提取 175
8.5 動(dòng)作關(guān)系推理 177
8.5.1 動(dòng)作相關(guān)性 177
8.5.2 關(guān)系推理 179
8.5.3 算法描述 180
8.6 時(shí)空表示 181
8.7 模型訓(xùn)練 184
8.8 實(shí)驗(yàn)分析 185
8.8.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo) 185
8.8.2 實(shí)驗(yàn)設(shè)置 187
8.8.3 實(shí)驗(yàn)結(jié)果分析 187
8.9 本章小結(jié) 193
第9章 結(jié)論與展望 194