增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)能夠?qū)⒂?jì)算機(jī)中的虛擬物體或信息融入到真實(shí)世界中，從而能夠極大地增強(qiáng)人對(duì)現(xiàn)實(shí)世界的體驗(yàn)和認(rèn)知。AR將為未來的信息系統(tǒng)和信息世界提供一種革命性的操作界面，必將改變諸如產(chǎn)品設(shè)計(jì)、設(shè)備操作與管理、培訓(xùn)學(xué)習(xí)等過程中的人機(jī)交互方式。近年來，AR已成為當(dāng)今具影響力的新興技術(shù)之一，受到學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注，被廣泛應(yīng)用于工業(yè)、醫(yī)療、社交、游戲娛樂、軍事、教育等多個(gè)領(lǐng)域。本書是廣東省虛擬現(xiàn)實(shí)及可視化工程技術(shù)研究中心課題組在增強(qiáng)現(xiàn)實(shí)領(lǐng)域多年研究成果的總結(jié)，特別總結(jié)了在國家自然科學(xué)基金委員會(huì)資助下取得的成果（增強(qiáng)現(xiàn)實(shí)裝配操作空間的深度感知理論與方法研究，編號(hào)：51275094）。本書從增強(qiáng)現(xiàn)實(shí)人機(jī)交互的特點(diǎn)出發(fā)，系統(tǒng)闡述了增強(qiáng)現(xiàn)實(shí)交互方法的基本原理、模型、主要技術(shù)與典型應(yīng)用的實(shí)現(xiàn)。著重論述基于視覺、外設(shè)、體感及觸摸屏四種典型人機(jī)交互方式的原理、方法與具體實(shí)現(xiàn)技術(shù)。主要內(nèi)容包括：增強(qiáng)現(xiàn)實(shí)的理論基礎(chǔ)與設(shè)備；基于標(biāo)識(shí)、數(shù)據(jù)手套、機(jī)器視覺、移動(dòng)終端的增強(qiáng)現(xiàn)實(shí)交互方法；增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)案例。本書注重理論與實(shí)踐相結(jié)合，五個(gè)與工業(yè)應(yīng)用相關(guān)的增強(qiáng)現(xiàn)實(shí)典型應(yīng)用案例均來源于實(shí)際科研項(xiàng)目，讀者可從中全面了解與掌握增強(qiáng)現(xiàn)實(shí)系統(tǒng)人機(jī)交互的設(shè)計(jì)思路、軟硬件構(gòu)成、建模方法、關(guān)鍵技術(shù)實(shí)現(xiàn)方法、編程開發(fā)要點(diǎn)等。本書可作為增強(qiáng)現(xiàn)實(shí)領(lǐng)域從事科研、技術(shù)開發(fā)人員的參考書和培訓(xùn)教材，也可供相關(guān)專業(yè)的研究生或高年級(jí)本科生使用。
增強(qiáng)現(xiàn)實(shí)（augmented reality）技術(shù)旨在增強(qiáng)人類的感知能力。隨著相關(guān)技術(shù)（如圖像圖形處理技術(shù)、模式識(shí)別技術(shù)、多媒體技術(shù)、信息技術(shù)等）以及顯示與跟蹤設(shè)備的高速發(fā)展，增強(qiáng)現(xiàn)實(shí)技術(shù)開始邁出實(shí)驗(yàn)室，在醫(yī)療、交通、教育培訓(xùn)、航天、工業(yè)維修等領(lǐng)域得到初步的應(yīng)用。樂觀者甚至預(yù)言，不久的將來增強(qiáng)現(xiàn)實(shí)終端有可能會(huì)取代智能手機(jī)等移動(dòng)終端，成為下一代智能計(jì)算與顯示平臺(tái)，在各個(gè)專業(yè)領(lǐng)域得到大規(guī)模應(yīng)用，并將以顛覆性的方式改變?nèi)藢?duì)世界的認(rèn)知手段，從而極大地改變我們的生活方式。
增強(qiáng)現(xiàn)實(shí)（augmented reality）技術(shù)旨在增強(qiáng)人類的感知能力。隨著相關(guān)技術(shù)（如圖像圖形處理技術(shù)、模式識(shí)別技術(shù)、多媒體技術(shù)、信息技術(shù)等）以及顯示與跟蹤設(shè)備的高速發(fā)展，增強(qiáng)現(xiàn)實(shí)技術(shù)開始邁出實(shí)驗(yàn)室，在醫(yī)療、交通、教育培訓(xùn)、航天、工業(yè)維修等領(lǐng)域得到初步的應(yīng)用。樂觀者甚至預(yù)言，不久的將來增強(qiáng)現(xiàn)實(shí)終端有可能會(huì)取代智能手機(jī)等移動(dòng)終端，成為下一代智能計(jì)算與顯示平臺(tái)，在各個(gè)專業(yè)領(lǐng)域得到大規(guī)模應(yīng)用，并將以顛覆性的方式改變?nèi)藢?duì)世界的認(rèn)知手段，從而極大地改變我們的生活方式。誠然，科學(xué)需要幻想，但新技術(shù)的進(jìn)步和應(yīng)用更需要腳踏實(shí)地的探索和實(shí)踐。本書作者團(tuán)隊(duì)自1999年開始涉足虛擬現(xiàn)實(shí)領(lǐng)域的探索，并一直將重點(diǎn)聚焦在增強(qiáng)現(xiàn)實(shí)交互方法、交互設(shè)備及增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)的開發(fā)上面。近年來，先后承擔(dān)了與增強(qiáng)現(xiàn)實(shí)研究相關(guān)的國家自然科學(xué)基金項(xiàng)目、國家科技重點(diǎn)研究項(xiàng)目、國家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局項(xiàng)目、廣東省科技計(jì)劃項(xiàng)目、廣州市科技計(jì)劃項(xiàng)目和企業(yè)委托開發(fā)項(xiàng)目等一批研究開發(fā)項(xiàng)目，積累了一些增強(qiáng)現(xiàn)實(shí)技術(shù)研究和增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)的經(jīng)驗(yàn)。本書作者所在課題組還在廣東工業(yè)大學(xué)開設(shè)了虛擬現(xiàn)實(shí)技術(shù)原理與應(yīng)用的研究生課程及適應(yīng)不同專業(yè)本科生選修的走進(jìn)虛擬現(xiàn)實(shí)課程。為了便于正在從事增強(qiáng)現(xiàn)實(shí)相關(guān)研究工作的研究生和技術(shù)研發(fā)人員更加深入地了解增強(qiáng)現(xiàn)實(shí)、開發(fā)增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)，遂產(chǎn)生了編撰此書的想法。本書著眼于增強(qiáng)現(xiàn)實(shí)交互理論及其實(shí)現(xiàn)方法，對(duì)制約增強(qiáng)現(xiàn)實(shí)交互性水平的核心技術(shù)的注冊技術(shù)進(jìn)行了較為系統(tǒng)的介紹和研究，包括增強(qiáng)現(xiàn)實(shí)注冊的空間坐標(biāo)體系架構(gòu)、理論模型、關(guān)鍵參數(shù)、求解方法、注冊穩(wěn)定性的影響要素分析等。此舉的目的是為讀者呈現(xiàn)增強(qiáng)現(xiàn)實(shí)注冊的完整模型，并幫助其把握增強(qiáng)現(xiàn)實(shí)注冊的核心問題和內(nèi)在本質(zhì)，為研究新的注冊算法和開發(fā)增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)打下基礎(chǔ)。至于對(duì)增強(qiáng)現(xiàn)實(shí)交互方法的研究，本書力圖既呈現(xiàn)相對(duì)傳統(tǒng)的交互方法（如基于標(biāo)志的交互），又呈現(xiàn)新的研究成果（如基于自然特征點(diǎn)的注冊、視覺交互等）。理論聯(lián)系實(shí)際是編著本書遵循的一個(gè)基本原則，因此結(jié)合作者團(tuán)隊(duì)的應(yīng)用開發(fā)項(xiàng)目，本書較為系統(tǒng)地將增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)的基本思路、基本流程，以及如何應(yīng)用本書的理論模型與算法等都一一呈現(xiàn)給讀者。希望讀者能夠通過本書掌握基本原理、理論與方法，并能夠從中學(xué)習(xí)到實(shí)際工程應(yīng)用系統(tǒng)的開發(fā)技術(shù)，共同推動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的創(chuàng)新與應(yīng)用。增強(qiáng)現(xiàn)實(shí)交互方法與實(shí)現(xiàn)多年來，本書作者及所在課題組在虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)研究中獲得了多項(xiàng)研究基金和研究計(jì)劃項(xiàng)目的資助，其中有國家自然科學(xué)基金、廣東省科技計(jì)劃項(xiàng)目、廣州市科技計(jì)劃項(xiàng)目、國家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局項(xiàng)目等資助。作者對(duì)這些研究基金和研究計(jì)劃給予的資助表示衷心的感謝！本書的研究成果得益于作者所在的課題團(tuán)隊(duì)，需要特別感謝李晉芳副教授、胡兆勇副教授、莫建清講師、韋宇煒講師、楊賢助理研究員為營造良好團(tuán)隊(duì)氛圍所起的帶頭作用！二十多年來，大家彼此尊重，崇尚學(xué)術(shù)，無論在何種境況下都保持了對(duì)虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)研究的專注，并積極將技術(shù)付諸應(yīng)用。此外，還要感謝為團(tuán)隊(duì)研究做出貢獻(xiàn)的歷屆博士生、碩士生！武漢理工大學(xué)陳定方教授、華中科技大學(xué)孫容磊教授等專家審閱了本書，他們對(duì)書稿的完善提出了很多寶貴建議，在此表示誠摯的謝意！感謝課題組朱騰博士后、梁劍斌博士、陳永彬博士、鄒序焱博士等在本書撰寫過程中提供的支持與幫助！他們?yōu)楸緯母惰髯龀隽撕艽蟮呢暙I(xiàn)。增強(qiáng)現(xiàn)實(shí)內(nèi)容十分廣泛，涉及諸多學(xué)科領(lǐng)域，在發(fā)展過程中有些概念和提法還不統(tǒng)一，加之作者水平有限，書中不妥之處在所難免，懇請(qǐng)讀者批評(píng)指正！
何漢武，博士，教授，博士生導(dǎo)師。現(xiàn)任廣東工貿(mào)職業(yè)技術(shù)學(xué)院院長，廣東省虛擬現(xiàn)實(shí)及可視化工程技術(shù)研究中心主任，廣東工業(yè)大學(xué)現(xiàn)代制造與智能裝備虛擬仿真實(shí)驗(yàn)教學(xué)中心主任。中國高校制造自動(dòng)化研究會(huì)理事，中國人工智能學(xué)會(huì)智能制造專業(yè)委員會(huì)副主任。廣東省千百十人才工程省級(jí)培養(yǎng)對(duì)象。2007年廣東省南粵優(yōu)秀教師。主要從事數(shù)字化設(shè)計(jì)與制造，計(jì)算機(jī)視覺處理、增強(qiáng)現(xiàn)實(shí)交互方法與技術(shù)研究。聯(lián)合主持國家863項(xiàng)目1項(xiàng)，主持國家自然科學(xué)基金2項(xiàng)，主持廣東省科技項(xiàng)目及企業(yè)委托項(xiàng)目20多項(xiàng)。參加的機(jī)器人離線編程系統(tǒng)HOLPS及應(yīng)用項(xiàng)目獲1995年國家科技進(jìn)步三等獎(jiǎng)。
第1章緒論（1）
1.1增強(qiáng)現(xiàn)實(shí)概述（1）
1.1.1增強(qiáng)現(xiàn)實(shí)的內(nèi)涵（1）
1.1.2增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)的區(qū)別（2）
1.1.3增強(qiáng)現(xiàn)實(shí)的特點(diǎn)（4）
1.2增強(qiáng)現(xiàn)實(shí)人機(jī)交互技術(shù)所面臨的挑戰(zhàn)（4）
1.3增強(qiáng)現(xiàn)實(shí)在各行業(yè)的應(yīng)用（9）
1.3.1增強(qiáng)現(xiàn)實(shí)在工業(yè)上的應(yīng)用（9）
1.3.2增強(qiáng)現(xiàn)實(shí)在醫(yī)療上的應(yīng)用（12）
1.3.3增強(qiáng)現(xiàn)實(shí)在娛樂游戲行業(yè)中的應(yīng)用（13）
1.3.4增強(qiáng)現(xiàn)實(shí)在教育行業(yè)上的應(yīng)用（14）
1.4本書重要內(nèi)容（15）
參考文獻(xiàn)（16）
第2章增強(qiáng)現(xiàn)實(shí)的理論基礎(chǔ)與設(shè)備（22）
2.1增強(qiáng)現(xiàn)實(shí)的空間坐標(biāo)系（22）
2.1.1成像坐標(biāo)系（23）
2.1.2觀察坐標(biāo)系（攝像機(jī)坐標(biāo)系）（24）
2.1.3世界坐標(biāo)系（26）
2.1.4虛擬世界坐標(biāo)系（26）
2.2攝像機(jī)成像模型及其標(biāo)定方法（26）
2.2.1攝像機(jī)成像模型（27）
2.2.2攝像機(jī)的標(biāo)定方法（30）
2.3攝像機(jī)位姿估算（35）
2.4增強(qiáng)現(xiàn)實(shí)常用設(shè)備（37）
2.4.1攝像機(jī)（37）
2.4.2跟蹤傳感器（39）
2.4.3體感交互設(shè)備（41）
2.4.4可穿戴增強(qiáng)顯示設(shè)備（42）
參考文獻(xiàn)（45）
增強(qiáng)現(xiàn)實(shí)交互方法與實(shí)現(xiàn)目錄第3章基于標(biāo)識(shí)的增強(qiáng)現(xiàn)實(shí)交互方法（47）
3.1基于標(biāo)識(shí)的注冊算法原理（47）
3.2基于正方形標(biāo)識(shí)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)基本算法原理（49）
3.2.1正方形標(biāo)識(shí)的設(shè)計(jì)思路（49）
3.2.2基于正方形標(biāo)識(shí)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的坐標(biāo)系定義（51）
3.2.3正方形標(biāo)識(shí)的注冊算法原理（52）
3.2.4正方形標(biāo)識(shí)的編碼識(shí)別（54）
3.2.5基于標(biāo)識(shí)注冊算法的影響因素討論（56）
3.3基于正方形標(biāo)識(shí)的交互方法與基本算法原理（60）
3.3.1常見的基于正方形標(biāo)識(shí)的交互方法（61）
3.3.2基于正方形標(biāo)識(shí)的交互方法基本算法原理（62）
3.4基于ARToolKit開發(fā)包的增強(qiáng)現(xiàn)實(shí)系統(tǒng)實(shí)現(xiàn)流程（65）
3.4.1ARToolKit開發(fā)包的工作原理（65）
3.4.2ARToolKit開發(fā)包的開發(fā)前準(zhǔn)備（65）
3.4.3ARToolKit開發(fā)包的開發(fā)框架（67）
參考文獻(xiàn)（68）
第4章基于數(shù)據(jù)手套的增強(qiáng)現(xiàn)實(shí)交互方法（70）
4.1數(shù)據(jù)手套的功能分析（70）
4.1.1數(shù)據(jù)手套的基本參數(shù)（70）
4.1.2數(shù)據(jù)手套的標(biāo)定方法（72）
4.2數(shù)據(jù)手套的交互語義模型（75）
4.2.1交互場景設(shè)計(jì)（75）
4.2.2交互語義模型（76）
4.3基于數(shù)據(jù)手套的手勢識(shí)別算法（81）
4.3.1操作意圖判斷的基本思路（81）
4.3.2靜態(tài)手勢識(shí)別（82）
4.3.3動(dòng)態(tài)手勢識(shí)別（86）
參考文獻(xiàn)（88）
第5章基于機(jī)器視覺的交互方法（89）
5.1基礎(chǔ)理論與方法（89）
5.1.1徒手交互的基本處理流程（89）
5.1.2雙手交互的操作意圖判斷方法［1］（90）
5.2基于普通攝像頭的徒手交互方法與實(shí)現(xiàn)（93）
5.2.1復(fù)雜背景下的手部分割算法（93）
5.2.2基于關(guān)鍵特征點(diǎn)的手勢識(shí)別算法（102）
5.3基于Kinect傳感器的體感交互方法與實(shí)現(xiàn)（112）
5.3.1Kinect傳感器介紹（112）
5.3.2Kinect傳感器應(yīng)用交互場景要求（113）
5.3.3Kinect SDK輸出的傳感數(shù)據(jù)（113）
5.3.4Kinect傳感器觀察坐標(biāo)系（116）
5.3.5Kinect傳感器體感交互方法（116）
參考文獻(xiàn)（119）
第6章基于移動(dòng)終端的增強(qiáng)現(xiàn)實(shí)交互方法（120）
6.1移動(dòng)增強(qiáng)現(xiàn)實(shí)的場景重構(gòu)與處理（120）
6.1.1場景重構(gòu)數(shù)學(xué)模型（121）
6.1.2場景重構(gòu)流程與誤差分析（123）
6.1.3場景點(diǎn)云重構(gòu)（124）
6.2移動(dòng)增強(qiáng)現(xiàn)實(shí)中的攝像機(jī)跟蹤（131）
6.2.1攝像機(jī)跟蹤框架（131）
6.2.2基于稀疏光流的攝像機(jī)姿態(tài)估計(jì)（134）
6.2.3基于語義SLAM的攝像頭跟蹤優(yōu)化（140）
6.2.4攝像機(jī)跟蹤的應(yīng)用（150）
6.3移動(dòng)增強(qiáng)現(xiàn)實(shí)的交互方法與實(shí)現(xiàn)（153）
6.3.1基于觸摸屏的交互（153）
6.3.2移動(dòng)增強(qiáng)現(xiàn)實(shí)中的視覺式交互 （163）
參考文獻(xiàn)（170）
第7章增強(qiáng)現(xiàn)實(shí)人機(jī)交互應(yīng)用系統(tǒng)開發(fā)（172）
7.1基于移動(dòng)端的油泵拆裝訓(xùn)練系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)（172）
7.1.1案例的背景與意義（172）
7.1.2系統(tǒng)的設(shè)計(jì)方案（173）
7.1.3算法原理（180）
7.1.4系統(tǒng)實(shí)現(xiàn)（183）
7.2基于數(shù)據(jù)手套的車間布局系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)（185）
7.2.1案例的背景與意義（185）
7.2.2系統(tǒng)硬件平臺(tái)設(shè)計(jì)（186）
7.2.3系統(tǒng)軟件平臺(tái)設(shè)計(jì)（188）
7.2.4車間布局的交互語義模型（193）
7.2.5車間布局系統(tǒng)的實(shí)現(xiàn)（194）
7.3正方形標(biāo)識(shí)工具車間布局系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)（197）
7.3.1案例的意義與背景（197）
7.3.2系統(tǒng)的設(shè)計(jì)方案（198）
7.3.3算法原理（204）
7.3.4系統(tǒng)實(shí)現(xiàn)（206）
7.4體感交互技術(shù)在虛擬機(jī)器人示教中的應(yīng)用（209）
7.4.1案例的背景與意義（209）
7.4.2系統(tǒng)設(shè)計(jì)方案（210）
7.4.3系統(tǒng)實(shí)現(xiàn)（212）
7.4.4程序?qū)崿F(xiàn)原理與要點(diǎn)（219）
7.5基于Hololens的布線輔助系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)（223）
7.5.1案例的意義與背景（223）
7.5.2系統(tǒng)的設(shè)計(jì)方案（224）
7.5.3系統(tǒng)實(shí)現(xiàn)（228）
書單推薦
