虛擬現(xiàn)實(shí)(Virtual Reality,VR)技術(shù)主要是通過(guò)計(jì)算機(jī)模擬產(chǎn)生一個(gè)3D虛擬世界,讓用戶在其中通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感知體驗(yàn),產(chǎn)生身臨其境的感覺(jué)。雖然虛擬現(xiàn)實(shí)技術(shù)已有幾十年的發(fā)展歷史,但由于設(shè)備昂貴、交互體驗(yàn)不理想、內(nèi)容生成成本高等原因,其應(yīng)用一直比較有限。直到2014年,F(xiàn)acebook公司收購(gòu)Oculus,被認(rèn)為是虛擬現(xiàn)實(shí)成為未來(lái)計(jì)算平臺(tái)的標(biāo)志性事件。幾乎同時(shí),日本索尼公司也宣布了自己的虛擬現(xiàn)實(shí)項(xiàng)目Morpheus。微軟公司也于2015年1月發(fā)布了增強(qiáng)現(xiàn)實(shí)頭戴設(shè)備HoloLens。2015年6月,迪士尼互動(dòng)娛樂(lè)公司宣布正將傳統(tǒng)游戲拓展至虛擬現(xiàn)實(shí)世界,打造虛擬現(xiàn)實(shí)樂(lè)園。目前,虛擬現(xiàn)實(shí)已經(jīng)成為國(guó)內(nèi)外學(xué)術(shù)界研究的熱點(diǎn),也成為產(chǎn)業(yè)界投資的重點(diǎn)領(lǐng)域,使得虛擬現(xiàn)實(shí)技術(shù)在教育、航天、醫(yī)療、娛樂(lè)等眾多領(lǐng)域得到廣泛應(yīng)用。
2016年,國(guó)務(wù)院在《十三五國(guó)家信息化規(guī)則》《國(guó)家創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略綱要》等文件中就明確指出加強(qiáng)VR等新技術(shù)的研發(fā)和前沿布局。2017年國(guó)務(wù)院印發(fā)的《新一代人工智能發(fā)展規(guī)劃》提出大力發(fā)展虛擬現(xiàn)實(shí),建立虛擬現(xiàn)實(shí)的技術(shù)、產(chǎn)品、服務(wù)標(biāo)準(zhǔn)和評(píng)價(jià)體系,推動(dòng)重點(diǎn)行業(yè)融合應(yīng)用。2018年工信部發(fā)布《關(guān)于加快推進(jìn)虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展的指導(dǎo)意見(jiàn)》,提出加快我國(guó)VR產(chǎn)業(yè)發(fā)展。國(guó)家發(fā)改委在《產(chǎn)業(yè)結(jié)構(gòu)調(diào)整指導(dǎo)目錄(2019年本)》中將虛擬現(xiàn)實(shí)列入鼓勵(lì)類產(chǎn)業(yè),這意味著國(guó)家已經(jīng)將這項(xiàng)技術(shù)歸入新一輪世界科技革命和產(chǎn)業(yè)變革之中。教育部則在《普通高等學(xué)校高等職業(yè)教育(?)專業(yè)目錄》中設(shè)置虛擬現(xiàn)實(shí)應(yīng)用技術(shù)專業(yè),從2019年開(kāi)始實(shí)行,并于2020年2月將虛擬現(xiàn)實(shí)技術(shù)本科專業(yè)納入《普通高等學(xué)校本科專業(yè)目錄(2020年版)》。
山東大學(xué)是國(guó)內(nèi)較早研究虛擬現(xiàn)實(shí)技術(shù)并開(kāi)設(shè)虛擬現(xiàn)實(shí)課程的高校之一。在十三五國(guó)家重點(diǎn)研發(fā)計(jì)劃云端融合的自然交互設(shè)備與工具(2016YFB1001403)面向服刑人員心理矯治的VR訓(xùn)練裝備及系統(tǒng)研發(fā)(2018YFC0831003)以及國(guó)家自然科學(xué)基金面向頭盔式虛擬現(xiàn)實(shí)系統(tǒng)的人體移動(dòng)交互技術(shù)研究(61972233)基于多道生理信號(hào)的心流體驗(yàn)識(shí)別及心流調(diào)節(jié)型VR系統(tǒng)研發(fā)(6180070421)的資助下,結(jié)合多年來(lái)的教學(xué)實(shí)踐,作者將近年的工作進(jìn)行歸納整理,形成本書(shū)。
本書(shū)的特色之一是側(cè)重虛擬現(xiàn)實(shí)技術(shù)的實(shí)際應(yīng)用,比較全面地介紹與虛擬現(xiàn)實(shí)開(kāi)發(fā)相關(guān)的基礎(chǔ)知識(shí),及各種類型的虛擬現(xiàn)實(shí)系統(tǒng)的實(shí)現(xiàn)方法。本書(shū)首先簡(jiǎn)單介紹系統(tǒng)實(shí)現(xiàn)所需的基本知識(shí),然后側(cè)重對(duì)各類系統(tǒng)的技術(shù)實(shí)現(xiàn)進(jìn)行講解,涉及虛擬現(xiàn)實(shí)技術(shù)的基本概念、特點(diǎn)、應(yīng)用等,以及感知、硬件、數(shù)學(xué)、編程、建模等基礎(chǔ)知識(shí)。然后介紹了頭盔式虛擬現(xiàn)實(shí)系統(tǒng)、基于投影的虛擬現(xiàn)實(shí)系統(tǒng)、混合現(xiàn)實(shí)系統(tǒng)以及VR全景視頻系統(tǒng)等各類VR應(yīng)用系統(tǒng),也對(duì)全息顯示系統(tǒng)進(jìn)行了介紹。后針對(duì)虛擬現(xiàn)實(shí)系統(tǒng)的評(píng)價(jià)方法進(jìn)行了系統(tǒng)的整理和介紹,也具有實(shí)戰(zhàn)操作指南的性質(zhì)。希望通過(guò)本書(shū)的學(xué)習(xí),讀者可以比較全面地了解、掌握虛擬現(xiàn)實(shí)的基本知識(shí)和相關(guān)開(kāi)發(fā)技術(shù),能夠?qū)W以致用。本書(shū)適合作為高等學(xué);蚋呗毟邔T盒O嚓P(guān)專業(yè)的教材,也可作為虛擬現(xiàn)實(shí)研究人員或應(yīng)用開(kāi)發(fā)人員的參考用書(shū)。
本書(shū)的另一特色是采用AR技術(shù)演示書(shū)中部分內(nèi)容,使得讀者在閱讀本書(shū)的時(shí)候,通過(guò)手機(jī)掃描書(shū)中相應(yīng)部分圖片即可看到以2D/3D動(dòng)畫(huà)、普通視頻、VR視頻或VR系統(tǒng)演示的形式對(duì)相關(guān)內(nèi)容的講解,從而加深對(duì)書(shū)中知識(shí)的理解。
本書(shū)主要由楊承磊、關(guān)東東、蓋偉、卞玉龍、劉娟執(zhí)筆撰寫,劉娟設(shè)計(jì)了AR演示內(nèi)容。本書(shū)第1章由楊承磊、蓋偉編寫,第2章由關(guān)東東、楊承磊編寫,第3章由卞玉龍、楊承磊編寫,第4章由楊承磊、關(guān)東東編寫,第5章由關(guān)東東編寫,第6章由關(guān)東東、劉娟編寫,第7章由劉娟、楊承磊編寫,第8章由蓋偉、卞玉龍編寫,第9章由蓋偉、楊承磊編寫,第10章由蓋偉、劉娟編寫,第11章由劉娟、關(guān)東東編寫,第12章由卞玉龍編寫。孫維思、秦溥、周士勝、趙思偉、李慧宇、王秋晨、邢歡、孫千慧、馬鳴聰、陳葉青、宋英潔、靳新培、耿文秀、鄭雅文等研究生參與了書(shū)中程序的開(kāi)發(fā)和部分內(nèi)容的編寫工作,上海恒潤(rùn)文化集團(tuán)有限公司副總裁王宇、濟(jì)南奧維信息科技有限公司總經(jīng)理李軍提供了部分素材。書(shū)中部分圖片和內(nèi)容引自互聯(lián)網(wǎng),有些難以確定作者或出處,故在本書(shū)中沒(méi)有標(biāo)注,請(qǐng)相關(guān)作者海涵。
本書(shū)由楊承磊、關(guān)東東、蓋偉統(tǒng)稿、修改和審定。由于時(shí)間倉(cāng)促,編者水平有限,書(shū)中內(nèi)容或有局限、欠妥之處,懇請(qǐng)讀者和同行不吝指正。
本書(shū)的配套課件、教學(xué)大綱、書(shū)中程序代碼及Unity3D、Maya操作演示視頻等資源可以從清華大學(xué)出版社官方網(wǎng)站www.tup.com.cn或清華大學(xué)出版社官方微信公眾號(hào)書(shū)圈(itshuquan)下載。讀者如有關(guān)于本書(shū)及資源使用的問(wèn)題與建議,請(qǐng)發(fā)郵件至404905510@qq.com。
編者
2020年12月
觀看視頻說(shuō)明
本書(shū)配套視頻300分鐘,一部分視頻是掃圖片觀看(用AR技術(shù)實(shí)現(xiàn)),一部分視頻是掃二維碼觀看,還有部分視頻更適合在計(jì)算機(jī)上觀看,因此作為網(wǎng)絡(luò)資源直接提供下載。本書(shū)視頻目錄可通過(guò)圖1所示的二維碼獲取。
(1) 用手機(jī)掃描如圖2所示的二維碼,下載文泉云盤APP,安裝后用微信賬號(hào)登錄。
(2) 登錄后,掃描本書(shū)封底文泉云盤涂層下的二維碼,綁定微信賬號(hào),即可獲得觀看視頻權(quán)限。
(3) 書(shū)中部分圖的旁邊有如圖3所示的標(biāo)識(shí),在文泉云盤APP中掃描這些圖片(打開(kāi)掃一掃窗口,先單擊窗口左下角的、如圖4所示的圖標(biāo),再掃描圖片),即可觀看視頻。
在文泉云盤APP中或微信中掃描書(shū)中二維碼(用APP掃碼時(shí),先單擊窗口右下角的二維碼圖標(biāo)再掃碼),即可觀看視頻。
第1章概述
1.1基本概念
1.1.1什么是虛擬現(xiàn)實(shí)
1.1.2虛擬現(xiàn)實(shí)系統(tǒng)分類
1.2發(fā)展歷史與趨勢(shì)
1.3應(yīng)用領(lǐng)域
習(xí)題
第2章數(shù)學(xué)基礎(chǔ)
2.1坐標(biāo)系、矢量與矩陣
2.1.1坐標(biāo)系
2.1.2向量與向量運(yùn)算
2.1.3矩陣與矩陣運(yùn)算
2.2空間旋轉(zhuǎn)變換表示與計(jì)算
2.2.1旋轉(zhuǎn)矩陣
2.2.2歐拉角
2.2.3旋轉(zhuǎn)軸旋轉(zhuǎn)角表示
2.2.4四元數(shù)
2.2.5旋轉(zhuǎn)表示形式之間的轉(zhuǎn)換
2.3坐標(biāo)系的轉(zhuǎn)換
2.3.1齊次坐標(biāo)系與齊次變換矩陣
2.3.2右手坐標(biāo)系與左手坐標(biāo)系之間的轉(zhuǎn)換
2.3.3局部坐標(biāo)系向世界坐標(biāo)系的轉(zhuǎn)換
2.3.4世界坐標(biāo)系向相機(jī)坐標(biāo)系的轉(zhuǎn)換
2.3.5相機(jī)坐標(biāo)系向屏幕坐標(biāo)系的轉(zhuǎn)換
習(xí)題
第3章感知基礎(chǔ)
3.1感知原理
3.2視覺(jué)
3.2.1視覺(jué)的生理機(jī)制
3.2.2人眼的視覺(jué)暫留現(xiàn)象
3.2.3眼球運(yùn)動(dòng)
3.2.4深度感知與立體視覺(jué)
3.2.5顏色感知
3.3聽(tīng)覺(jué)
3.3.1聽(tīng)覺(jué)的生理機(jī)制
3.3.2虛擬環(huán)境中的聽(tīng)覺(jué)內(nèi)容設(shè)計(jì)
3.3.3聽(tīng)覺(jué)定位與立體聲
3.4體覺(jué)
3.4.1觸覺(jué)和力覺(jué)
3.4.2本體感覺(jué)
習(xí)題
第4章硬件基礎(chǔ)
4.1輸入設(shè)備
4.1.1Kinect
4.1.2HTC VIVE定位設(shè)備
4.1.3超寬帶無(wú)線定位設(shè)備
4.1.4慣性測(cè)量單元
4.1.5手勢(shì)輸入設(shè)備
4.2輸出設(shè)備
4.2.1立體顯示設(shè)備
4.2.2動(dòng)感平臺(tái)
習(xí)題
第5章編程基礎(chǔ)
5.1Unity3D編程基礎(chǔ)
5.1.1Unity3D簡(jiǎn)介
5.1.2Unity3D集成開(kāi)發(fā)界面基本操作
5.1.3動(dòng)畫(huà)角色控制
5.1.4虛擬相機(jī)設(shè)置
5.1.5Unity3D中函數(shù)體的執(zhí)行順序
5.2投影式VR系統(tǒng)開(kāi)發(fā)環(huán)境
5.2.1視差與立體顯示效果的關(guān)系
5.2.2渲染立體圖像
5.2.3播放立體視頻
5.3HTC VIVE開(kāi)發(fā)環(huán)境
5.3.1環(huán)境配置
5.3.2HTC VIVE頭盔
5.3.3HTC VIVE手柄交互
5.4HoloLens開(kāi)發(fā)環(huán)境
5.4.1環(huán)境配置
5.4.2開(kāi)發(fā)實(shí)例
5.4.3交互實(shí)現(xiàn)
習(xí)題
第6章建;A(chǔ)
6.13D模型基礎(chǔ)知識(shí)
6.1.13D模型的組成
6.1.2建模的主要方法
6.2Maya建模客機(jī)實(shí)例
6.3無(wú)人機(jī)建模實(shí)例
習(xí)題
第7章VR全景視頻播放系統(tǒng)
7.1VR視頻錄制
7.2VR視頻播放系統(tǒng)
習(xí)題
第8章頭盔式VR系統(tǒng)
8.1基于HTC VIVE的VR系統(tǒng)
8.1.1系統(tǒng)設(shè)計(jì)
8.1.2系統(tǒng)實(shí)現(xiàn)
8.2基于智能手機(jī)的VR系統(tǒng)
8.2.1系統(tǒng)設(shè)計(jì)
8.2.2系統(tǒng)實(shí)現(xiàn)
習(xí)題
第9章投影式VR系統(tǒng)
9.1虛擬射擊影院系統(tǒng)
9.1.1系統(tǒng)設(shè)計(jì)
9.1.2系統(tǒng)實(shí)現(xiàn)
9.2基于雙畫(huà)的虛擬網(wǎng)球游戲系統(tǒng)
9.3房間式互動(dòng)投影系統(tǒng)
9.3.1系統(tǒng)設(shè)計(jì)
9.3.2系統(tǒng)實(shí)現(xiàn)
9.4360全景球幕播放系統(tǒng)
9.4.1系統(tǒng)設(shè)計(jì)
9.4.2系統(tǒng)實(shí)現(xiàn)
習(xí)題
第10章混合現(xiàn)實(shí)系統(tǒng)
10.1基于HoloLens的計(jì)算機(jī)動(dòng)畫(huà)課程教學(xué)系統(tǒng)
10.1.1系統(tǒng)設(shè)計(jì)
10.1.2系統(tǒng)實(shí)現(xiàn)
10.2基于魚(yú)缸的混合現(xiàn)實(shí)教學(xué)系統(tǒng)
10.2.1系統(tǒng)設(shè)計(jì)
10.2.2系統(tǒng)實(shí)現(xiàn)
習(xí)題
第11章全息視頻播放系統(tǒng)
11.1全息攝影與全息投影技術(shù)
11.1.1全息攝影
11.1.2全息投影
11.2全息投影視頻制作
11.2.1視頻內(nèi)容設(shè)計(jì)
11.2.2三維模型制作
11.2.3三維動(dòng)畫(huà)制作
11.2.4燈光與渲染
11.2.5特效制作
11.2.6后期剪輯與輸出
11.2.7Unity3D設(shè)置視頻輸出及控制視頻播放方法
11.3Unity3D實(shí)時(shí)渲染輸出
習(xí)題
第12章VR系統(tǒng)評(píng)估
12.1VR系統(tǒng)評(píng)估的主要內(nèi)容
12.1.1可用性評(píng)估
12.1.2用戶體驗(yàn)評(píng)估
12.1.3常見(jiàn)的用戶體驗(yàn)測(cè)量數(shù)據(jù)類型和采集方法
12.2VR系統(tǒng)評(píng)估測(cè)試的實(shí)施
12.2.1倫理問(wèn)題
12.2.2基本流程
12.2.3被試選擇
12.2.4研究設(shè)計(jì)
12.2.5實(shí)驗(yàn)環(huán)境和材料的準(zhǔn)備
12.2.6數(shù)據(jù)分析和呈現(xiàn)
12.2.7討論
12.3VR系統(tǒng)測(cè)試案例
12.3.1案例1: 基于虛擬迷宮系統(tǒng)的測(cè)試
12.3.2案例2: 基于虛擬射擊影院系統(tǒng)的測(cè)試
12.3.3案例3: 三類3D顯示技術(shù)的比較研究
習(xí)題
附錄A旋轉(zhuǎn)軸旋轉(zhuǎn)角與旋轉(zhuǎn)矩陣之間的轉(zhuǎn)換推導(dǎo)
附錄B四元數(shù)旋轉(zhuǎn)公式的推導(dǎo)與理解
附錄C立體顯示投影矩陣推導(dǎo)
參考文獻(xiàn)