增強(qiáng)現(xiàn)實(shí)系統(tǒng)的主要任務(wù)是進(jìn)行真實(shí)世界和虛擬物體的無縫融合，需要解決真實(shí)場景和虛擬物體的合成一致性問題。為了確保真實(shí)世界和虛擬對象的無縫融合，根據(jù)Ronald Azuma對增強(qiáng)現(xiàn)實(shí)技術(shù)的定義，在AR應(yīng)用系統(tǒng)開發(fā)中必須要解決好三大關(guān)鍵問題和三項(xiàng)關(guān)鍵技術(shù)。

1. 增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)三大關(guān)鍵問題

增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)的三大關(guān)鍵問題是如何解決真實(shí)場景和虛擬物體在幾何、光照和時間方面的一致性問題。幾何一致性是解決虛擬對象和真實(shí)場景在空間中的一致性，是最基本的要求；光照一致性是虛實(shí)融合場景真實(shí)感繪制的要求；時間一致性是實(shí)現(xiàn)實(shí)時交互的要求。在三大問題中，幾何一致性和時間一致性是研究光照一致性的前提，因?yàn)橹挥懈咝?、?shí)時恢復(fù)場景的幾何表示，才能進(jìn)行精確的光照恢復(fù)，才能夠得到具有強(qiáng)烈真實(shí)感的融合效果。

2. 增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)的三大關(guān)鍵技術(shù)

根據(jù)Ronald Azuma提出的增強(qiáng)現(xiàn)實(shí)的定義，增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)的三大關(guān)鍵技術(shù)可總結(jié)為三維注冊技術(shù)、虛實(shí)融合顯示技術(shù)以及人機(jī)交互技術(shù)。為了解決好增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)中面臨的三大關(guān)鍵問題，必須解決好三大關(guān)鍵技術(shù)。

（1）三維注冊技術(shù)

三維注冊技術(shù)是實(shí)現(xiàn)移動增強(qiáng)現(xiàn)實(shí)應(yīng)用的基礎(chǔ)技術(shù)，也是決定移動增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)性能優(yōu)劣的關(guān)鍵，因此三維注冊技術(shù)一直是移動增強(qiáng)現(xiàn)實(shí)系統(tǒng)研究的重點(diǎn)和難點(diǎn)。其主要完成的任務(wù)是實(shí)時檢測出攝像頭相對于真實(shí)場景的位姿狀態(tài)，確定所需要疊加的虛擬信息在投影平面中的位置，并將這些虛擬信息實(shí)時顯示在屏幕中的正確位置，完成三維注冊。

注冊技術(shù)的性能判斷主要有三個標(biāo)準(zhǔn)：實(shí)時性、穩(wěn)定性和魯棒性。

目前基于移動終端的移動增強(qiáng)現(xiàn)實(shí)系統(tǒng)的研究中主要采用以下幾種注冊方式：基于計算機(jī)視覺、基于硬件傳感器的以及混合注冊方法，如圖所示：

圖：移動增強(qiáng)現(xiàn)實(shí)三維注冊技術(shù)分類

基于計算機(jī)視覺的注冊算法：主要是指利用計算機(jī)視覺獲取真實(shí)場景的信息后，經(jīng)過圖像處理方面的知識來識別和跟蹤定位真實(shí)場景的過程?；谟嬎銠C(jī)視覺的注冊算法又分為基于傳統(tǒng)標(biāo)志的注冊算法和基于自然特征點(diǎn)無標(biāo)志注冊算法。

基于硬件傳感器的注冊算法：傳統(tǒng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的硬件傳感器跟蹤技術(shù)主要包括慣性導(dǎo)航系統(tǒng)、全球定位系統(tǒng)（GPS）、電磁、光學(xué)或超聲波位置跟蹤器等。其中慣性導(dǎo)航系統(tǒng)的主要問題是被跟蹤物體的角度及位置的跟蹤誤差會隨時間增長而不斷增大，漂移較大，設(shè)備的體積重量也較大；GPS定位誤差較大，在室內(nèi)、峽谷或其他復(fù)雜地形的情況下GPS信號經(jīng)常無法正常接收；電磁、光學(xué)或超聲波位置跟蹤器采用發(fā)射和接收的工作方式來進(jìn)行跟蹤，使用場合固定，范圍有限。

而在維修誘導(dǎo)、教育培訓(xùn)等應(yīng)用領(lǐng)域，匹配精度要求比較高，較大的注冊誤差將破壞用戶對周圍環(huán)境的正確感知，改變用戶在真實(shí)環(huán)境中動作的協(xié)調(diào)性。因此要實(shí)現(xiàn)精確的增強(qiáng)現(xiàn)實(shí)三維注冊，必須要有高精度的跟蹤設(shè)備。移動終端上一般常用的硬件傳感器有陀螺儀、速度傳感器、磁場傳感器、方向傳感器等。這種注冊方法容易受到環(huán)境的干擾，注冊不精確。

混合注冊方法：Dularch和Mavor曾得出結(jié)論，由于系統(tǒng)的不精確性和系統(tǒng)延時方面的限制，目前單一的跟蹤技術(shù)不可能很好的解決增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)的方位跟蹤問題。因此采用混合跟蹤的方法對增強(qiáng)現(xiàn)實(shí)系統(tǒng)進(jìn)行跟蹤注冊也是國內(nèi)外著名大學(xué)和科研機(jī)構(gòu)人員研究的方向?；旌细欁运惴ㄖ饕菫榱诉_(dá)到更加精確的注冊結(jié)果，將基于計算機(jī)視覺的注冊算法與基于硬件傳感器的注冊算法相結(jié)合。

（2） 虛實(shí)融合顯示技術(shù)

目前，增強(qiáng)現(xiàn)實(shí)系統(tǒng)實(shí)現(xiàn)虛實(shí)融合顯示的主要設(shè)備一般分為：頭盔顯示式、手持顯示式以及投影顯示式等。

頭盔顯示式被廣泛應(yīng)用于增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，用于增強(qiáng)用戶的沉浸感。按照實(shí)現(xiàn)原理大致分為光學(xué)透視式和視頻透視式兩類，分別如圖所示。光學(xué)透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)具有簡單、分辨率高、沒有視覺偏差等優(yōu)點(diǎn)，但它同時也存在著定位精度要求高、延遲匹配難、視野相對較窄和價格高等缺陷。視頻透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)采用的基于視頻合成技術(shù)的穿透式HMD(Video See-through HMD)，利用攝像機(jī)采集到的真實(shí)環(huán)境的視頻信息與計算機(jī)生成的三維虛擬信息相融合，從而加強(qiáng)用戶對真實(shí)世界數(shù)據(jù)信息的認(rèn)知能力。

圖：頭盔顯示器分類

手持顯示式一般多指手機(jī)、PDA、平板電腦等移動終端設(shè)備的顯示器，他們具有較高的便攜性的優(yōu)點(diǎn)，可以隨時隨地使用，而且手持式顯示設(shè)備具有可觸控的特點(diǎn)，便于進(jìn)行人機(jī)交互的設(shè)計。

投影式顯示是將生成的虛擬對象信息直接投影到需要融合的真實(shí)場景中的一種增強(qiáng)顯示技術(shù)。投影式顯示能夠?qū)D像投影到大范圍場景中，但是投影設(shè)備體積龐大，比較容易受到光照變化影響，適合于室內(nèi)場景使用，但不適合室外大場景。

虛實(shí)融合場景顯示研究的主要問題有兩個方面：

一是如何完成真實(shí)場景和虛擬對象信息的融合疊加，

二是如何解決融合過程中虛擬對象信息延遲的現(xiàn)象。

對于光學(xué)透視式頭盔顯示器，用戶可以實(shí)時地看到周圍真實(shí)環(huán)境中的情景，而對真實(shí)場景進(jìn)行增強(qiáng)的虛擬對象信息要經(jīng)過一系列的系統(tǒng)延時后才能顯示到頭盔顯示器上。當(dāng)用戶的頭部或周圍景象、物體發(fā)生變化時，系統(tǒng)延時會使增強(qiáng)信息在真實(shí)環(huán)境中發(fā)生“漂移”現(xiàn)象。而采用視頻透視式顯示方式的話可以在一定程度上解決這樣的問題。開發(fā)人員可以通過程序來控制視頻顯示和虛擬對象信息的顯示頻率，可以達(dá)到實(shí)時性的需求并且緩解甚至杜絕“漂移”的現(xiàn)象。本文研究的是基于移動終端的增強(qiáng)現(xiàn)實(shí)技術(shù)， 某種程度上跟視頻透視式類似，但是手持式顯示能看到的場景更加廣闊，只是沉浸感不如視頻透視式頭盔顯示強(qiáng)烈。

（3） 自然人機(jī)交互技術(shù)

增強(qiáng)現(xiàn)實(shí)系統(tǒng)交互技術(shù)是指將用戶的交互操作輸入到計算機(jī)后，經(jīng)過處理將交互的結(jié)果通過顯示設(shè)備顯示輸出的過程。

目前增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的交互方式主要有三大類：外接設(shè)備、特定標(biāo)志以及徒手交互。

外接設(shè)備：如鼠標(biāo)鍵盤，數(shù)據(jù)手套等。傳統(tǒng)的基于PC機(jī)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)習(xí)慣采用鍵盤鼠標(biāo)進(jìn)行交互。這種交互方式精度高、成本低，但是沉浸感較差。另外一種是借助數(shù)據(jù)手套、力反饋設(shè)備、磁傳感器等設(shè)備進(jìn)行交互，這種方式精度高，沉浸感較強(qiáng)，但是成本也相對較高。隨著可穿戴增強(qiáng)現(xiàn)實(shí)系統(tǒng)的發(fā)展，語音輸入裝置也成為增強(qiáng)現(xiàn)實(shí)系統(tǒng)的交互方式之一，而且在未來具有很大的發(fā)展前景，例如Google Glass。

特定標(biāo)志：標(biāo)志可以通過事先進(jìn)行設(shè)計。通過比較先進(jìn)的注冊算法，可以使標(biāo)志具有特殊的含義，當(dāng)用戶看到標(biāo)志之后就知道該標(biāo)志的含義。因此基于特定標(biāo)志進(jìn)行交互能夠使用戶清楚明白操作步驟，降低學(xué)習(xí)成本。這種方式沉浸感要稍高于傳統(tǒng)外接設(shè)備。

徒手式交互：一種是基于計算視覺的自然手勢交互方式，需要借助復(fù)雜的人手識別算法。首先在復(fù)雜的背景中把人手提取出來，再對人手的運(yùn)動軌跡進(jìn)行跟蹤定位，最后根據(jù)手勢狀態(tài)、人手當(dāng)前的位置和運(yùn)動軌跡等信息估算出操作者的意圖并將其正確映射到相應(yīng)的輸入事件中。這種交互方式沉浸感最強(qiáng)，成本低，但算法復(fù)雜，精度不高，容易受光照等條件的影響。另外一種主要是針對移動終端設(shè)備?，F(xiàn)如今移動終端的顯示設(shè)備都具有可觸碰的功能，甚至可支持多點(diǎn)觸控。因此可以通過觸碰屏幕來進(jìn)行交互。目前幾乎所有的移動應(yīng)用都采用這種交互方式。