1

基于SLAM的空間及3D結(jié)構(gòu)語

在 AR 的核心技術(shù)圖譜上，3D 空間感知和3D 對象的空間結(jié)構(gòu)的感知一直占據(jù)了非常重要的地位和位置，傳統(tǒng)基于激光的方法和基于光學(xué)的 SLAM 方法比較偏重于單純空間結(jié)構(gòu)的感知和分割，對于內(nèi)容的語義和上下文場景的感知，還處于比較初級的階段。

由于缺少語義信息，它們不能直接用于構(gòu)建更高級的人物交互（HTI）通道。

同時，深度學(xué)習(xí)已極大地提高了識別性能，但是這種識別大部分限于圖像平面中的輸出，或者在最佳情況下使用 3D 邊界框完成一定意義上的語義空間結(jié)構(gòu)表示，但這會使機(jī)器人或者準(zhǔn)確數(shù)字信息疊加很難根據(jù)這些略顯粗糙的輸出進(jìn)行操作。

將學(xué)到的知識和語義與 3D 重建相集成是解決這個問題的有希望的途徑。

例如，近年來提出的語義 3D 重建技術(shù)共同優(yōu)化了場景的 3D 結(jié)構(gòu)和語義，并且語義 SLAM 方法向所估計的 3D 結(jié)構(gòu)添加了語義注釋。

目前最新的語義 3D 重構(gòu)和語義 SLAM 的挑戰(zhàn)在于使用大型綜合數(shù)據(jù)集所探尋的 3D 重建技術(shù)與識別和學(xué)習(xí)相結(jié)合的新方法，進(jìn)而實現(xiàn)在 3D 重建技術(shù)中使用語義信息來改善密集匹配過程，并更有效的實現(xiàn)語義分割和 3D 技術(shù)之間的反饋環(huán)。

這也必將為構(gòu)建更高級的人物交互（HTI）通道和泛化 AR 云服務(wù)場景開辟無比寬闊的發(fā)展之路。

2

基于空間地圖的POI注冊和同步

和傳統(tǒng) AR 云服務(wù)相比，基于地理位置感知和興趣點標(biāo)注技術(shù)自 2018 年已經(jīng)成為各個巨頭推廣和布局的重頭，除了谷歌基于 GoogleMap 的 Live View，以及微軟作為 Microsoft 擴(kuò)展推出的云 AR 平臺，稱為 SpatialAnchor（空間錨點）。

基于空間地圖的 POI 注冊和同步技術(shù)的核心是地理位置強(qiáng)化的錨點技術(shù)（Anchor),——“空間錨點代表著系統(tǒng)應(yīng)隨時間推移跟蹤的一個重要點”。

同時也是相關(guān)數(shù)據(jù)構(gòu)建、同步、檢索、管理等綜合系統(tǒng)技術(shù)的突破，這也包含了相關(guān) SLAM 語義感知以及基于神經(jīng)網(wǎng)絡(luò)的大規(guī)模特征比對技術(shù)的進(jìn)步。

起初錨點只是讓虛擬物體在 AR 場景中看起來待在原地不動，起源自依賴于在現(xiàn)實世界的記錄中檢測到的關(guān)鍵點及其描述符。

隨著強(qiáng)大的環(huán)境理解功能的演進(jìn)，同時輔助 3D 高精度地圖功能，空間計算功能，基于空間地圖的 POI 注冊和同步技術(shù)，就為數(shù)字孿生，以及實現(xiàn)真實世界和物理世界的無縫集成提供了可能。

3

基于空間位置的數(shù)字信息簇管理和搜索技術(shù)

如何基于將視覺感知轉(zhuǎn)化為高精度 LBS（Location Based Service）的可視化信息的管理錨點和檢索錨點是發(fā)展 AR 作為人物交互核心手段和發(fā)展相關(guān)業(yè)務(wù)的重要因素。

這需要將相關(guān)數(shù)字信息歸類和管理為：

1- 在哪兒？
2- 是誰的一部分？
3- 能開展什么功能，并上傳什么數(shù)據(jù)？

加州理工伯克利（Berkeley）分校電氣和計算機(jī)學(xué)院 David E. Culler 教授在智能建筑的基于位置關(guān)聯(lián)數(shù)據(jù)管理的嘗試， “Brick”, 就非常具有借鑒意義。

“Brick”源于資源描述框架（RDF: Resource Description Framework)。

其通過以一組被稱作三元組的主題預(yù)測對象表示知識。

所有基于位置的關(guān)聯(lián)系統(tǒng)信息在“Brick”中通過三元組中主體實體與另一些實體對象關(guān)系的抽象表示，即圖中的定向邊緣，予以表征。

最終整個數(shù)據(jù)體系的管理體現(xiàn)為，由關(guān)系（定向邊緣）相連的實體（節(jié)點）的知識圖表，并通過 RDF格式存儲和使用，以及后續(xù)可通過使用 SPARQL 數(shù)學(xué)來遍歷和查詢這些知識。

基于以上知識體系，所有關(guān)聯(lián)信息包含了：

◆物理世界目標(biāo)的分類標(biāo)簽；
◆地理位置；
◆關(guān)聯(lián)關(guān)系和關(guān)聯(lián)目標(biāo)；
◆隸屬和組成關(guān)系機(jī)器對應(yīng)對象；
◆提供什么檢測數(shù)據(jù)或可開展何種控制動作。

責(zé)任編輯：lq