物聯(lián)網(wǎng)是物理對象與虛擬再現(xiàn)和服務(wù)的結(jié)合。增強現(xiàn)實通過將有關(guān)智能對象和服務(wù)的虛擬信息疊加到用戶對現(xiàn)實世界的看法上，為物聯(lián)網(wǎng)應(yīng)用程序提供了一個理想的界面。這允許用戶與物理對象交互，并接收關(guān)于該對象的附加上下文感知信息，如大小、速度和溫度，以及關(guān)于附近對象的信息。然而,用戶不必直接與物理對象或傳感器作為增強現(xiàn)實交互可以是一個有效的方法提供額外的物聯(lián)網(wǎng)信息服務(wù)的環(huán)境中,如服務(wù)的QoS屬性或其他用戶提供的評級在之前調(diào)用。

物聯(lián)網(wǎng)(IoT)技術(shù)的發(fā)展使得通過一系列通信工具將各種智能設(shè)備連接在一起成為可能。聯(lián)網(wǎng)設(shè)備的數(shù)量預(yù)計將以指數(shù)級速度增長，預(yù)計到2020年將有大約260億部聯(lián)網(wǎng)設(shè)備。這些設(shè)備將帶來多種多樣的服務(wù)，如監(jiān)控傳感器、監(jiān)控攝像頭和交流器等。這些設(shè)備提供的服務(wù)的管理被認為是未來技術(shù)最重要的領(lǐng)域之一，并獲得了包括交通、醫(yī)療和應(yīng)急響應(yīng)等多個不同領(lǐng)域的研究機構(gòu)和行業(yè)的廣泛關(guān)注。

服務(wù)提供者和消費者都需要能夠以一種上下文感知的方式參與物聯(lián)網(wǎng)應(yīng)用程序，根據(jù)環(huán)境和用戶上下文進行感知和反應(yīng)。增強現(xiàn)實(AR)為物聯(lián)網(wǎng)提供了一個直觀的界面，因為它允許上下文以及在現(xiàn)實世界中疊加虛擬信息，例如在認知建筑[4]中。服務(wù)使用者可以以可視的方式與建議的附近服務(wù)進行自然交互，這些服務(wù)由面向上下文的中間件處理。服務(wù)提供商可以通過顯示設(shè)備提供的服務(wù)的關(guān)鍵QoS指標(如響應(yīng)時間和吞吐量)，使用AR調(diào)試和修復(fù)故障的IoT設(shè)備。與設(shè)備相關(guān)的指標，如設(shè)備的溫度、CPU和內(nèi)存使用情況，也可以顯示出來。該設(shè)備的內(nèi)部組件可以連接對象，這將允許現(xiàn)場操作員看到修復(fù)故障的物聯(lián)網(wǎng)設(shè)備內(nèi)部組件的具體可視化。這樣便于維修和恢復(fù)到合適的操作性能。

基于應(yīng)用的敏感性和關(guān)鍵度，物聯(lián)網(wǎng)應(yīng)用可以應(yīng)用于具有不同QoS要求的領(lǐng)域。物聯(lián)網(wǎng)應(yīng)用的QoS通?？煞譃樽罴雅?無QoS)、差異化服務(wù)(軟QoS)和保證服務(wù)(硬QoS)[6]。在硬QoS情況下，有嚴格的硬實時QoS保證。這適用于安全標準的應(yīng)用，例如在醫(yī)院中監(jiān)控病人或在自動駕駛汽車系統(tǒng)中避免碰撞。軟QoS不需要硬實時保證，但需要能夠重新配置和替換失敗的服務(wù)。這可能是一個路由應(yīng)用程序，它利用空氣質(zhì)量、洪水和行人流量預(yù)測，提供穿過城市的最佳路線。如果其中一個服務(wù)即將失敗，應(yīng)該使用合適的替代服務(wù)重新組合應(yīng)用程序。最后一種情況是盡最大努力，當(dāng)服務(wù)失敗時，例如測量室內(nèi)溫度的簡單原子服務(wù)，就沒有保證了。因為硬QoS和軟QoS可以提供一種直觀的方式來警告用戶某個服務(wù)可能即將失敗，他們可能需要重新控制，尤其是在自動駕駛汽車場景中。利用LSTM網(wǎng)絡(luò)可以實現(xiàn)對物聯(lián)網(wǎng)服務(wù)故障的預(yù)測。

AR應(yīng)用于IoT

AR在近年來發(fā)展迅速，有一系列的商業(yè)軟件和硬件可以創(chuàng)造AR體驗。今天，在消費者層面上有各種各樣的api，它們使得大多數(shù)利用智能手機或平板電腦等移動技術(shù)來創(chuàng)建增強現(xiàn)實體驗成為可能。蘋果最近發(fā)布了ARKit，允許在不了解其技術(shù)的情況下構(gòu)建AR環(huán)境。我們在演示中使用的另一個示例是用于Unity的Vuforia開發(fā)人員庫，其中包括谷歌的ARCore，它允許所有現(xiàn)代android設(shè)備上的AR應(yīng)用程序。這將允許更多的設(shè)備通過AR接口與物聯(lián)網(wǎng)服務(wù)進行交互，并鼓勵開發(fā)人員創(chuàng)建基于AR的物聯(lián)網(wǎng)應(yīng)用程序。

隨著智能手機的廣泛普及，以及蘋果和谷歌發(fā)布的新api，我們預(yù)計未來幾年移動增強現(xiàn)實將會增加。移動電話作為增強現(xiàn)實視鏡的使用將是允許應(yīng)用程序開發(fā)和評估增強現(xiàn)實在物聯(lián)網(wǎng)中的有效性的必要步驟。在此之后的過渡可以是一些替代的頭戴顯示器，如谷歌玻璃，微軟Hololens或Magic Leap Lightwear。這些頭戴式顯示器允許與物聯(lián)網(wǎng)服務(wù)和對象進行無手交互，這將有助于現(xiàn)場技術(shù)人員與設(shè)備進行交互，并查看顯示需要更換哪些連接組件以修復(fù)智能設(shè)備的可視化圖像。

考慮到AR和物聯(lián)網(wǎng)的巨大潛力，以及在每種技術(shù)上投入的大量研究，這兩個組件的集成仍處于早期階段。大多數(shù)當(dāng)前的方法顯示對象的特征，而沒有考慮其他上下文，如用戶偏好、附近的對象/位置、時間、天氣等。一些建議，例如一個感知的程序，使用上下文接口服務(wù)器來推斷用戶的高級上下文，從而改變信息顯示給用戶的方式。然而，智能澆水設(shè)備的應(yīng)用過于簡單，只需要本地傳感器信息，而推理的中央服務(wù)器不考慮物聯(lián)網(wǎng)作為智能對象的愿景。在我們的演示中，我們展示了結(jié)合來自傳統(tǒng)web服務(wù)和物聯(lián)網(wǎng)服務(wù)的動態(tài)和異構(gòu)服務(wù)的更高級的示例，并使用額外的上下文信息來提供直觀的應(yīng)用程序。最近的一些工作，如ARIoT，提供了一個可伸縮的AR框架，用于與物聯(lián)網(wǎng)設(shè)備交互，但重點關(guān)注目標對象，而不是通過連接對象派生上下文。其他方法，如Second Surface，用戶可以通過中的遠程服務(wù)器創(chuàng)建、標記和共享日常對象周圍的數(shù)據(jù)。

上下文感知中間件

下圖顯示了一個上下文感知的面向服務(wù)的中間件，它可以在圖1b的深層邊緣架構(gòu)上實現(xiàn)，以管理城市中的物聯(lián)網(wǎng)服務(wù)的注冊、執(zhí)行和上下文。中間件以一種分布式的方式跨每個通道管理環(huán)境中的用戶上下文。當(dāng)用戶請求應(yīng)用程序時，中間件首先在請求處理程序上接收用戶請求，該處理程序與用戶建立請求/響應(yīng)通信通道，并將請求轉(zhuǎn)發(fā)給上下文管理器。上下文管理器負責(zé)獲取和維護關(guān)于服務(wù)和環(huán)境的元數(shù)據(jù)，以支持智能服務(wù)管理。元數(shù)據(jù)包括服務(wù)屬性(例如，位置、類型、域等)、QoS屬性(例如，響應(yīng)時間、能耗等)、城市環(huán)境(例如，地點及其在城市中的含義、興趣點等)和用戶偏好(例如，用戶反饋、QoS體驗、用戶行為等)。服務(wù)屬性和QoS屬性是從提供者和監(jiān)控過程中獲取的。此數(shù)據(jù)作為服務(wù)描述的一部分存儲。城市環(huán)境是從開放街道地圖(OSM)中獲得的，并使用OWL格式的本體進行形式化。用戶首選項是在發(fā)現(xiàn)和組合過程中獲得的。該數(shù)據(jù)作為獨立的JSON文檔存儲在service registry中。

lw