蘋果iOS 13代碼曝光：AR可穿戴設(shè)備仍在開發(fā)，“STARTester"支持設(shè)備功能的切換

根據(jù)MacRumors周末的一份報告表明，蘋果iOS 13內(nèi)部版本文檔中顯示蘋果頭戴式AR顯示設(shè)備仍在繼續(xù)開發(fā)。這是目前最明確的消息，盡管此前DigiTimes的報告聲稱該項(xiàng)目已被暫停，

據(jù)悉，iOS 13的內(nèi)部構(gòu)建中包括一個“STARTester”應(yīng)用程序，該應(yīng)用允許用戶訪問頭戴式顯示模式，這也可能是為了測試的目的，在iPhone上復(fù)制頭戴AR顯示設(shè)備的功能。根據(jù)內(nèi)部構(gòu)建的文檔信息，該應(yīng)用存在有兩個頭戴狀態(tài)用于測試，“佩戴”和“保持”。

此外iOS 13中還有一個內(nèi)部自述文件，用于描述支持立體聲AR的應(yīng)用程序“StarBoard”系統(tǒng)模式，這意味著是某種類型的設(shè)備。該文件還表明，蘋果正在開發(fā)一種代號為“Garta”的AR設(shè)備，這可能是“T288”計劃設(shè)計的幾種原型之一。

為了進(jìn)一步深入蘋果iOS 13內(nèi)部代碼，我們發(fā)現(xiàn)了許多與所謂的“StarBoard模式”和各種“視圖”和“場景”相關(guān)的字符串。許多字符串都引用了AR的代碼，包括“ARStarBoardViewController”和“ARStarBoardSceneManager”。

此前，多家媒體和消息人士聲稱蘋果計劃在2020年發(fā)布增強(qiáng)現(xiàn)實(shí)眼鏡。

蘋果首席執(zhí)行官蒂姆·庫克多次談到AR技術(shù)的前景，他認(rèn)為AR是“深刻的”，因?yàn)檫@項(xiàng)技術(shù)可以進(jìn)一步豐富人類的各方面能力。

大眾收購3D全息技術(shù)企業(yè)SeeReal股權(quán)

據(jù)volkswagen報道，大眾汽車已收購領(lǐng)先技術(shù)公司SeeReal Technologies的少數(shù)股權(quán)。確保大眾集團(tuán)能夠獲得汽車顯示技術(shù)領(lǐng)域面向未來的增強(qiáng)現(xiàn)實(shí)。該研究項(xiàng)目將為本集團(tuán)提供關(guān)鍵技術(shù)，使未來的駕駛更安全，更方便。

大眾表示，從 2020 年開始銷售的全電動大眾ID.3，將通過增強(qiáng)現(xiàn)實(shí)平視顯示器將信息投射到駕駛員的視野中，并直接鏈接到駕駛員的環(huán)境。

該技術(shù)可以以3D形式，將路上的潛在危險情況投射到駕駛員所處環(huán)境中，3D全息影像將實(shí)現(xiàn)與環(huán)境的無縫式銜接。汽車將通過虛擬開關(guān)及顯示屏完成操控。車內(nèi)所有駕乘者都能使用該款“可觸控”3D顯示屏，提供自然的視覺信息或人機(jī)交互。

其實(shí)，市場上已經(jīng)有可以在有限空間投射信息的抬頭顯示器，而從2020年開始銷售的純電動車型大眾ID.31將通過增強(qiáng)現(xiàn)實(shí)型抬頭顯示器，將信息投射到駕駛員的視野中，與駕駛員所處環(huán)境直接聯(lián)系。

在未來幾代的抬頭顯示器中，3D影像將與周圍環(huán)境更加無縫連接，出現(xiàn)離駕駛員很近或者很遠(yuǎn)的創(chuàng)新型顯示器概念。未來，傳統(tǒng)的汽車儀表板可能會被淘汰，而車輛將通過虛擬開關(guān)和顯示器進(jìn)行控制。所有乘客都能夠使用“可觸控型”3D顯示器，以人類的自然視覺完成信息傳遞或交互。

SeeReal Technologies一直致力于該領(lǐng)域的技術(shù)研發(fā)。大眾集團(tuán)創(chuàng)新部門負(fù)責(zé)人Axel Heinrich表示：“增強(qiáng)現(xiàn)實(shí)將成為未來移動出行及人機(jī)交互理念的核心部件，而這正是我們專注于全息技術(shù)等關(guān)鍵技術(shù)的原因。我們將為這款增強(qiáng)現(xiàn)實(shí)抬頭顯示屏提供車規(guī)級產(chǎn)品要求，而SeeReal則提供三維全息的技術(shù)支持?！?/p>

2018年底，大眾集團(tuán)創(chuàng)新部已經(jīng)與該技術(shù)公司在德累斯頓和盧森堡開始合作研發(fā)。

肖特發(fā)布300 mm RealView納米壓印玻璃晶圓，用于AR/MR智能眼鏡

EVG集團(tuán)是一家為MEMS系統(tǒng)、納米技術(shù)和半導(dǎo)體市場提供晶圓鍵合和光刻設(shè)備的國際領(lǐng)先供應(yīng)商。肖特與其合作，利用納米壓印工藝成功開發(fā)出基于300 mm（約12英寸）肖特RealView玻璃晶圓的波導(dǎo)片。肖特的大尺寸晶圓和EVG 的SmartNIL 技術(shù)對于大批量光波導(dǎo)片的生產(chǎn)和成本控制至關(guān)重要。

肖特RealView玻璃晶圓是下一代AR/MR穿戴式設(shè)備的關(guān)鍵部件。玻璃晶圓是多層RGB波導(dǎo)片的基板，是AR/MR顯示單元的一個重要組成部分，為用戶營造沉浸式體驗(yàn)（更多信息）。

300mm玻璃晶圓的生產(chǎn)需要更大尺寸的AR/MR等級的光學(xué)玻璃塊料，這種大尺寸的光學(xué)玻璃塊料的生產(chǎn)極其困難，它需要全新的制造和熔煉工藝。肖特已具備生產(chǎn)大尺寸光學(xué)玻璃塊料的能力。同時保持RealView玻璃晶圓的優(yōu)異質(zhì)量。

據(jù)悉，肖特已經(jīng)為客戶提供300 mm的RealView高折射晶圓樣品，同時正在準(zhǔn)備提升大尺寸晶圓的批量生產(chǎn)能力。與此同時，在德國光學(xué)玻璃中心，肖特的玻璃專家和研發(fā)團(tuán)隊也在繼續(xù)提高其AR/MR級光學(xué)玻璃的質(zhì)量。

圖像

5G的殺手級應(yīng)用：手機(jī)AR游戲

AR是5G的殺手級應(yīng)用，它到來的速度將比任何人想象的都要快。 5月，蘋果與高通（領(lǐng)先的5G調(diào)制解調(diào)器生產(chǎn)商）達(dá)成和解，據(jù)彭博社報道，高通將獲得至少45億美元的訂單和6年的供應(yīng)商協(xié)議。 iPhone制造商對這些5G調(diào)制解調(diào)器有著大計劃，他們將從AR起步。 當(dāng)大多數(shù)精通技術(shù)的人想到AR時，首先會想到谷歌。谷歌的工程師們已經(jīng)在谷歌地圖中加入了漂亮的AR虛擬標(biāo)牌。據(jù)報道，下一代Pixel智能手機(jī)將通過后置攝像頭模塊上的TrueDepth傳感器以及Project Soli（一種微型雷達(dá)技術(shù)）來提升效果。

當(dāng)然蘋果的工程師們也正在AR上發(fā)力，據(jù)傳他們正在研發(fā)AR眼鏡。但撇開硬件，對于5G來說真正的殺手級應(yīng)用正是移動AR游戲。 5G能使AR更加身臨其境，圖形加載更快且效果更好，而較低的延遲也可以顯著改善游戲體驗(yàn)和玩法。 在2016年的夏天，《Pokemon Go》的熱潮席卷了全球，這款A(yù)R游戲通過使用手機(jī)上的攝像頭將虛擬與現(xiàn)實(shí)結(jié)合在一起，為玩家?guī)砣麦w驗(yàn)。這款游戲下載量已經(jīng)超過了10億次，在其最受歡迎的時候，每月能吸引1.47億活躍用戶，且收入高達(dá)30億美元。 該游戲由Google內(nèi)部的游戲團(tuán)隊Niantic開發(fā)而成，據(jù)谷歌博客中的文章，當(dāng)任天堂和谷歌在谷歌地圖上推出愚人節(jié)寵物小精靈挑戰(zhàn)的時候，這個想法就出現(xiàn)了。 Niantic現(xiàn)在也將進(jìn)入下一階段：5G AR游戲。 Niantic首席技術(shù)官Phil Keslin表示，5G將實(shí)現(xiàn)更高水平的游戲體驗(yàn)。該技術(shù)能將帶寬提高1000倍，延遲將降低10倍。為了做好準(zhǔn)備，Niantic正在計劃復(fù)雜的新游戲，并將與無線運(yùn)營商合作以保證帶寬。 運(yùn)營商需要一場勝利。智能手機(jī)業(yè)務(wù)停滯不前，消費(fèi)者對手機(jī)設(shè)備的需求正在降低。但5G再加上令人驚嘆的新AR體驗(yàn)，或許將能改變一切。 在《Pokemon Go》推出后，蘋果CEO Tim Cook在2016年開始公開談?wù)揂R。他告訴分析師，這個平臺會很龐大，蘋果也會進(jìn)行投資布局。從那以后，蘋果提出了多項(xiàng)AR專利，收購了多家AR創(chuàng)企，聘請了新的員工，并推出了ARKit。 據(jù)彭博社報道，最新款iPhone將于9月10日上市。背面的3個攝像頭設(shè)置將配備一款激光3D攝像頭，能夠感知深度。當(dāng)蘋果在2020年推出5G設(shè)備時，所有的規(guī)劃都將非常有意義。 目前蘋果股票的預(yù)期市盈率僅為16.4倍，銷售額為3.7倍，市值為9610億美元，鑒于新iPhone產(chǎn)品周期的前景，該股票將進(jìn)入弱勢市場。

Facebook發(fā)布超現(xiàn)實(shí)虛擬形象新研究

Facebook Reality Labs研發(fā)團(tuán)隊發(fā)表了一項(xiàng)關(guān)于超現(xiàn)實(shí)虛擬形象方法的詳細(xì)研究論文，擴(kuò)展了公司之前名為“編解碼器化身”的工作項(xiàng)目。

.Facebook Reality Labs創(chuàng)建了一個系統(tǒng)，從簡潔硬件中能夠以目前最高的逼真度實(shí)時制作出動畫版的虛擬化身。頭顯內(nèi)只有三個標(biāo)準(zhǔn)攝像頭，定位用戶的眼睛和嘴巴，系統(tǒng)能夠更準(zhǔn)確地辨別出個體復(fù)雜的面部表情中的細(xì)微差別。

這項(xiàng)研究的重點(diǎn)不僅僅是如何將攝像機(jī)固定在頭顯上，還包括如何利用圖片還原用戶虛擬形象的深層技術(shù)。

系統(tǒng)方案主要依賴于機(jī)器學(xué)習(xí)和計算機(jī)視覺?！拔覀兊南到y(tǒng)是實(shí)時運(yùn)行的，它可以識別各種各樣的表情，包括鼓臉頰、張大嘴咬人、動舌頭，以及還原皺紋這樣的細(xì)節(jié)，在之前，這些細(xì)節(jié)很難精確地動畫化，”一位作者說。

實(shí)驗(yàn)小組還發(fā)表了他們的完整研究論文，深入論述了系統(tǒng)背后的方法論和數(shù)學(xué)。這項(xiàng)名為《通過多視圖圖像翻譯的VR面部動畫》（VR Facial Animation via Multiview Image Translation）的研究成果發(fā)表在《ACM圖形學(xué)報》（ACM Transactions on Graphics）上，這家雜志自詡為“圖形領(lǐng)域最重要的同行評審期刊”。

1.帶有9個攝像頭的訓(xùn)練頭顯。

2.帶有三個攝像頭的追蹤頭顯；紅色圈起的攝像頭可以與訓(xùn)練頭顯共享。

這篇論文解釋了項(xiàng)目為何要創(chuàng)建兩個獨(dú)立的實(shí)驗(yàn)耳機(jī)，一個“訓(xùn)練”耳機(jī)和一個“追蹤”耳機(jī)。

這款訓(xùn)練耳機(jī)體積較大，裝有9個攝像頭，可以收集用戶面部和眼睛的更寬范圍的視圖。這樣做可以簡化輸入圖像和先前捕獲的用戶數(shù)據(jù)掃描之間的對應(yīng)過程（分析輸入圖像與輸出化身之間的對應(yīng)部分）。論文稱，這一過程可以“通過帶有自查功能的多視圖圖像翻譯系統(tǒng)自動匹配，不需要人工注釋或域間逐個對應(yīng)”。

一旦對應(yīng)完成，就可以使用更緊湊的“追蹤”頭顯。“追蹤”頭顯的三部相機(jī)恰好對應(yīng)著“訓(xùn)練”頭顯九部相機(jī)中的三部；根據(jù)“訓(xùn)練”頭顯收集的數(shù)據(jù)，這三部相機(jī)的視角可以得到更好的理解運(yùn)用，也就是說，輸入圖像能夠準(zhǔn)確地驅(qū)動動畫化身。 論文著重研究了系統(tǒng)的精準(zhǔn)度。以前的輸出方式一到關(guān)鍵區(qū)域，用戶實(shí)際面部表情的準(zhǔn)確性就會下降，尤其是極端表情，以及眼部動作和嘴部運(yùn)動的關(guān)系。

與之前相比，新系統(tǒng)的精準(zhǔn)度明顯提升：對于臉基本被頭顯遮住的用戶來說，近距離的鏡頭可以用來準(zhǔn)確地重建面部。

盡管功能進(jìn)步明顯，但現(xiàn)有方法仍然不容易被主流人群接受。因?yàn)榍捌谝獙τ脩暨M(jìn)行詳細(xì)的初步掃描，以及使用專業(yè)的“訓(xùn)練”頭顯，這就需要“掃描中心”這類的機(jī)構(gòu)，用戶可以去那里掃描和練習(xí)使用虛擬化身效果（同時也會獲得一個定制的HRTF）?？墒窃谔摂M現(xiàn)實(shí)成為社會交流方式的重要組成部分之前，我們不太可能建立這樣的中心機(jī)構(gòu)。然而，先進(jìn)的傳感技術(shù)和不斷改進(jìn)的自動通信建設(shè)或許可以讓我們在家中完成這一步驟。

谷歌發(fā)布實(shí)時移動手部追蹤技術(shù)

日前，谷歌已經(jīng)向研究人員和開發(fā)團(tuán)隊發(fā)布了一種可用于移動設(shè)備的手部追蹤方法，谷歌研究工程師Valentin Bazarevsky和范張（音譯）稱其為“手勢識別的新方法”。

早在今年6月份，谷歌就在CPVR 2019上首次發(fā)布了在線即時手部追蹤工具，供開發(fā)者們研究探索。這是一種開源的跨平臺工具，開發(fā)者們可以自己創(chuàng)建加工管道來處理視頻和音頻等感知數(shù)據(jù)。

據(jù)稱，這種方法可以通過機(jī)器實(shí)現(xiàn)高保真的手部和手指追蹤，僅從一幀圖像就可以推斷出手部的21個三維“關(guān)鍵點(diǎn)”。

Bazarevsky 和Zhang在一篇博客中說到，“目前最先進(jìn)的追蹤方法依然要依賴強(qiáng)大的桌面環(huán)境來推斷手部動作，但是我們的方法已經(jīng)可以在手機(jī)上實(shí)現(xiàn)實(shí)時識別，甚至可以擴(kuò)展到多個手?！惫雀栝_發(fā)團(tuán)隊希望這種手部追蹤方法能激發(fā)出“更有創(chuàng)造性的案例，以及新的應(yīng)用程序和新的研究途徑”。

Bazarevsky和Zhang解釋說，在他們的手部跟蹤方法中主要有三個作用系統(tǒng)，一個手掌探測器模型(稱為Blaze Palm)，一個“手部標(biāo)識”模型，帶有高保真的三維手部關(guān)鍵點(diǎn)，以及一個手勢識別器，可以把手部關(guān)鍵點(diǎn)的布局圖劃分為獨(dú)立手勢集。

以下是從博客全文中提煉出來的幾個細(xì)節(jié)：

研究人員聲稱，在掌心檢測方面BlazePalm技術(shù)可以達(dá)到95.7%的平均檢測精準(zhǔn)度。

模型已經(jīng)存入一致的內(nèi)部手勢，甚至可以識別部分遮擋的手部動作。

可以識別多種文化下的手勢含義，如美國、歐洲和中國，“拇指向上”、握拳、“OK”、“Rock”和“蜘蛛俠”等手勢。

Google是開源的，它在MediaPipe中的手部追蹤和手勢識別系統(tǒng)需要配合相關(guān)的首尾相連的使用場景和源代碼。

Bazarevsky和Zhang說，谷歌未來的研究計劃仍將放在手部追蹤方面，探索更強(qiáng)大和更穩(wěn)定的追蹤功能，并希望擴(kuò)充可以檢測到的手勢數(shù)量。此外，他們還希望支持動態(tài)手勢追蹤識別，可能會為機(jī)器手語翻譯和流體手勢控制帶來好處。 不僅如此，配備更可靠的手持追蹤設(shè)備是AR頭顯向前邁進(jìn)的必要條件；因?yàn)轭^顯依然需要外部攝像頭來呈現(xiàn)虛擬世界，所以如何讓機(jī)器理解這個世界將一直是個待解決的問題。