“任何一個(gè)地方,任何一個(gè)設(shè)備如果需要眼睛,需要感知這個(gè)世界,要理解周圍的人、物、環(huán)境,那就跟我們的部門有關(guān)系,就是我們部門主要做的事情。”湯振宇解釋到。
湯振宇是英特爾公司感知計(jì)算事業(yè)部中國區(qū)總監(jiān),主要負(fù)責(zé)RealSense在中國的技術(shù),包括VR、AR以及MR(merged reality)、機(jī)器人,無人機(jī),智能家居等。英特爾的感知計(jì)算就是RealSense,也可以理解是給任何設(shè)備加上眼睛,“讓所有習(xí)慣黑暗的設(shè)備都習(xí)慣光明?!?/p>
在AR、VR以及MR之間,湯振宇認(rèn)為現(xiàn)在AR做的,可以簡單理解為將一些數(shù)字的圖形,投在掃描后的真實(shí)世界;看到真實(shí)的輸出的時(shí)候,你的虛擬的東西再疊加到上面,讓你可能感覺到一個(gè)增強(qiáng)性。
“但我們認(rèn)為這些沒有解決現(xiàn)在人真正需要的東西?!?/p>
人真正需要的是一種融合,你希望真實(shí)的虛擬的是融在一起的?!斑@就是我們RealSense能夠提出來的,或者能夠做的東西?!盤roject Alloy就是一個(gè)all-in-one一體機(jī)的設(shè)備。你看的時(shí)候不知道哪個(gè)是真實(shí)的哪個(gè)虛擬的。
RealSense實(shí)感技術(shù)的含義是什么?
“你我現(xiàn)在手上,每個(gè)人手上的一個(gè)手機(jī),或者你的電腦,或者你的手機(jī)都有攝象頭,這個(gè)攝象是一個(gè)2D的攝象頭——一拍完照以后,它就變成一個(gè)2D的圖片,其實(shí)是把三維的信息丟掉了,變成一個(gè)兩維的了。你在圖片是一個(gè)平面的,他沒有大小的概念,沒有遠(yuǎn)近的概念,沒有長短的概念。但depth camera深度攝像頭,其實(shí)就把第三維還原給你了,把深度信息的Z(XYZ三軸),把Z的第三維信息還給你,我可以把三維的世界重新復(fù)現(xiàn)?!?/p>
所以跟VR有關(guān)的Project Alloy,通過實(shí)感技術(shù)獲得了6 DOF的追蹤能力。“真實(shí)的世界跟虛擬的世界是一個(gè)一對一的坐標(biāo)關(guān)系。我在真實(shí)的世界在走路,在動(dòng),在虛擬的世界也會(huì)同樣。這就給一個(gè)VR最關(guān)鍵的技術(shù)之一,因?yàn)檫@樣可以把你的真實(shí)世界和虛擬世界真正的映射起來?!?/p>
通過實(shí)感技術(shù),Alloy還可以實(shí)現(xiàn)手部操縱的追蹤能力。讓真實(shí)的和虛擬的東西完全無縫的融合在一起,分不清真實(shí)分不清虛擬——這是英特爾Project Alloy闡述的愿景。
不光是VR/AR設(shè)備,實(shí)感技術(shù)還可以應(yīng)用在包括PC、平板、手機(jī)、機(jī)器人、無人機(jī)以及三維自動(dòng)避障方面,實(shí)感技術(shù)都算是一種基礎(chǔ)必要技術(shù)。
在美國市場公布了Project Alloy計(jì)劃后,英特爾首次在中國市場對關(guān)于Alloy的問題進(jìn)行了回應(yīng)。在這之前,英特爾還并沒有在中國市場的公開場合對VR、AR以及MR技術(shù)、Alloy頭盔進(jìn)行公開講解。
Q:英特爾在前段時(shí)間有收購一家公司叫Movidius,視覺處理器以后會(huì)跟英特爾的感知技術(shù)有什么結(jié)合?
A:英特爾有意收購Movidius這家公司,從法務(wù)上還沒有完全結(jié)束,我們是也意向收購他們。如果一切順利的話,他會(huì)跟我們部門放在一起,因?yàn)閺奈覀僀EO的角度,或者從整個(gè)英特爾布局的角度有著非常清晰的概念,我們提供了視覺、Sensor、三維攝像頭。Movidius可以幫我們填補(bǔ)計(jì)算機(jī)視覺特別的處理器功能。它專門為計(jì)算機(jī)視覺做芯片,所以跟我們是一個(gè)非常好的融合。
在一些便捷式設(shè)備,移動(dòng)設(shè)備上,Movidius也會(huì)跟我們會(huì)是一個(gè)非常好的匹配。如果并購成功,從低功耗,而且是專業(yè)級的計(jì)算機(jī)視覺方面的芯片上,都對我們整個(gè)產(chǎn)業(yè)的布局非常好。
Q:Alloy的參考設(shè)計(jì)方案,現(xiàn)在有沒有一些合作的廠商可以推出真正的消費(fèi)級終端產(chǎn)品?
A:是有一些廠商在合作。但因?yàn)橛⑻貭柫?xí)慣是等我們的合作方宣布他們的產(chǎn)品,我們才會(huì)宣布。我們提供一些技術(shù),這個(gè)也包括在IDF的時(shí)候,我們的CEO宣布和微軟的合作——微軟的下一代操作系統(tǒng),在VR的操作系統(tǒng)上的合作。
Q:光線復(fù)雜的時(shí)候會(huì)不會(huì)影響攝像頭的工作?英特爾RealSense現(xiàn)在的攝像頭追蹤的技術(shù),在應(yīng)對光線的精度、手勢交互以及延遲技術(shù)方面有沒有解決類似問題,有沒有什么突破?
A:RealSense像人的視覺一樣。他主要是通過視覺的方式來解決這個(gè)問題,人的視覺其實(shí)一樣的,人已經(jīng)是上帝創(chuàng)造的最理想的生物。我們的眼睛,適應(yīng)性能力很大很強(qiáng)的,但突然我打個(gè)強(qiáng)光一下肯定就盲掉了,所以視覺一定會(huì)有光線的影響,這個(gè)是不可避免的。如果說我用視覺方案解決,它一定有一個(gè)限制、條件。
我們下一代的產(chǎn)品會(huì)比較好的解決這個(gè)問題,就是英特爾RealSense 400的攝像頭。它可以在很多光線的情況下解決大部分的問題,但你說能不能找到common case,一個(gè)奇怪的配置出來,我覺得一定會(huì)有的,因?yàn)槟阋跇O限的情況下測,它一定會(huì)超過這個(gè)極限的。
Q:我們在硅谷了解到Magic Leap,他告訴我們所有中國的在硅谷的VR、AR投資,我們發(fā)現(xiàn)美國的這個(gè)行業(yè)的泡沫要被抽干了。所以為什么英特爾還仍然會(huì)這么在VR、AR、MR上付出這么大的精力。Magic Leap到現(xiàn)在做了這么長時(shí)間了,他的產(chǎn)品還沒做出來,我們這個(gè)產(chǎn)品什么時(shí)候能真正的落地?
A:Magic Leap是一家獨(dú)立的公司,不是英特爾的子公司也不是我們的公司,所以我們沒有辦法評論他的產(chǎn)品,像你說的,他可能需要點(diǎn)時(shí)間推出他的產(chǎn)品,我們也在關(guān)注這個(gè)問題。
為什么英特爾在這個(gè)方向還在做VR,AR,甚至提出MR的概念,因?yàn)槲覀冋J(rèn)為是一個(gè)趨勢。就像開始個(gè)人計(jì)算機(jī)PC的時(shí)代出來,沒有人相信會(huì)需要一個(gè)PC。當(dāng)時(shí)很多機(jī)構(gòu)報(bào)告說這個(gè)世界需要PC的人不會(huì)超過一百個(gè),一千個(gè)。但現(xiàn)在是幾億個(gè),幾百萬個(gè)PC在全世界在跑,因?yàn)槿诵枰粋€(gè)計(jì)算設(shè)備陪著你。后來手機(jī)也一樣,我們叫perceived computing,普適計(jì)算。你的計(jì)算能力應(yīng)該是無所不在的,就像現(xiàn)在的電影一樣的,我們從來沒有想過電從哪兒來,燈是亮的,屏幕是亮的,都有電。如果以后我們認(rèn)為所有的地方都有計(jì)算能力,包括你的地板等等都會(huì)有計(jì)算能力,它都會(huì)幫你去處理一些事情。
英特爾為什么投資在這兒,因?yàn)檫@是人的常見的一個(gè)需求,你用它可以跟這個(gè)真實(shí)的世界和虛擬的世界更好的融合??涩F(xiàn)在關(guān)鍵的問題是技術(shù)沒到那個(gè)地步,比如六自由度的問題都不能被完美解決好。但我們相信通過基礎(chǔ)的技術(shù),或者是根本性技術(shù)的突破,會(huì)帶來一個(gè)巨大的爆發(fā)。我們希望在爆發(fā)前就布局好。
Q:除了您剛才說到的DOF技術(shù)以外,其他像AR、MR它的成像技術(shù)是否需要發(fā)展?
A:不需要了,其實(shí)AR、VR或者M(jìn)R的設(shè)備,其實(shí)跟計(jì)算機(jī)一些,跟機(jī)器人一樣,其實(shí)它是一個(gè)整體的方案,包括VR的屏幕顯示,包括延遲,包括里面的傳感器、交互、動(dòng)態(tài)需要做的一些調(diào)節(jié),起來現(xiàn)在每一門都是一個(gè)基礎(chǔ)的技術(shù)。
Q:Alloy在演示的時(shí)候,它的手如果放在下面,上面還會(huì)看到那個(gè)手,這個(gè)對我們的視覺感有影響。我覺得這也是Google他們一直在推手柄的問題,您怎么看這兩種方式的關(guān)系?
A:我用另外一個(gè)方式來回答。比如現(xiàn)在很多的計(jì)算機(jī)上都有觸摸屏,可是我們還是會(huì)用鼠標(biāo)、鍵盤。因?yàn)樵诤芏嗲闆r下,鼠標(biāo)、鍵盤更靠譜。
其實(shí)VR也是一回事,你可能需要手勢的交互,但一些情況下就需要手柄的交互,手勢并不會(huì)把手柄全部替代掉。因?yàn)槭直峁┝藥讉€(gè)東西:一個(gè)是跟蹤的范圍更大;另一個(gè)是手柄會(huì)給你一個(gè)物理的反饋。舉一個(gè)很簡單的例子,我玩射擊類的游戲,這個(gè)手做的再好,打的非常精準(zhǔn),也沒有手柄扣扳機(jī)的感覺要好。因?yàn)樗形锢淼挠|感,你扣到的觸感有真正打槍扳機(jī)的感覺。
Q:六自由度的追蹤目前是最高的,還有上限嗎?
A:因?yàn)榱杂啥绕鋵?shí)就是你們做的在三維時(shí)間里活動(dòng)所需要的。
Q:剛才提到融合時(shí)候把真實(shí)的物理帶到虛擬里,那個(gè)時(shí)候可能我們看到的一些畫面不是很清晰,包括那個(gè)手也會(huì)有點(diǎn)模糊,這個(gè)日后會(huì)不會(huì)有更好的發(fā)展?
A:第一,它變得更加清晰是一個(gè)肯定的方向,包括加速、處理、視覺的提高都會(huì)把它變得更加清晰,交互的真實(shí)感就會(huì)更強(qiáng)。第二,我們正在探索一些新的交互方式,后續(xù)我們可能很快會(huì)有一些新演示給大家。
Q:除了手勢以外,還會(huì)有其他的交互方式嗎?
A:會(huì),在12月份你們會(huì)看到新的交互方式出來,但并不是說會(huì)突破物理限制——你不會(huì)發(fā)現(xiàn)一個(gè)拿腳的交互。我的意思是,我們會(huì)用一種更加自然的交互方式,包括手的交互其實(shí)有很多的東西可以做。
如果你們玩過HoloLens就會(huì)發(fā)現(xiàn),它只有兩個(gè)手勢。所以并不是說一百個(gè)手勢、一千個(gè)手勢很黑科技,我們要做的是一個(gè)真正有用的交互,我們還在探索。
Q:實(shí)感計(jì)算在英特爾內(nèi)部,現(xiàn)在它是怎樣的一個(gè)地位?這個(gè)部門在英特爾的產(chǎn)品線里是一個(gè)什么地位?
A:其實(shí)是一個(gè)很簡單的道理,像我說的,計(jì)算機(jī)代表著人類,它處理到一定的時(shí)候我們需要人類的視覺來感知。但是如果拿到3D處理,就會(huì)產(chǎn)生非常多的新數(shù)據(jù),包括掃描數(shù)據(jù)、看到的數(shù)據(jù),這些數(shù)據(jù)全部要存儲(chǔ)、處理,就要需要云端的功能,包括以后更加真實(shí)的強(qiáng)真實(shí)感,就需要云端的處理。其實(shí)這個(gè)跟英特爾整個(gè)系統(tǒng)是連在一起的。
在應(yīng)用上,我們會(huì)放在無人機(jī)、無人駕駛汽車、VR、智能機(jī)器人、體育、時(shí)尚上等等,我們會(huì)延伸到很多的領(lǐng)域,因?yàn)樗欢〞?huì)和這個(gè)有關(guān)系。任何的一個(gè)設(shè)備,如果它有一定的自主功能,它一定離不開數(shù)據(jù)。任何一個(gè)設(shè)備如果自己做一些事情,就一定要這個(gè),它需要理解世界,如果不理解世界就沒有辦法跟世界交互。
Q:您剛才說到一體機(jī)是VR發(fā)展的最終結(jié)果,它跟移動(dòng)AR比,哪個(gè)會(huì)更有效更方便?
A:大家現(xiàn)在看到的發(fā)展有兩個(gè)方向,而且英特爾在這兩個(gè)方向上都在發(fā)力。一個(gè)連線連在PC上利用PC本身的功能,而且現(xiàn)在每一個(gè)人都帶有一個(gè)電腦;第二,每個(gè)人都有手機(jī),我拿一個(gè)Cardboard,往上面一插,看一下片子,玩一下游戲。
為什么我個(gè)人認(rèn)為一體機(jī)會(huì)是以后最終的目標(biāo)?因?yàn)樗揭欢ǖ臅r(shí)候,比如我手機(jī)的處理能力越來越強(qiáng),功耗越來越小,戴在身上又很輕很方便的時(shí)候,肯定是那個(gè)是最好的,因?yàn)槟菢訒?huì)把從束縛里抽出來。但是現(xiàn)在我認(rèn)為一體機(jī)至少還需要一段時(shí)間,因?yàn)樗ㄌ幚砥?、各個(gè)方面的性能,包括光學(xué)、重量、散熱、結(jié)構(gòu)等等,有很多方面的問題需要解決。
Q:您覺得融合現(xiàn)實(shí)的主要應(yīng)用場景有哪些?從目前來看,VR主要的應(yīng)用在游戲方面,這對于人類真實(shí)參與是不是有一個(gè)重要的需求?您認(rèn)為融合現(xiàn)實(shí)應(yīng)該在哪些場景里會(huì)更好?
A:其實(shí)融合現(xiàn)實(shí)這個(gè)詞是我翻譯的,當(dāng)時(shí)在IDF上,有人問我這個(gè)詞怎么翻譯,后來我就翻譯成融合現(xiàn)實(shí)。我提出這樣概念的原因是,第一,VR大家比較清楚,VR就是整合創(chuàng)造一個(gè)全虛擬化的環(huán)境。AR理論上是增強(qiáng)現(xiàn)實(shí),把現(xiàn)實(shí)和虛擬混合起來。其實(shí),AR真正做好的時(shí)候,其實(shí)它已經(jīng)代表了一切。但現(xiàn)在有很大的問題,因?yàn)樗鎸?shí)感差別很大,就是一個(gè)純粹的疊加。那個(gè)體驗(yàn)感非常差,所以我們想把那個(gè)區(qū)分出來。
我們希望做到,但我們現(xiàn)在也還沒有做到視頻中那這樣非常完美的程度。但是我們認(rèn)為真正融合、讓你感覺虛擬和真實(shí)分不開,才是一個(gè)最高的境界。比如我坐在會(huì)議里和你開會(huì)是真實(shí)的,放個(gè)投影在這里就覺得不是很真實(shí)。
評論