元宇宙正在推動芯片設(shè)計(jì)的極限，盡管不確定這些設(shè)備最終需要多少原始動力來提供沉浸式的AR、VR、MR的融合。

開發(fā)這些系統(tǒng)的最大挑戰(zhàn)是實(shí)時(shí)處理混合數(shù)據(jù)類型的能力，同時(shí)數(shù)據(jù)以閃電般的速度不間斷地移動。這需要系統(tǒng)的集成，以及系統(tǒng)的系統(tǒng)的集成。無縫運(yùn)行將需要在芯片層面和其他層面取得進(jìn)步：

處理器必須具有足夠的功率以避免信號的跳躍。與此同時(shí)，該系統(tǒng)在設(shè)計(jì)上還必須考慮到優(yōu)秀的能效。實(shí)現(xiàn)這種平衡需要混合處理元素，其中許多元素需要針對特定任務(wù)和數(shù)據(jù)類型進(jìn)行定制設(shè)計(jì)，并具有優(yōu)先級的數(shù)據(jù)路徑，以便將數(shù)據(jù)快速移動到需要的地方。

頭盔在運(yùn)行時(shí)必須保持合適的溫度，滿足長時(shí)間佩戴需求。比如屏幕長時(shí)間處于激活狀態(tài)，智能手機(jī)可能會變得太熱。戴在臉上的設(shè)備溫度要比手機(jī)更低，盡管計(jì)算量可能要高得多。

來回移動圖像和視頻數(shù)據(jù)需要巨大的帶寬。通常在家庭或辦公室等固定環(huán)境中使用高速無線連接實(shí)現(xiàn)。但在移動應(yīng)用中，這些設(shè)備可能會搜索信號，因?yàn)閭鬏斶@些信號所需的更高頻率容易受到從天氣到其他移動物體等各種因素的干擾。

架構(gòu)需要足夠靈活，以合并通信協(xié)議和其他仍在發(fā)展的標(biāo)準(zhǔn)的變化，這將需要某種程度的可編程性。如果做的不好，可能會影響性能。在軟件中做這些改變可能會大大降低系統(tǒng)速度，需要更多的處理，這反過來會產(chǎn)生更多的熱量。

Cadence的Tensilica Vision和AI DSP產(chǎn)品管理、營銷和業(yè)務(wù)開發(fā)總監(jiān)Amol Borkar表示，滿足所有這些要求的設(shè)備必須需要“硬件和效率上的革命”?！斑@個領(lǐng)域仍處于起步階段。如今的電池驅(qū)動的頭盔大多還是原型。這種設(shè)備可能在算力上與目前的手機(jī)接近，但考慮到與用戶面部的距離，其功耗需要低得多?！?/p>

事實(shí)上，在某些情況下，它可能被綁定到手機(jī)上。著名發(fā)明家、Rambus研究員Steve Woo表示：“在像眼鏡這樣的設(shè)備上，你想做多少事情，而在一些互聯(lián)設(shè)備上，你想做多少事情，這方面存在很多問題。一種可能性是，你的手機(jī)可以成為一個中心，其中一些處理可以被卸載。這比眼鏡之類的東西好一點(diǎn)。但它仍然是一個電池驅(qū)動的設(shè)備，如果你碰巧旁邊有一個插在墻上的東西，也許你也可以在那里卸下一些處理工作。但響應(yīng)時(shí)間將非常重要，所以你必須盡可能在靠近設(shè)備的地方完成所有工作。”

其他人也提到了類似的限制。Arm家庭市場部門主管Pablo Fraile說：“我們認(rèn)為元宇宙是任何增強(qiáng)手機(jī)功能的東西。這項(xiàng)技術(shù)可以朝著多個可穿戴的方向發(fā)展。AR和VR是這一領(lǐng)域的兩個極端，而這兩個極端的限制條件也截然不同。我們還考慮到元宇宙被部署在不同的環(huán)境中，家庭、辦公室、室外或車內(nèi)。因此聯(lián)網(wǎng)將是絕對必要的。這種連接不僅存在于用戶和網(wǎng)絡(luò)之間，也存在于人們隨身攜帶的不同設(shè)備之間，因?yàn)槟憧赡芡瑫r(shí)擁有不同的可穿戴設(shè)備。”

復(fù)雜的整合

一種普遍的看法是，元宇宙將主要用于游戲或社交媒體的動畫3D版本。但它在工業(yè)和企業(yè)應(yīng)用中可能有更廣泛的用途，而且每種應(yīng)用都有非常不同的技術(shù)要求和芯片架構(gòu)。

TSMC北美區(qū)總裁兼CEO Dave Keller在最近的一次演講中提到了元宇宙，指出AR已經(jīng)被其客戶和內(nèi)部培訓(xùn)廣泛采用。他說：“在封鎖期間，我們使用HoloLens與我們在美國和歐洲的設(shè)備供應(yīng)商遠(yuǎn)程合作。元宇宙將進(jìn)一步推進(jìn)這些。去年，元宇宙讓所有人都在討論將真實(shí)和虛擬融合到數(shù)字時(shí)代。這將需要5G、云和邊緣計(jì)算?！?/p>

它還需要巨大的能量。Infineon電力和傳感器系統(tǒng)總裁Adam White說：“你需要1000倍以上的算力才能生活在元宇宙中。對于AR/VR來說，最大的問題是如何產(chǎn)生足夠的能量使其工作。”

Infineon美洲區(qū)銷售SVP Shawn Slusser說：“我們的服務(wù)器還不能處理元宇宙。然后是整個傳感器，物聯(lián)網(wǎng)之類的環(huán)境，必須輸入元宇宙。這就像一個生態(tài)系統(tǒng)，而這個生態(tài)系統(tǒng)還沒有建立起來。這需要一些時(shí)間?！?/p>

Arm的Fraile表示同意。他說：“我們必須經(jīng)歷一個學(xué)習(xí)階段，無論是在如何使用這些東西，還是在如何建造它們方面。這并不是說挑戰(zhàn)比我們以前見過的任何都要大。但這是一項(xiàng)很難整合的技術(shù)。讓這些東西同步并看起來真實(shí)是一項(xiàng)艱巨的工作。這不僅僅是網(wǎng)絡(luò)的問題。它還涉及數(shù)據(jù)管理和數(shù)據(jù)壓縮。在某種程度上，所有這些技術(shù)仍然需要出現(xiàn)，在這些領(lǐng)域有大量的研究?！?/p>

其中包括大量的半導(dǎo)體，其中許多將是高度定制的。

Rambus的Woo表示：“一旦這開始形成一個規(guī)模合理的市場，你就會開始看到更多專注的創(chuàng)新。你可以在智能手表上看到這一點(diǎn)，它們現(xiàn)在自成一個品類，有自己獨(dú)特的發(fā)展空間。你會在AR和VR上看到同樣的情況，當(dāng)你找到合適的應(yīng)用，越來越多的人開始采用它并解決問題。內(nèi)存將是這種實(shí)現(xiàn)的一大挑戰(zhàn)。”

整合這些設(shè)備以使它們能夠順暢地交換信息還有另一個挑戰(zhàn)。雖然最初這將建立在現(xiàn)有的通信基礎(chǔ)設(shè)施和方法之上，但隨著在有線和無線基礎(chǔ)設(shè)施之間移動的數(shù)據(jù)量不斷膨脹，它將以新的方式對這些系統(tǒng)施壓。

AR/VR開發(fā)人員從28nm節(jié)點(diǎn)開始就一直在等待處理器能夠在足夠低的功耗下提供足夠的性能，從而使該行業(yè)成為可能。他們沒有預(yù)料到的是，隨著時(shí)間的推移，計(jì)算架構(gòu)會發(fā)生如此巨大的變化。因此，與其僅僅等待5nm或3nm處理器的出現(xiàn)，這個市場上最大的玩家現(xiàn)在正在設(shè)計(jì)自己的芯片，以優(yōu)先考慮數(shù)據(jù)流，使用融合了某種形式的AI、更快的I/O和一些高級節(jié)點(diǎn)計(jì)算元素的異構(gòu)架構(gòu)。

考慮到元宇宙設(shè)備的處理和分辨率需求，這一點(diǎn)非常關(guān)鍵。Synopsys的產(chǎn)品營銷SVP Hezi Saar說：“我們說的是兩種顯示驅(qū)動，4K*4K。他們應(yīng)該有一個很高的比特率，RGB 30 bits，最低90Hz的頻率。所以你看到的是每只眼睛每秒40或50GBt。這提供了非常高的分辨率，不會產(chǎn)生任何暈車或類似的情況。你需要攝像頭為你觀察環(huán)境，連接XR處理器，以及連接顯示驅(qū)動。”

Saar指出，這一領(lǐng)域的許多創(chuàng)新可能來自一種可以集成多種功能的XR加速器?！癤R加速器連接外部世界或攝像頭，對攝像頭進(jìn)行插值，從電影或游戲或其他XR處理器獲取信息，并將其疊加進(jìn)去。這是一個重型XR加速SoC，為此我們確實(shí)看到了一些設(shè)計(jì)。它們需要非常低功耗的USB、MIPI接收器、攝像頭發(fā)射器和多個顯示端口。低功率很重要。發(fā)熱是一個問題。功率一直是個問題。但我們確實(shí)看到市場在向前發(fā)展?！?/p>

許多這樣的芯片將根據(jù)特定的環(huán)境或用例進(jìn)行定制，而大多數(shù)爭奪這一領(lǐng)域領(lǐng)導(dǎo)地位的公司都在為繁重的任務(wù)設(shè)計(jì)自己的芯片。以Meta為例，該公司選擇了3D-IC，因?yàn)樗硎続R的計(jì)算強(qiáng)度不會像VR那樣高，VR需要不斷刷新整個背景。因此，阻礙3D-IC全面采用的熱問題將不是主要因素，信號傳輸?shù)木嚯x將更短，電阻和電容將更小。

充滿未知的際遇與大多數(shù)新的市場機(jī)會一樣，元宇宙是一個具有非進(jìn)化含義的進(jìn)化概念。它的缺乏定義大致相當(dāng)于邊緣計(jì)算概念，大多數(shù)芯片制造商將其視為一個廣闊的機(jī)會，但花了近10年的時(shí)間才展開。邊緣仍在建設(shè)中，目前尚不清楚誰將成為這一領(lǐng)域的大贏家。

但邊緣也將在元宇宙中扮演一個不可或缺的角色，反之亦然。Borkar說：“今天，我們看到許多這類設(shè)備主要由顯示器、攝像頭、麥克風(fēng)和頭盔中的其他傳感器組成，但所有的計(jì)算通常都發(fā)生在一個‘帶包’或計(jì)算包中。隨著時(shí)間的推移，我們將看到這一切合并到一個獨(dú)立的頭盔中。此外，我們預(yù)計(jì)頭盔將變得更加符合人體工學(xué)、美觀和非侵入性。我們已經(jīng)被智能手機(jī)寵壞了，當(dāng)這些AR/VR設(shè)備成為主流時(shí)，預(yù)期電池續(xù)航時(shí)間需要在8-12小時(shí)范圍內(nèi)。如果需要頻繁充電或被要求隨身攜帶充電寶，一般人是不會樂意使用這些設(shè)備的?！?/p>

這些設(shè)備還需要可擴(kuò)展的架構(gòu)以及支持多核集群和多線程的能力，Borkar說：“當(dāng)需要分配工作負(fù)載來滿足算法的不同性能需求時(shí)，這一點(diǎn)很重要。例如，你可以讓輕量級AI網(wǎng)絡(luò)以高FPS實(shí)時(shí)運(yùn)行，同時(shí)，另一個輕量級AI網(wǎng)絡(luò)也實(shí)時(shí)運(yùn)行，但FPS低得多，然后是第三個網(wǎng)絡(luò)，計(jì)算量大，但很少運(yùn)行或以突發(fā)模式運(yùn)行。該架構(gòu)需要能夠在運(yùn)行時(shí)在多個集群或架構(gòu)之間有效地處理這些工作負(fù)載，為用戶提供最佳的功率和性能?！?/p>

說到FPS，Borkar指出創(chuàng)造一款不會讓人感到頭暈的設(shè)備是一項(xiàng)復(fù)雜的工作。他說：“與刷新率有關(guān)的因素有很多?！帮@示器的刷新率、頭部跟蹤和渲染pipeline以及整體延遲。在顯示端，通常建議每個顯示屏至少顯示1080p，刷新率為90Hz。在此基礎(chǔ)上，頭部跟蹤算法必須能夠無縫且準(zhǔn)確地跟蹤用戶的頭部運(yùn)動。今天的SLAM算法使用來自攝像頭、IMU和其他輸入的傳感器融合，可以在攝像頭頻率的最小值（通常為60-90 FPS）下精確跟蹤6DoF定位。該算法可以進(jìn)一步優(yōu)化，僅依靠IMU數(shù)據(jù)產(chǎn)生1KHz的位姿估計(jì)。大多數(shù)圖形pipeline通常運(yùn)行在60-90Hz。”

“因此，為了這個1KHz的姿勢信息，實(shí)現(xiàn)了空間扭曲和時(shí)間扭曲的高級圖像處理技術(shù)來創(chuàng)建中間圖像（不渲染全新的圖像），提供了一個非?？焖俚匿秩緋ipeline的感覺。最后是延遲，通常以MPT（motion to photon）延遲來衡量，或者從被測量的運(yùn)動到它被記錄在屏幕上的時(shí)間。所有這些因素結(jié)合在一起，對防止頭暈非常重要?！?/p>

Synopsys的Saar預(yù)測，大部分與元宇宙相關(guān)的半導(dǎo)體將用于智能眼鏡設(shè)備。他說，至少在不久的將來，這些設(shè)備可能會被用作智能手機(jī)的某種延伸。眼鏡-智能手機(jī)組合的串聯(lián)特性解決了元宇宙設(shè)備的一些技術(shù)挑戰(zhàn)。Saar說：“它會把東西投射到眼睛上，這樣你就能看到有人發(fā)信息或打電話給你。該設(shè)備本身可以拍一些照片，但除此之外就沒什么其他功能了。大多數(shù)情況下，它是完全關(guān)機(jī)的，只有在有中斷時(shí)才會打開。這意味著所有的算力都來自手機(jī)，而從手機(jī)到眼鏡的連接主要是為了獲取信息和圖像。我認(rèn)為這是一個輕量級的元宇宙?！?/p>

可以肯定的是，關(guān)于元宇宙的底層硬件還有很多未知和不可預(yù)測的地方。即使是關(guān)于元宇宙到底是什么的基本問題，科技界也尚未達(dá)成共識。試探性的答案會帶來更多的問題?！澳闳绾问占瘮?shù)據(jù)？如何保護(hù)數(shù)據(jù)？你如何確保人們不會錄下他們不想錄的東西？”

［參考文章］Chip Challenges In The Metaverse — Marie C. Baca and Ed Sperling

編輯：黃飛