本文編譯自semiengineering

神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)圖形渲染，AI智能體指導(dǎo)玩法，而‘幻覺(jué)’則用于填補(bǔ)缺失的細(xì)節(jié)，讓游戲世界更加完整。

隨著處理性能和內(nèi)存的大幅提升，以及數(shù)據(jù)傳輸速度的顯著加快，電子游戲正在借助人工智能創(chuàng)造出越來(lái)越逼真的場(chǎng)景和交互體驗(yàn)。

GPU不再僅僅局限于圖形渲染，如今已廣泛應(yīng)用于多種AI任務(wù)，包括生成更真實(shí)的非玩家角色（NPC）、動(dòng)態(tài)世界、個(gè)性化玩法，以及關(guān)卡設(shè)計(jì)、內(nèi)容生成和更精細(xì)的游戲機(jī)制。同時(shí)，系統(tǒng)也在利用機(jī)器學(xué)習(xí)工具，以更低的功耗執(zhí)行諸如環(huán)境光遮蔽（ambient occlusion）之類的任務(wù)。

“過(guò)去玩家與游戲角色的互動(dòng)主要是基于腳本的，”Imagination產(chǎn)品管理副總裁Kristof Beets表示。“你說(shuō)一句，他們回一句，整個(gè)流程非常線性?，F(xiàn)在借助AI的智能化，你可以和角色進(jìn)行真正的對(duì)話。動(dòng)畫也因AI而有了顯著提升。比如新的人形機(jī)器人是如何行走的？這是神經(jīng)網(wǎng)絡(luò)的功勞。同樣的技術(shù)可以應(yīng)用到游戲的物理和體驗(yàn)中。通過(guò)AI可以帶來(lái)更多動(dòng)態(tài)效果和更高的真實(shí)感。但這在很大程度上仍需要時(shí)間，因?yàn)樵蕉嗟墓δ芤蕾嘇I，就意味著需要更多的計(jì)算資源。這始終是一種平衡?？梢哉f(shuō)正在出現(xiàn)一種持續(xù)的趨勢(shì)：把過(guò)去依賴蠻力和高昂成本的方式，轉(zhuǎn)化為借助神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的模糊近似解——效果足夠好，而且非常有說(shuō)服力?！?/span>

這種轉(zhuǎn)變?cè)诤艽蟪潭壬系靡嬗贕PU不再需要每次都逐像素計(jì)算?！岸鄶?shù)游戲會(huì)進(jìn)行預(yù)測(cè)性分析，基本上是預(yù)先計(jì)算接下來(lái)的處理步驟，” Arteris首席營(yíng)銷官M(fèi)ichal Siwinski表示?！斑@帶來(lái)了巨大的功耗開(kāi)銷。”

為了抵消光線追蹤等特效帶來(lái)的高功耗（它能在游戲中生成逼真的陰影），業(yè)界引入了類似超分辨率（super resolution）的工具，其原理類似于AI網(wǎng)絡(luò)的“幻覺(jué)”機(jī)制?！澳銌?wèn)它一個(gè)問(wèn)題，它會(huì)給出一個(gè)看似合理但并非真實(shí)的答案，” Beets解釋道?！霸贏I助手中，你不希望出現(xiàn)幻覺(jué)，它不能憑空捏造。但在圖形渲染中情況幾乎相反。如果你想到圖形渲染和細(xì)節(jié)補(bǔ)全，這正是你希望神經(jīng)網(wǎng)絡(luò)去做的。它能補(bǔ)全一些合理的細(xì)節(jié)。這是關(guān)鍵所在——通過(guò)低分辨率渲染，避免做全部光線追蹤和高成本的計(jì)算，再用AI來(lái)填補(bǔ)空白。”

當(dāng)然，AI也可能會(huì)出錯(cuò)，比如生成條紋圖案，而真實(shí)圖像中并不存在?！暗绻雌饋?lái)合理，并且在時(shí)間上保持穩(wěn)定，那么就是合格的，” Beets說(shuō)道?！皥D形渲染中最難的就是時(shí)間穩(wěn)定性。你不希望AI在每一幀都編造不同的內(nèi)容，否則畫面會(huì)閃爍和抖動(dòng)。AI圖形超分辨率其實(shí)早于我們今天看到的AI搜索引擎和助手的爆發(fā)式發(fā)展?！?/span>

幀生成（Frame Generation）是另一項(xiàng)正在快速發(fā)展的功能。“玩家玩游戲時(shí)，我們希望它能運(yùn)行在60幀/秒（FPS），”Imagination產(chǎn)品與戰(zhàn)略合作總監(jiān)Tyrran Ferguson表示?！叭绻挥?0幀/秒，雖然肉眼勉強(qiáng)能接受，但感覺(jué)像在拖泥帶水。達(dá)到60幀或更高時(shí)，畫面才會(huì)流暢和美觀。幀生成的做法是在真實(shí)幀之間插入新幀，也就是‘偽造’畫面，從30幀提升到60幀。這里同樣會(huì)涉及幻覺(jué)問(wèn)題。幀生成最早出現(xiàn)在桌面端，這是新興技術(shù)。業(yè)界正在探索如何優(yōu)化它，讓玩家在幀與幀之間不會(huì)看到奇怪的畫面，就像光線追蹤最初也從桌面端開(kāi)始一樣。一旦玩家習(xí)慣了這種功能，就會(huì)希望在移動(dòng)端或GPU資源極其有限的場(chǎng)景中也能使用。未來(lái)在移動(dòng)設(shè)備上做幀生成只是時(shí)間問(wèn)題?！?/span>

“過(guò)去很多效果，比如景深或環(huán)境光遮蔽，都是通過(guò)非常復(fù)雜的著色器程序來(lái)實(shí)現(xiàn)的，” Beets表示?！艾F(xiàn)在我們可以訓(xùn)練一個(gè)小得多的神經(jīng)網(wǎng)絡(luò)，以近似相同的質(zhì)量完成任務(wù)，而且在數(shù)據(jù)流方面的開(kāi)銷要低得多。這就是NVIDIA所稱的‘神經(jīng)著色器（neural shaders）’，即開(kāi)始讓神經(jīng)網(wǎng)絡(luò)接手這類工作?！?/span>

為游戲任務(wù)設(shè)計(jì)芯片

要設(shè)計(jì)適用于游戲的GPU，工程師必須在架構(gòu)階段就深入理解存儲(chǔ)器的吞吐需求。

“設(shè)計(jì)人員需要明確他們將使用何種存儲(chǔ)器，以及該存儲(chǔ)器的吞吐能力，”Cadence驗(yàn)證軟件產(chǎn)品管理高級(jí)總監(jiān)Matthew Graham表示。“我們必須確保系統(tǒng)設(shè)計(jì)能夠充分利用這種吞吐。消費(fèi)者花錢買了顯卡或游戲主機(jī)上最快的存儲(chǔ)器，我們就要確保芯片架構(gòu)能發(fā)揮其最大效用。設(shè)計(jì)工具能夠分析復(fù)雜算法，從PCI Express獲取數(shù)據(jù)到圖形核心，再到存儲(chǔ)器——無(wú)論是用于圖形的DDR，還是用于AI的HBM——然后回到核心進(jìn)行處理，再回傳到存儲(chǔ)器，最后到接口等一系列過(guò)程。”

關(guān)鍵在于確保數(shù)據(jù)端到端的功能正確性和一致性，同時(shí)傳輸速度要恰到好處。Graham形象地比喻道：“這不像是把一枚硬幣放進(jìn)一個(gè)桶里，再把它取出來(lái)。而更像是把硬幣切成50片，放進(jìn)10個(gè)不同的桶，再取出來(lái)，還要保證能把硬幣重新拼回去。這就是復(fù)雜系統(tǒng)的真實(shí)工作方式。比如一個(gè)4K視頻幀，玩家希望以120Hz（每秒120次）刷新率運(yùn)行，這就是海量的數(shù)據(jù)。你不可能一次處理完所有數(shù)據(jù)，而是要切分處理，同時(shí)確保一致性和數(shù)據(jù)完整性?！?/span>

光線追蹤這類任務(wù)甚至可以在GPU內(nèi)單獨(dú)設(shè)置計(jì)算核心。Imagination產(chǎn)品與戰(zhàn)略合作總監(jiān)Tyrran Ferguson指出：“這樣能把任務(wù)分開(kāi)處理，當(dāng)運(yùn)行光線追蹤工作負(fù)載時(shí)，就能通過(guò)GPU的獨(dú)立部分更高效地完成?！?/span>

GPU工作負(fù)載的分配方式取決于具體應(yīng)用場(chǎng)景。Imagination產(chǎn)品管理副總裁Kristof Beets解釋說(shuō)：“以游戲?yàn)槔?，一般先進(jìn)行經(jīng)典的圖形渲染，再用AI進(jìn)行超分辨率放大。這意味著GPU的算力分配會(huì)從100%用于經(jīng)典渲染，轉(zhuǎn)變?yōu)?00%用于AI放大。這是一種基于時(shí)間的切片方式，能夠自然適配更高級(jí)的用例——也就是把傳統(tǒng)和AI技術(shù)深度融合。我們的重點(diǎn)是如何讓這種方式更高效，如何在芯片內(nèi)部共享和留存數(shù)據(jù)。任務(wù)交錯(cuò)是最有前景的方向。理論上你可以把GPU分成多個(gè)子單元，但最有效的方式還是給予客戶完全的靈活性：想100%做AI，就可以這么用；想100%做經(jīng)典渲染，也能這么用?！?/span>

Synaptics技術(shù)與創(chuàng)新副總裁Dave Garrett補(bǔ)充說(shuō)，GPU完全有能力應(yīng)對(duì)這兩類任務(wù)?！耙慌_(tái)手機(jī)SoC可以先快速瀏覽相冊(cè)做人臉識(shí)別，然后立即切換到運(yùn)行AI游戲或光線追蹤?！倒琛╠ark silicon）的概念在其中發(fā)揮重要作用。過(guò)去我們常為不同任務(wù)專門設(shè)計(jì)硬件，后來(lái)AI提供了一種可編程框架，數(shù)據(jù)變化就能帶來(lái)不同結(jié)果，但底層引擎是相同的?！?/span>

ChipAgents創(chuàng)始工程師Daniel Rose則強(qiáng)調(diào)并行化和指令優(yōu)化的重要性：“我們幫助AI加速器公司優(yōu)化單顆GPU芯片的功耗利用率。當(dāng)功耗更優(yōu)化、面積更小，就能做出更強(qiáng)大的游戲芯片。在設(shè)計(jì)中，PPA（功耗、性能、面積）的取舍至關(guān)重要?！?/span>

未來(lái)，NPU（神經(jīng)網(wǎng)絡(luò)處理單元）也可能在游戲中承擔(dān)更多AI/ML工作負(fù)載。Beets指出：“GPU的靈活性很強(qiáng)，現(xiàn)在已經(jīng)能提供大量AI性能，但我們也在與NPU引擎深度協(xié)作。通常會(huì)在GPU和NPU之間加入一部分SRAM，這樣它們就能在芯片內(nèi)共享和交換數(shù)據(jù)，有助于降低功耗。雖然仍有大量數(shù)據(jù)需要傳輸，但這是兩種處理單元協(xié)作的最佳方式。延遲尤為關(guān)鍵，你肯定不希望所有任務(wù)都繞過(guò)CPU和復(fù)雜的軟件棧。”

不過(guò)，定制芯片在可訪問(wèn)性方面也面臨挑戰(zhàn)。Beets解釋道：“這個(gè)領(lǐng)域非常分散，每家廠商都有不同的實(shí)現(xiàn)方式。但游戲需要生態(tài)系統(tǒng)支持。最初PC顯卡市場(chǎng)有十幾家廠商，各自使用不同的編程模型，結(jié)果大部分都被淘汰，只剩下少數(shù)幾家巨頭，因?yàn)樯鷳B(tài)無(wú)法支撐。AI也會(huì)經(jīng)歷類似的整合過(guò)程。尤其是AAA大作的開(kāi)發(fā)成本極高，開(kāi)發(fā)者不可能為不同平臺(tái)重復(fù)投入?，F(xiàn)在你能看到PlayStation、Xbox、PC和移動(dòng)游戲之間已經(jīng)有很多交集，桌面游戲正在向移動(dòng)端遷移，移動(dòng)廠商也在進(jìn)入桌面市場(chǎng)。大家都在努力擴(kuò)展生態(tài)，而AI正是關(guān)鍵?！?/span>

在性能方面，主機(jī)與掌機(jī)的挑戰(zhàn)各不相同，原因在于硬件、功耗和設(shè)計(jì)上的差異。

Cadence Tensilica DSP產(chǎn)品管理與營(yíng)銷總監(jiān)Amol Borkar表示：“主機(jī)注重原始性能，能提供4K畫質(zhì)、高幀率和光線追蹤等高級(jí)特性，但需要強(qiáng)大的散熱系統(tǒng)，功耗也很高。相比之下，掌機(jī)如Steam Deck和任天堂Switch則要在性能與便攜性之間找到平衡，受到電池續(xù)航、散熱管理和屏幕尺寸的限制。它們通常使用面向移動(dòng)優(yōu)化的芯片，并通過(guò)動(dòng)態(tài)分辨率縮放來(lái)保證流暢體驗(yàn)?！?/span>

無(wú)論是移動(dòng)端還是主機(jī)，功耗和存儲(chǔ)都是關(guān)鍵。Rambus研究員兼首席發(fā)明家Steven Woo指出：“游戲的挑戰(zhàn)在于為用戶提供更加沉浸式的環(huán)境，提升真實(shí)感和情感共鳴。AI將助力實(shí)現(xiàn)這一目標(biāo)，但同時(shí)會(huì)顯著增加性能、功耗和散熱需求。存儲(chǔ)架構(gòu)對(duì)AI至關(guān)重要，必須演進(jìn)以支持更快的訪問(wèn)和更高的吞吐，同時(shí)不突破功耗預(yù)算?！?/span>

總結(jié)

電子游戲產(chǎn)業(yè)正在快速發(fā)展，擴(kuò)展到世界的每一個(gè)角落和各種類型的設(shè)備。芯片創(chuàng)新將繼續(xù)支撐玩家所追求的最新特性——在體驗(yàn)中獲得盡可能高的保真度和盡可能低的延遲。

Baya Systems首席商務(wù)官Nandan Nayampally表示：“游戲始終與用戶體驗(yàn)和計(jì)算效率的提升息息相關(guān)。因?yàn)槟阍侥苷鎸?shí)地還原物理和視覺(jué)效果，就越能避免在增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)中常見(jiàn)的眩暈感。這些就是正在發(fā)生的變化，而數(shù)據(jù)流動(dòng)是其根本所在。真正推動(dòng)這一切的，是沉浸式游戲，而這歸根結(jié)底與形態(tài)有關(guān)，也就是進(jìn)入各種設(shè)備的東西，而不僅僅是硅片性能。理想的情況是，任何交互都能變得更加自然和直觀，而不是機(jī)械化。增強(qiáng)現(xiàn)實(shí)的第四波浪潮將是游戲找到其定位的地方。然后你再加入agentic AI，讓它成為你的伙伴或?qū)κ?。所以在游戲和agentic AI這兩個(gè)方向，都有大量創(chuàng)新正在發(fā)生。

作者：LIZ ALLAN