本文編譯自semiengineering

神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)圖形渲染，AI智能體指導(dǎo)玩法，而‘幻覺’則用于填補(bǔ)缺失的細(xì)節(jié)，讓游戲世界更加完整。

隨著處理性能和內(nèi)存的大幅提升，以及數(shù)據(jù)傳輸速度的顯著加快，電子游戲正在借助人工智能創(chuàng)造出越來越逼真的場景和交互體驗(yàn)。

GPU不再僅僅局限于圖形渲染，如今已廣泛應(yīng)用于多種AI任務(wù)，包括生成更真實(shí)的非玩家角色（NPC）、動態(tài)世界、個性化玩法，以及關(guān)卡設(shè)計、內(nèi)容生成和更精細(xì)的游戲機(jī)制。同時，系統(tǒng)也在利用機(jī)器學(xué)習(xí)工具，以更低的功耗執(zhí)行諸如環(huán)境光遮蔽（ambient occlusion）之類的任務(wù)。

“過去玩家與游戲角色的互動主要是基于腳本的，”Imagination產(chǎn)品管理副總裁Kristof Beets表示。“你說一句，他們回一句，整個流程非常線性?，F(xiàn)在借助AI的智能化，你可以和角色進(jìn)行真正的對話。動畫也因AI而有了顯著提升。比如新的人形機(jī)器人是如何行走的？這是神經(jīng)網(wǎng)絡(luò)的功勞。同樣的技術(shù)可以應(yīng)用到游戲的物理和體驗(yàn)中。通過AI可以帶來更多動態(tài)效果和更高的真實(shí)感。但這在很大程度上仍需要時間，因?yàn)樵蕉嗟墓δ芤蕾嘇I，就意味著需要更多的計算資源。這始終是一種平衡?？梢哉f正在出現(xiàn)一種持續(xù)的趨勢：把過去依賴蠻力和高昂成本的方式，轉(zhuǎn)化為借助神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的模糊近似解——效果足夠好，而且非常有說服力?！?/span>

這種轉(zhuǎn)變在很大程度上得益于GPU不再需要每次都逐像素計算?！岸鄶?shù)游戲會進(jìn)行預(yù)測性分析，基本上是預(yù)先計算接下來的處理步驟，” Arteris首席營銷官M(fèi)ichal Siwinski表示?！斑@帶來了巨大的功耗開銷?！?/span>

為了抵消光線追蹤等特效帶來的高功耗（它能在游戲中生成逼真的陰影），業(yè)界引入了類似超分辨率（super resolution）的工具，其原理類似于AI網(wǎng)絡(luò)的“幻覺”機(jī)制。“你問它一個問題，它會給出一個看似合理但并非真實(shí)的答案，” Beets解釋道?！霸贏I助手中，你不希望出現(xiàn)幻覺，它不能憑空捏造。但在圖形渲染中情況幾乎相反。如果你想到圖形渲染和細(xì)節(jié)補(bǔ)全，這正是你希望神經(jīng)網(wǎng)絡(luò)去做的。它能補(bǔ)全一些合理的細(xì)節(jié)。這是關(guān)鍵所在——通過低分辨率渲染，避免做全部光線追蹤和高成本的計算，再用AI來填補(bǔ)空白。”

當(dāng)然，AI也可能會出錯，比如生成條紋圖案，而真實(shí)圖像中并不存在?！暗绻雌饋砗侠恚⑶以跁r間上保持穩(wěn)定，那么就是合格的，” Beets說道?！皥D形渲染中最難的就是時間穩(wěn)定性。你不希望AI在每一幀都編造不同的內(nèi)容，否則畫面會閃爍和抖動。AI圖形超分辨率其實(shí)早于我們今天看到的AI搜索引擎和助手的爆發(fā)式發(fā)展?！?/span>

幀生成（Frame Generation）是另一項正在快速發(fā)展的功能?！巴婕彝嬗螒驎r，我們希望它能運(yùn)行在60幀/秒（FPS），”Imagination產(chǎn)品與戰(zhàn)略合作總監(jiān)Tyrran Ferguson表示?！叭绻挥?0幀/秒，雖然肉眼勉強(qiáng)能接受，但感覺像在拖泥帶水。達(dá)到60幀或更高時，畫面才會流暢和美觀。幀生成的做法是在真實(shí)幀之間插入新幀，也就是‘偽造’畫面，從30幀提升到60幀。這里同樣會涉及幻覺問題。幀生成最早出現(xiàn)在桌面端，這是新興技術(shù)。業(yè)界正在探索如何優(yōu)化它，讓玩家在幀與幀之間不會看到奇怪的畫面，就像光線追蹤最初也從桌面端開始一樣。一旦玩家習(xí)慣了這種功能，就會希望在移動端或GPU資源極其有限的場景中也能使用。未來在移動設(shè)備上做幀生成只是時間問題?！?/span>

“過去很多效果，比如景深或環(huán)境光遮蔽，都是通過非常復(fù)雜的著色器程序來實(shí)現(xiàn)的，” Beets表示?！艾F(xiàn)在我們可以訓(xùn)練一個小得多的神經(jīng)網(wǎng)絡(luò)，以近似相同的質(zhì)量完成任務(wù)，而且在數(shù)據(jù)流方面的開銷要低得多。這就是NVIDIA所稱的‘神經(jīng)著色器（neural shaders）’，即開始讓神經(jīng)網(wǎng)絡(luò)接手這類工作?！?/span>

為游戲任務(wù)設(shè)計芯片

要設(shè)計適用于游戲的GPU，工程師必須在架構(gòu)階段就深入理解存儲器的吞吐需求。

“設(shè)計人員需要明確他們將使用何種存儲器，以及該存儲器的吞吐能力，”Cadence驗(yàn)證軟件產(chǎn)品管理高級總監(jiān)Matthew Graham表示?！拔覀儽仨毚_保系統(tǒng)設(shè)計能夠充分利用這種吞吐。消費(fèi)者花錢買了顯卡或游戲主機(jī)上最快的存儲器，我們就要確保芯片架構(gòu)能發(fā)揮其最大效用。設(shè)計工具能夠分析復(fù)雜算法，從PCI Express獲取數(shù)據(jù)到圖形核心，再到存儲器——無論是用于圖形的DDR，還是用于AI的HBM——然后回到核心進(jìn)行處理，再回傳到存儲器，最后到接口等一系列過程?！?/span>

關(guān)鍵在于確保數(shù)據(jù)端到端的功能正確性和一致性，同時傳輸速度要恰到好處。Graham形象地比喻道：“這不像是把一枚硬幣放進(jìn)一個桶里，再把它取出來。而更像是把硬幣切成50片，放進(jìn)10個不同的桶，再取出來，還要保證能把硬幣重新拼回去。這就是復(fù)雜系統(tǒng)的真實(shí)工作方式。比如一個4K視頻幀，玩家希望以120Hz（每秒120次）刷新率運(yùn)行，這就是海量的數(shù)據(jù)。你不可能一次處理完所有數(shù)據(jù)，而是要切分處理，同時確保一致性和數(shù)據(jù)完整性?！?/span>

光線追蹤這類任務(wù)甚至可以在GPU內(nèi)單獨(dú)設(shè)置計算核心。Imagination產(chǎn)品與戰(zhàn)略合作總監(jiān)Tyrran Ferguson指出：“這樣能把任務(wù)分開處理，當(dāng)運(yùn)行光線追蹤工作負(fù)載時，就能通過GPU的獨(dú)立部分更高效地完成。”

GPU工作負(fù)載的分配方式取決于具體應(yīng)用場景。Imagination產(chǎn)品管理副總裁Kristof Beets解釋說：“以游戲?yàn)槔?，一般先進(jìn)行經(jīng)典的圖形渲染，再用AI進(jìn)行超分辨率放大。這意味著GPU的算力分配會從100%用于經(jīng)典渲染，轉(zhuǎn)變?yōu)?00%用于AI放大。這是一種基于時間的切片方式，能夠自然適配更高級的用例——也就是把傳統(tǒng)和AI技術(shù)深度融合。我們的重點(diǎn)是如何讓這種方式更高效，如何在芯片內(nèi)部共享和留存數(shù)據(jù)。任務(wù)交錯是最有前景的方向。理論上你可以把GPU分成多個子單元，但最有效的方式還是給予客戶完全的靈活性：想100%做AI，就可以這么用；想100%做經(jīng)典渲染，也能這么用?！?/span>

Synaptics技術(shù)與創(chuàng)新副總裁Dave Garrett補(bǔ)充說，GPU完全有能力應(yīng)對這兩類任務(wù)?！耙慌_手機(jī)SoC可以先快速瀏覽相冊做人臉識別，然后立即切換到運(yùn)行AI游戲或光線追蹤?！倒琛╠ark silicon）的概念在其中發(fā)揮重要作用。過去我們常為不同任務(wù)專門設(shè)計硬件，后來AI提供了一種可編程框架，數(shù)據(jù)變化就能帶來不同結(jié)果，但底層引擎是相同的?！?/span>

ChipAgents創(chuàng)始工程師Daniel Rose則強(qiáng)調(diào)并行化和指令優(yōu)化的重要性：“我們幫助AI加速器公司優(yōu)化單顆GPU芯片的功耗利用率。當(dāng)功耗更優(yōu)化、面積更小，就能做出更強(qiáng)大的游戲芯片。在設(shè)計中，PPA（功耗、性能、面積）的取舍至關(guān)重要。”

未來，NPU（神經(jīng)網(wǎng)絡(luò)處理單元）也可能在游戲中承擔(dān)更多AI/ML工作負(fù)載。Beets指出：“GPU的靈活性很強(qiáng)，現(xiàn)在已經(jīng)能提供大量AI性能，但我們也在與NPU引擎深度協(xié)作。通常會在GPU和NPU之間加入一部分SRAM，這樣它們就能在芯片內(nèi)共享和交換數(shù)據(jù)，有助于降低功耗。雖然仍有大量數(shù)據(jù)需要傳輸，但這是兩種處理單元協(xié)作的最佳方式。延遲尤為關(guān)鍵，你肯定不希望所有任務(wù)都繞過CPU和復(fù)雜的軟件棧?！?/span>

不過，定制芯片在可訪問性方面也面臨挑戰(zhàn)。Beets解釋道：“這個領(lǐng)域非常分散，每家廠商都有不同的實(shí)現(xiàn)方式。但游戲需要生態(tài)系統(tǒng)支持。最初PC顯卡市場有十幾家廠商，各自使用不同的編程模型，結(jié)果大部分都被淘汰，只剩下少數(shù)幾家巨頭，因?yàn)樯鷳B(tài)無法支撐。AI也會經(jīng)歷類似的整合過程。尤其是AAA大作的開發(fā)成本極高，開發(fā)者不可能為不同平臺重復(fù)投入?，F(xiàn)在你能看到PlayStation、Xbox、PC和移動游戲之間已經(jīng)有很多交集，桌面游戲正在向移動端遷移，移動廠商也在進(jìn)入桌面市場。大家都在努力擴(kuò)展生態(tài)，而AI正是關(guān)鍵?！?/span>

在性能方面，主機(jī)與掌機(jī)的挑戰(zhàn)各不相同，原因在于硬件、功耗和設(shè)計上的差異。

Cadence Tensilica DSP產(chǎn)品管理與營銷總監(jiān)Amol Borkar表示：“主機(jī)注重原始性能，能提供4K畫質(zhì)、高幀率和光線追蹤等高級特性，但需要強(qiáng)大的散熱系統(tǒng)，功耗也很高。相比之下，掌機(jī)如Steam Deck和任天堂Switch則要在性能與便攜性之間找到平衡，受到電池續(xù)航、散熱管理和屏幕尺寸的限制。它們通常使用面向移動優(yōu)化的芯片，并通過動態(tài)分辨率縮放來保證流暢體驗(yàn)。”

無論是移動端還是主機(jī)，功耗和存儲都是關(guān)鍵。Rambus研究員兼首席發(fā)明家Steven Woo指出：“游戲的挑戰(zhàn)在于為用戶提供更加沉浸式的環(huán)境，提升真實(shí)感和情感共鳴。AI將助力實(shí)現(xiàn)這一目標(biāo)，但同時會顯著增加性能、功耗和散熱需求。存儲架構(gòu)對AI至關(guān)重要，必須演進(jìn)以支持更快的訪問和更高的吞吐，同時不突破功耗預(yù)算?！?/span>

總結(jié)

電子游戲產(chǎn)業(yè)正在快速發(fā)展，擴(kuò)展到世界的每一個角落和各種類型的設(shè)備。芯片創(chuàng)新將繼續(xù)支撐玩家所追求的最新特性——在體驗(yàn)中獲得盡可能高的保真度和盡可能低的延遲。

Baya Systems首席商務(wù)官Nandan Nayampally表示：“游戲始終與用戶體驗(yàn)和計算效率的提升息息相關(guān)。因?yàn)槟阍侥苷鎸?shí)地還原物理和視覺效果，就越能避免在增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)中常見的眩暈感。這些就是正在發(fā)生的變化，而數(shù)據(jù)流動是其根本所在。真正推動這一切的，是沉浸式游戲，而這歸根結(jié)底與形態(tài)有關(guān)，也就是進(jìn)入各種設(shè)備的東西，而不僅僅是硅片性能。理想的情況是，任何交互都能變得更加自然和直觀，而不是機(jī)械化。增強(qiáng)現(xiàn)實(shí)的第四波浪潮將是游戲找到其定位的地方。然后你再加入agentic AI，讓它成為你的伙伴或?qū)κ帧Ｋ栽谟螒蚝蚢gentic AI這兩個方向，都有大量創(chuàng)新正在發(fā)生。

作者：LIZ ALLAN