多年來(lái)，圖形管線一直依賴于成熟且固定的功能工作負(fù)載，如幾何處理、光柵化、紋理貼圖和著色。這種傳統(tǒng)方法為渲染提供了可預(yù)測(cè)的結(jié)構(gòu)，每個(gè)階段都提供特定且易于理解的功能。

然而，這種模式已經(jīng)悄然發(fā)生了深刻轉(zhuǎn)變?，F(xiàn)代渲染的特點(diǎn)如今是計(jì)算驅(qū)動(dòng)流程、神經(jīng)推理以及對(duì)AI輔助圖像形成的日益依賴。AI在圖形學(xué)中的作用已超越了輔助功能的范疇；它正逐漸成為圖像渲染、增強(qiáng)、重建和合成方式中不可或缺的一部分。

因此，GPU的未來(lái)方向是明確的：它們必須在桌面平臺(tái)、云平臺(tái)和邊緣設(shè)備中融入高效的AI加速能力。如今的芯片負(fù)責(zé)處理從幾何處理到圖像增強(qiáng)和重建的各種工作負(fù)載。這一轉(zhuǎn)變使AI加速成為現(xiàn)代渲染的核心支柱，推動(dòng)著當(dāng)代系統(tǒng)圖形質(zhì)量與能力的提升。

在整個(gè)行業(yè)中，現(xiàn)代圖形引擎正從以片段處理為主的管線轉(zhuǎn)向以計(jì)算為主導(dǎo)的模式，這一點(diǎn)在高端PC引擎和主機(jī)級(jí)工作負(fù)載中尤為明顯。對(duì)比早期引擎與當(dāng)代管線可以清晰看到這一變化：傳統(tǒng)管線由片段著色主導(dǎo)，而現(xiàn)代引擎將越來(lái)越多的幀時(shí)間分配給計(jì)算工作負(fù)載。光照、材質(zhì)評(píng)估、可見(jiàn)性處理以及后處理正不斷遷移到計(jì)算驅(qū)動(dòng)階段。

當(dāng)代渲染管線越來(lái)越依賴計(jì)算著色器來(lái)驅(qū)動(dòng)光照、材質(zhì)、可見(jiàn)性和后期處理。傳統(tǒng)片段著色的比例正在穩(wěn)步下降；計(jì)算著色器以及超分辨率、降噪和增強(qiáng)技術(shù)已經(jīng)占據(jù)了GPU幀處理時(shí)間的很大一部分。像DLSS和FSR這樣的技術(shù)，曾經(jīng)被視為高端特性，現(xiàn)在已成為現(xiàn)代引擎中的標(biāo)準(zhǔn)配置。它們利用神經(jīng)網(wǎng)絡(luò)從較低分辨率的輸入重建高分辨率幀，應(yīng)用高質(zhì)量降噪，并在嚴(yán)格的延遲限制下保持時(shí)間穩(wěn)定性。

我們內(nèi)部分析清晰地反映了這一轉(zhuǎn)變。在現(xiàn)代渲染管線中，越來(lái)越多的幀延遲不再直接花費(fèi)在“繪制”像素上，而是花費(fèi)在通過(guò)神經(jīng)方法，從一個(gè)稀疏的基礎(chǔ)（較低分辨率輸入、較少的著色樣本和激進(jìn)的時(shí)間復(fù)用）來(lái)推斷出一個(gè)感知上完整的圖像。

商業(yè)硬件決策也體現(xiàn)了這一模式。例如，索尼從PlayStation 5向PlayStation 5 Pro的升級(jí)中，GPU子系統(tǒng)的硅面積大約增加了4倍，其中絕大部分用于神經(jīng)計(jì)算，而非傳統(tǒng)著色或固定功能光線追蹤。這反映了行業(yè)的明確判斷：未來(lái)圖像質(zhì)量的提升將主要來(lái)自重建與推理，而非單純提高片段吞吐量。

從架構(gòu)角度看，實(shí)時(shí)3D圖形始終是一門“近似科學(xué)”，而非數(shù)學(xué)上的完全精確。其核心約束從來(lái)不是正確性，而是受限的延遲和能耗，這迫使引擎必須激進(jìn)地剔除那些對(duì)感知畫質(zhì)提升不明顯的計(jì)算。可見(jiàn)性裁剪、細(xì)節(jié)層次（LOD）、時(shí)間復(fù)用和重建技術(shù)，本質(zhì)上都遵循同一原則：去除不必要的計(jì)算，將硅面積和功耗預(yù)算集中用于真正能帶來(lái)差異化體驗(yàn)的部分。

這一理念對(duì)GPU設(shè)計(jì)產(chǎn)生了直接影響。隨著工作負(fù)載越來(lái)越由重建、推理和近似計(jì)算主導(dǎo)，架構(gòu)重點(diǎn)從最大化原始片段吞吐量轉(zhuǎn)向在渲染流水線內(nèi)部高效執(zhí)行中小規(guī)模神經(jīng)網(wǎng)絡(luò)。神經(jīng)著色器正是這一趨勢(shì)的自然演進(jìn)：將緊湊的神經(jīng)網(wǎng)絡(luò)嵌入著色階段，使近似過(guò)程以數(shù)據(jù)驅(qū)動(dòng)的方式被“學(xué)習(xí)”，并與現(xiàn)有著色執(zhí)行和內(nèi)存訪問(wèn)模式緊密耦合。

要高效支持這一點(diǎn)，就需要GPU將神經(jīng)執(zhí)行視為頭等架構(gòu)關(guān)注點(diǎn)，而非輔助性的計(jì)算任務(wù)。需要針對(duì)低延遲、高利用率以及與傳統(tǒng)著色進(jìn)行細(xì)粒度集成進(jìn)行優(yōu)化，而不是將其視為孤立的、面向批處理的推理任務(wù)。

雖然神經(jīng)超分辨率已經(jīng)成為主流，但神經(jīng)著色器（直接嵌入在著色管線內(nèi)部的小型網(wǎng)絡(luò)）正涌現(xiàn)為實(shí)時(shí)圖形學(xué)的下一個(gè)重大變革。行業(yè)技術(shù)成熟度分析表明，神經(jīng)著色正從早期創(chuàng)新階段邁向本十年后期的更廣泛應(yīng)用。我們已經(jīng)發(fā)布了神經(jīng)近似技術(shù)的相關(guān)研究，預(yù)計(jì)未來(lái)GPU需要將高效神經(jīng)執(zhí)行作為常規(guī)著色工作負(fù)載的一部分，而非獨(dú)立的計(jì)算路徑。

研發(fā)趨勢(shì)也支持這一判斷。預(yù)測(cè)圖形工作負(fù)載未來(lái)方向的最快方式之一，就是關(guān)注SIGGRAPH。過(guò)去兩年中，神經(jīng)驅(qū)動(dòng)圖形研究的數(shù)量顯著激增，例如：

神經(jīng)材質(zhì)和神經(jīng)隱式表面，為復(fù)雜資產(chǎn)提供實(shí)時(shí)、可學(xué)習(xí)的表示。

基于擴(kuò)散的資產(chǎn)提取和內(nèi)容合成，使用生成模型來(lái)生成和優(yōu)化3D內(nèi)容。

神經(jīng)降噪、重建和混合生成工作流，在最近的SIGGRAPH出版物中隨處可見(jiàn)。

神經(jīng)驅(qū)動(dòng)的藝術(shù)和設(shè)計(jì)工具，將AI直接嵌入內(nèi)容創(chuàng)作管線。

規(guī)劃多年架構(gòu)的硬件團(tuán)隊(duì)必須認(rèn)識(shí)到這一時(shí)間線，因?yàn)榻裉煸O(shè)計(jì)的GPU模塊必須支持2028年及以后的工作負(fù)載。涵蓋材質(zhì)、動(dòng)畫、渲染和工具的神經(jīng)圖形研究，其數(shù)量和廣度都確鑿無(wú)疑地表明，AI已成為計(jì)算機(jī)圖形學(xué)中的基礎(chǔ)學(xué)科。綜上所述，行業(yè)信號(hào)是一致的：渲染不再是關(guān)于最大化FP32片段吞吐量，而是關(guān)于靈活的、通用的計(jì)算。

而當(dāng)未來(lái)的圖形工作負(fù)載嚴(yán)重依賴神經(jīng)處理時(shí)，GPU架構(gòu)師就不能依賴標(biāo)量或傳統(tǒng)的著色器核心來(lái)高效運(yùn)行它們。神經(jīng)工作負(fù)載需要更高的計(jì)算密度、更低的單次推理能耗，并支持與著色器緊密集成且具有互補(bǔ)內(nèi)存訪問(wèn)模式的中小型網(wǎng)絡(luò)。

正因如此，Imagination正將AI加速直接集成到GPU架構(gòu)中，使客戶能夠支持計(jì)算機(jī)圖形的前沿發(fā)展。我們的E-Series GPU IP同時(shí)支持圖形處理和通用推理應(yīng)用，通過(guò)AI加速單元與傳統(tǒng)著色集群的緊密融合，在低功耗下提供高吞吐性能。

在未來(lái)，實(shí)時(shí)圖形將由重建、近似和神經(jīng)執(zhí)行來(lái)定義，將AI視為渲染管線中的頭等部分不是可有可無(wú)的——而是必不可少的。

欲深入了解Imagination高效能GPU IP如何應(yīng)對(duì)先進(jìn)制程挑戰(zhàn)，請(qǐng)立即預(yù)約與團(tuán)隊(duì)會(huì)面。

作者：Ed Plowman

英文鏈接：https://blog.imaginationtech.com/the-transformation-of-graphics-pipelines

聲明：本文為原創(chuàng)文章，轉(zhuǎn)載需注明作者、出處及原文鏈接。