NVIDIA 軟件生態(tài)系統(tǒng)的一大顯著優(yōu)勢，在于其始終堅(jiān)持持續(xù)優(yōu)化。今年 8 月，NVIDIA Jetson AGX Thor正式開售，與上一代產(chǎn)品Jetson AGX Orin相比，生成式 AI 性能最高提升至 5 倍。通過發(fā)布后的軟件更新優(yōu)化，Jetson Thor 的生成式 AI 吞吐量提升至 7 倍。開發(fā)者可以在 Llama、DeepSeek 等模型上體驗(yàn)到性能的提升，未來推出的新模型預(yù)計(jì)也能帶來類似的優(yōu)勢。除了持續(xù)優(yōu)化軟件外，NVIDIA 還會(huì)為主流模型提供支持，并且往往能在新模型發(fā)布后的幾天內(nèi)完成適配，以便開發(fā)者能夠盡早嘗試和測試最新的 AI 模型。

Jetson Thor 平臺(tái)還支持多種主流量化格式，包括 NVIDIA Blackwell GPU 架構(gòu)的新 NVFP4 格式，有助于進(jìn)一步優(yōu)化推理性能。該平臺(tái)同時(shí)支持推測解碼等新技術(shù)，為在邊緣端加速生成式 AI 工作負(fù)載提供了新的途徑。

本文將介紹 NVIDIA 如何通過持續(xù)優(yōu)化其 Jetson 平臺(tái)的軟件生態(tài)系統(tǒng)，提升生成式 AI 的性能，并說明了實(shí)現(xiàn)這些性能提升的關(guān)鍵技術(shù)，如量化和預(yù)測性解碼。

持續(xù)性軟件優(yōu)化：隨著近期 vLLM 容器的發(fā)布，Jetson Thor 在相同模型和量化配置的情況下，性能相比 8 月底首發(fā)時(shí)提升了最高達(dá) 3.5 倍。Jetson Thor 現(xiàn)已支持在 vLLM 容器中運(yùn)行 Eagle 3 預(yù)測性解碼，進(jìn)一步提升了生成式 AI 模型的性能。

借助 Jetson Thor 提升生成式 AI 性能：Jetson Thor 在邊緣端生成式 AI 應(yīng)用中表現(xiàn)出強(qiáng)大的性能，但要充分發(fā)揮其潛力，必須采用合適的技術(shù)方案。量化與預(yù)測解碼兩種關(guān)鍵技術(shù)能夠顯著加速大語言模型（LLM）和視覺語言模型（VLM）的推理過程。

量化：減小模型體積，提升推理速度。量化的核心在于降低包括權(quán)重和激活值等模型數(shù)據(jù)的數(shù)值精度。通常，會(huì)將標(biāo)準(zhǔn)的 16 位格式，如 FP16 或 BF16，轉(zhuǎn)換為 8 位或 4 位等更低位的格式，這會(huì)帶來兩大優(yōu)勢：更小的顯存占用和更快的內(nèi)存訪問速度。

預(yù)測解碼：通過草稿驗(yàn)證解碼方法提升推理速度。該技術(shù)通過結(jié)合兩個(gè)模型來加速推理過程：一個(gè)快速的小型“草稿”模型和一個(gè)高精度的大型“目標(biāo)”模型。該“起草和驗(yàn)證”過程在每個(gè)周期內(nèi)生成多個(gè) token，同時(shí)確保最終輸出與目標(biāo)模型獨(dú)立生成的結(jié)果保持一致。其效能核心取決于接受率。接受率過低會(huì)顯著增加延遲，而接受率過高則可能導(dǎo)致計(jì)算資源消耗上升，因此使用能夠反映實(shí)際工作負(fù)載的提示進(jìn)行基準(zhǔn)測試尤為關(guān)鍵。