隨著汽車行業(yè)的飛速發(fā)展，當(dāng)乘用車從交通工具向智能移動(dòng)終端不斷進(jìn)化，艙駕智能化水平已成為衡量整車廠競爭力的核心標(biāo)尺，而其中車載平臺(tái)算力更是端側(cè)艙駕 AI 進(jìn)化的核心燃料。

其中，以智駕視角來看，從 L2 級(jí)輔助駕駛，到 L2+ 高級(jí)輔助駕駛，再到 L3/ L4 級(jí)自動(dòng)駕駛，車載計(jì)算平臺(tái)的算力需求正以指數(shù)級(jí)增長，這種增長不僅源于傳感器數(shù)量與分辨率的提升，更來自 AI 算法復(fù)雜度帶來的能力上限的爆炸式演進(jìn)。

NVIDIA DRIVE AGX 系列芯片以領(lǐng)先行業(yè)的算力規(guī)模，架構(gòu)創(chuàng)新以及豐富數(shù)字生態(tài)，已成為定義智能駕駛時(shí)代的“數(shù)字算力引擎”，其構(gòu)建的從云端訓(xùn)練到車端推理的完整算力體系，正在逐步重塑汽車產(chǎn)業(yè)的技術(shù)發(fā)展格局。

而以智艙角度來看，隨著生成式 AI 技術(shù)的迅猛發(fā)展，艙內(nèi) AI 端側(cè)部署正從簡單的語音助手交互向多模態(tài)甚至全模態(tài)智能座艙體驗(yàn)躍遷。端側(cè)大模型憑借本地實(shí)時(shí)推理能力，可實(shí)現(xiàn)極低延遲的自然語言交互，個(gè)性化的主動(dòng)式 AI 服務(wù)以及艙內(nèi)外環(huán)境感知應(yīng)用。開發(fā)者可通過 CUDA 生態(tài)復(fù)用云端大模型開發(fā)優(yōu)化經(jīng)驗(yàn)，大幅縮短端側(cè)開發(fā)周期同時(shí)極大提高推理速度和用戶體驗(yàn)。

目前已有頭部車企基于 NVIDIA DRIVE AGX 系列芯片部署端到端艙內(nèi) AI Agent，從而實(shí)現(xiàn)被動(dòng)響應(yīng)到主動(dòng)服務(wù)的體驗(yàn)升級(jí)。

自動(dòng)駕駛技術(shù)的每一次技術(shù)跨越與性能體驗(yàn)升級(jí)，都伴隨著算力需求的幾何級(jí)增長。L2 級(jí)輔助駕駛僅需 10TOPS 以下算力，即可完成車道保持、自適應(yīng)巡航等基礎(chǔ)功能；而 L2+ 級(jí)高級(jí)輔助駕駛對(duì)算力的需求驟升至 100TOPS 以上，以應(yīng)對(duì)復(fù)雜城市道路的多目標(biāo)檢測與決策規(guī)劃；當(dāng)邁向 L3/L4 級(jí)自動(dòng)駕駛，系統(tǒng)需要同時(shí)處理數(shù)十路傳感器的多并發(fā)數(shù)據(jù)流量，所需算力已突破 1000TOPS 大關(guān)。

那么， 從技術(shù)發(fā)展和落地的角度來看，究竟該如何進(jìn)一步應(yīng)對(duì)汽車智能化發(fā)展帶來的 AI 算力部署的挑戰(zhàn)？

DRIVE AGX SoC 系列

從硬件的角度來看，為了應(yīng)對(duì)汽車在快速演變?yōu)橹悄芙K端的過程中對(duì)于 AI 算力的飛速增加的需求，NVIDIA 先后推出了 DRIVE AGX SoC 系列的 DRIVE AGX Orin SoC 和 DRIVE AGX Thor SoC。

NVIDIA DRIVE AGX Orin SoC 可提供高達(dá) 254 TOPS（每秒萬億次運(yùn)算）的性能，是智能車輛的中央計(jì)算平臺(tái)。它為輔助駕駛功能、置信視圖以及 AI 座艙提供高算力支持。

NVIDIA DRIVE AGX Thor SoC 是 NVIDIA 最新一代，專為汽車行業(yè)日益重要的生成式 AI 應(yīng)用而打造的集中式車載計(jì)算機(jī)。作為 NVIDIA DRIVE AGX Orin SoC 的后續(xù)產(chǎn)品，DRIVE AGX Thor SoC 采用了 NVIDIA 最新的 CPU 和 GPU 技術(shù)，包括 NVIDIA Blackwell GPU 架構(gòu)，用于 Transformer 和生成式 AI 功 能。DRIVE AGX Thor SoC 支持 4 位浮點(diǎn)數(shù)（FP4）和 8 位浮點(diǎn)數(shù)（FP8），可提供前所未有的 2,000 FP4 TOPS/1,000 INT8 TOPS/1,000 FP8 TFLOPS/500 FP16 TFLOPS 性能。這一平臺(tái)不僅提供豐富的座艙功能、安全可靠的輔助駕駛功能，還能夠?qū)⑺泄δ苷现镣粋€(gè)集中式平臺(tái)上，極大地提高了系統(tǒng)的運(yùn)行效率和可靠性，并降低了整體系統(tǒng)成本。

高算力平臺(tái)為 AI 上車奠定基礎(chǔ)，為算法迭代預(yù)留了充足空間。新一代集中式車載計(jì)算平臺(tái)將賦能整車廠的高階智能駕駛方案，發(fā)揮其在硬件、軟件算法和算力優(yōu)化方面的優(yōu)勢，推動(dòng)輔助駕駛技術(shù)的全面升級(jí)，并覆蓋高速、城市、泊車等全場景的高階輔助駕駛功能，助力其向高端算力輔助駕駛轉(zhuǎn)型，共同探索大模型、世界模型的路徑，持續(xù)優(yōu)化和提升高速領(lǐng)航、城市記憶領(lǐng)航及更高的旗艦級(jí)城市領(lǐng)航功能。

DriveOS 軟件架構(gòu)和軟件開發(fā)包

當(dāng)然，在基于硬件層面推出上述高算力平臺(tái)的基礎(chǔ)上，NVIDIA 也在軟件層面推出了一系列適用于這些高算力平臺(tái)的軟件架構(gòu)和軟件開發(fā)包，從而形成了一整套軟硬結(jié)合的車端系統(tǒng)級(jí) AI 開發(fā)方案，更好地滿足客戶在大語言模型時(shí)代的需求。

1. DriveOS 軟件架構(gòu)

DriveOS 是 NVIDIA 提供的軟件板級(jí)支持包，包括 NVIDIA 自研的 Type-1 虛擬機(jī)，虛擬機(jī)之上不同的操作系統(tǒng)（Linux 或者 QNX），操作系統(tǒng)上的豐富的 SDK。這些 SDK 包括大家熟悉的 CUDA，TensorRT，Vulkan，還有特意為支持大語言模型的軟件開發(fā)包 DriveOS LLM SDK。這些 SDK 可以使開發(fā)者更容易的訪問 SOC 中的各種硬件加速引擎，快速的部署應(yīng)用在 NVIDIA 的平臺(tái)。

2. DriveOS LLM SDK 介紹

DriveOS LLM SDK 是 NVIDIA 為嵌入式端特別推出的大語言模型軟件開發(fā)包，包含多個(gè)專為高效 LLM 推理而設(shè)計(jì)的關(guān)鍵組件。這些組件可確保在汽車平臺(tái)上高效部署 LLM，包括：

插件庫：LLMs 需要專用插件來實(shí)現(xiàn)高級(jí)功能和優(yōu)化性能。DriveOS LLM SDK 包含這些自定義插件，以及一組用于處理上下文相關(guān)組件的內(nèi)核，例如旋轉(zhuǎn)位置嵌入、multihead attention 和 KV-cache 管理。AttentionPlugin 還支持動(dòng)態(tài)批量大小和動(dòng)態(tài)輸入序列長度。

標(biāo)記器/detokenizer：該 SDK 為 LLM 推理提供高效的標(biāo)記器 /detokenizer，遵循 Llama 式字節(jié)對(duì)編碼（BPE）標(biāo)記器，并帶有正則表達(dá)式匹配。此模塊將多模態(tài)用戶輸入（例如文本或圖像）轉(zhuǎn)換為令牌流，從而實(shí)現(xiàn)不同數(shù)據(jù)類型之間的無縫集成。

采樣器：采樣器對(duì)于文本生成、翻譯和對(duì)話等任務(wù)至關(guān)重要，因?yàn)樗刂浦Ｐ驮谕评磉^程中如何生成文本和選擇標(biāo)記。DriveOS LLM SDK 實(shí)現(xiàn)了基于 CUDA 的采樣器來優(yōu)化此過程。為了平衡推理效率和輸出多樣性，采樣器使用單束采樣方法和 Top-K 選項(xiàng)。這種方法可提供快速且合理多樣化的輸出，而不會(huì)產(chǎn)生探索多個(gè)束所需的計(jì)算成本。這對(duì)于汽車應(yīng)用非常重要，因?yàn)樾枰紤]延遲和效率。

解碼器：在 LLM 推理期間，解碼器模塊根據(jù)模型的預(yù)測迭代生成 token，從而生成文本或序列。DriveOS LLM SDK 提供靈活的解碼循環(huán)，支持靜態(tài)批量大小、填充輸入序列，以及生成批量中最長的序列。

這些組件共同支持在多個(gè) NVIDIA DRIVE 平臺(tái)上實(shí)現(xiàn)靈活、輕量級(jí)的高性能 LLM 部署和定制（圖 1）。

圖 1. DriveOS LLM SDK 主要組件和架構(gòu)計(jì)劃

a）支持的模型、精度格式和平臺(tái)

DriveOS LLM SDK 在 DRIVE 平臺(tái)上支持一系列先進(jìn)的 LLM，包括 NVIDIA DRIVE AGX Orin 和 NVIDIA DRIVE AGX Thor。作為預(yù)覽功能，該 SDK 還可以在 x86 系統(tǒng)上運(yùn)行，這對(duì)于開發(fā)非常有用。目前支持的模型包括以下內(nèi)容，未來預(yù)計(jì)還會(huì)有其他模型：

Llama 3 8B Instruct

Llama 3.1 8B

Llama 3.2 3B

Qwen2.5 7B Instruct

Qwen2 7B Instruct

Qwen2 VL

Intern3 VL

Phi4 VL

該 SDK 支持多種精度格式，可在不同平臺(tái)（包括 FP16、FP8、NVFP4 和 INT4）上解鎖大型 LLM。對(duì)于 INT4（W4A16）精度，使用 AWQ recipe 將模型權(quán)重量化為 INT4，并在 FP16 中執(zhí)行計(jì)算。這種方法可顯著減少內(nèi)存占用。該 SDK 還在 NVIDIA DRIVE AGX Thor 平臺(tái)上支持 TensorRT 版本大于 10.4 的 FP8（W8A8）精度，以及 TensorRT 版本大于 10.8 的 NVFP4 精度。

這些精度可以進(jìn)一步減少 LLM 推理期間的內(nèi)存占用，同時(shí)增強(qiáng)內(nèi)核性能。在此配置中，權(quán)重和 GEMM 運(yùn)算采用 FP8 或 NVFP4 格式，而 LayerNorm、KV 緩存、LM 頭和注意力層保留在 FP16 中。總體而言，DriveOS LLM SDK 旨在高效支持各種 LLM，包括多模態(tài)輸入和跨多個(gè)平臺(tái)的各種精度格式。

b）DriveOS LLM SDK 的關(guān)鍵 feature

c）LLM 部署工作流

LLM 部署通常是一個(gè)復(fù)雜的過程，需要大量的工程工作，尤其是在邊緣設(shè)備上。DriveOS LLM SDK 為在 DRIVE 平臺(tái)上部署 LLM 提供了簡化的解決方案。所提議的 SDK 將部署工作流程簡化為兩個(gè)簡單的步驟：導(dǎo)出 ONNX 模型和構(gòu)建引擎（圖 2）。此過程與使用 TensorRT 部署深度學(xué)習(xí)模型的標(biāo)準(zhǔn)程序十分相似。

圖 2.使用 DriveOS LLM SDK 部署 LLM 的步驟

量化在優(yōu)化 LLM 部署方面發(fā)揮著至關(guān)重要的作用，尤其是對(duì)于資源受限的平臺(tái)而言。它可以顯著提高 LLM 的效率和可擴(kuò)展性。DriveOS LLM SDK 通過在 ONNX 模型導(dǎo)出階段提供多個(gè)量化選項(xiàng)來滿足這一需求，您可以通過一條命令輕松調(diào)用這些量化選項(xiàng)：

python3llm_export.py --torch_dir$TORCH_DIR--dtype [fp16|fp8|int4] --output_dir$ONNX_DIR

此命令可將 Hugging Face 格式的 LLM 轉(zhuǎn)換為具有指定量化精度的 ONNX 模型。建議在 x86 數(shù)據(jù)中心 GPU 上執(zhí)行此步驟，以避免內(nèi)存不足（OOM）問題。

將模型導(dǎo)出到 ONNX 后，可以使用 llm_build 二進(jìn)制文件來創(chuàng)建相應(yīng)的 TensorRT 引擎。構(gòu)建過程與特定模型或精度無關(guān)，因?yàn)?IO 接口在所有 ONNX 模型中保持標(biāo)準(zhǔn)化。應(yīng)使用以下命令在 DRIVE 平臺(tái)上構(gòu)建引擎：

./build/examples/llm/llm_build --onnxPath=model.onnx --enginePath=model.engine --batchSize=B --maxInputLen=N --maxSeqLen=M

該 SDK 還包括交叉編譯構(gòu)建系統(tǒng)，支持在 x86 機(jī)器上編譯 AArch64 目標(biāo)。此功能可加速部署并簡化邊緣計(jì)算平臺(tái)上的特征驗(yàn)證。

除了其用戶友好型部署流程外，DriveOS LLM SDK 還提供各種 C++ 代碼示例，用于端到端 LLM 推理、性能基準(zhǔn)測試和實(shí)時(shí)聊天實(shí)現(xiàn)。這些示例使開發(fā)者能夠使用靜態(tài)批量大小和輸入/輸出序列長度來評(píng)估 DRIVE 平臺(tái)上不同模型的準(zhǔn)確性和性能，或自定義自己的應(yīng)用程序。

要使用 SDK 提供的 C++ 代碼來啟用 LLM 聊天機(jī)器人，請(qǐng)使用以下示例命令：

./build/examples/llm/llm_chat --tokenizerPath=llama-v3-8b-instruct-hf/--enginePath=llama3_fp16.engine--maxLength=64

此命令的整個(gè)推理工作流如圖 3 所示，其中與 DriveOS LLM SDK 相關(guān)的組件以藍(lán)色塊表示。

圖 3.使用 DriveOS LLM SDK 進(jìn)行推理的管道

d）多模態(tài) LLM 部署的性能

總結(jié)

當(dāng)前，整個(gè)汽車行業(yè)在持續(xù)追求輔助駕駛快速發(fā)展的同時(shí)，也在不斷推進(jìn)大語言模型在車端的落地，這就對(duì)車端 AI 算力的多樣化部署，尤其是對(duì)大語言模型的部署和適配能力，提出了更加復(fù)雜和多樣化的要求。

NVIDIA DriveOS LLM SDK 簡化了 LLM 和 VLM 在 DRIVE 平臺(tái)上的部署。通過利用強(qiáng)大的 NVIDIA TensorRT 推理引擎以及 LLM 特定優(yōu)化技術(shù)，如量化，先進(jìn)的 LLM 和 VLM 可以在 DRIVE 平臺(tái)上輕松的部署，并取得此 SDK 為在生產(chǎn)環(huán)境中部署強(qiáng)大的 LLM 奠定了基礎(chǔ)，最終提高了 AI 驅(qū)動(dòng)的應(yīng)用的性能。

對(duì)于 NVIDIA 來說，通過軟硬件結(jié)合的方式來持續(xù)推進(jìn)并引領(lǐng)最新的技術(shù)進(jìn)展，一直是 NVIDIA 面向汽車行業(yè)進(jìn)行技術(shù)賦能的核心邏輯——由此，面對(duì)大語言模型快速上車的大趨勢，DRIVE 平臺(tái)更好地支持 LLM 的部署，成為這一邏輯落地的關(guān)鍵一環(huán)。

從長遠(yuǎn)的視角來看，伴隨著智能駕駛和智能座艙在大模型時(shí)代的不斷演進(jìn)，二者之間也正在呈現(xiàn)出相互融合和相互賦能的發(fā)展態(tài)勢，這將會(huì)使得汽車終端在持續(xù)擁抱大算力的同時(shí)，也將會(huì)越來越意識(shí)到相應(yīng)的軟件適配能力的重要性。

由此，更加緊密和深層次的軟硬結(jié)合，已經(jīng)成為 AI 在車端進(jìn)一步落地的必由之路。