過(guò)去幾年，AI 推理的部署已經(jīng)從單一模型、單一 Pod 演變?yōu)閺?fù)雜的多組件系統(tǒng)。如今，一個(gè)模型部署可能包含多個(gè)不同的組件——預(yù)填充 (prefill)、解碼 (decode)、視覺(jué)編碼器 (vision encoders)、鍵值 (KV) 路由器等。此外，完整的代理式管道正在興起，其中多個(gè)模型實(shí)例協(xié)同工作，執(zhí)行推理、檢索或多模態(tài)任務(wù)。

這種轉(zhuǎn)變將實(shí)例擴(kuò)展和編排的問(wèn)題從“運(yùn)行 N 個(gè) Pod 副本”轉(zhuǎn)變?yōu)椤皩⒁徽麄€(gè)組件協(xié)調(diào)為一個(gè)邏輯系統(tǒng)”。管理此類系統(tǒng)需要同步擴(kuò)展和調(diào)度合適的 Pod，了解每個(gè)組件不同的配置和資源需求，按特定的順序啟動(dòng)，并根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)將它們部署在集群中。最終目標(biāo)是編排整個(gè)系統(tǒng)，并基于組件在整個(gè)系統(tǒng)的依賴關(guān)系進(jìn)行擴(kuò)展，而不是一次擴(kuò)展一個(gè) Pod。

為了應(yīng)對(duì)這些挑戰(zhàn)，我們宣布推出NVIDIA Grove，一個(gè)在 Kubernetes 集群上運(yùn)行現(xiàn)代機(jī)器學(xué)習(xí)推理工作負(fù)載的 Kubernetes API。Grove 現(xiàn)已作為模塊化組件集成至NVIDIA Dynamo，它完全開源，可在ai-dynamo/groveGitHub 庫(kù)使用。

NVIDIA Grove如何整體性編排推理負(fù)載

Grove 能夠?qū)⒍喙?jié)點(diǎn)推理部署從單個(gè)副本擴(kuò)展到數(shù)據(jù)中心規(guī)模，支持?jǐn)?shù)萬(wàn)個(gè) GPU。Grove 可將 Kubernetes 中的整個(gè)推理服務(wù)系統(tǒng)（例如預(yù)填充、解碼、路由或任何其他組件）描述為單個(gè)自定義資源 (Custom Resource, CR)。

根據(jù)該單一配置文件，平臺(tái)可協(xié)調(diào)層級(jí)化調(diào)度、拓?fù)涓兄姆胖?、多?jí)自動(dòng)擴(kuò)縮容以及明確的啟動(dòng)順序。您可以精準(zhǔn)控制系統(tǒng)的行為方式，而無(wú)需將腳本、YAML 文件或自定義控制器拼接在一起。

Grove 最初是為了解決多節(jié)點(diǎn) PD 分離推理系統(tǒng)的編排問(wèn)題而開發(fā)的，它具有足夠的靈活性，可以自然地映射到任何現(xiàn)實(shí)世界的推理架構(gòu)，從傳統(tǒng)的單節(jié)點(diǎn)聚合推理到具有多個(gè)模型的代理式管道。Grove 使開發(fā)者能夠以簡(jiǎn)潔、聲明式且與框架無(wú)關(guān)的方式定義復(fù)雜的 AI 堆棧。

多節(jié)點(diǎn)PD分離服務(wù)的前提條件詳情如下。

多級(jí)自動(dòng)擴(kuò)縮容以應(yīng)對(duì)相互依賴的組件

現(xiàn)代推理系統(tǒng)需要在多個(gè)層面上進(jìn)行自動(dòng)擴(kuò)縮容：?jiǎn)蝹€(gè)組件（應(yīng)對(duì)流量高峰的預(yù)填充工作節(jié)點(diǎn)）、相關(guān)組件組（預(yù)填充主節(jié)點(diǎn)及其工作節(jié)點(diǎn)）以及用于擴(kuò)展整體容量的整體服務(wù)副本。這些層級(jí)相互依賴：擴(kuò)展預(yù)填充工作節(jié)點(diǎn)可能需要更多的解碼能力，而新的服務(wù)副本需要合理的組件比例。傳統(tǒng)的 Pod 級(jí)自動(dòng)擴(kuò)縮容無(wú)法處理這些相互依賴關(guān)系。

覆蓋恢復(fù)與滾動(dòng)更新的系統(tǒng)級(jí)生命周期管理

恢復(fù)和更新必須以完整的服務(wù)實(shí)例為操作對(duì)象，而非單個(gè)Kubernetes Pod。當(dāng)預(yù)填充工作節(jié)點(diǎn)發(fā)生故障并重啟后，需要正確地重新連接到其主節(jié)點(diǎn)，而滾動(dòng)更新必須保持網(wǎng)絡(luò)拓?fù)鋪?lái)維持低延遲。平臺(tái)必須將多組件系統(tǒng)視為單一操作單元，同時(shí)優(yōu)化其性能和可用性。

靈活的層級(jí)化組調(diào)度

AI 工作負(fù)載調(diào)度器應(yīng)支持靈活的組調(diào)度機(jī)制，突破傳統(tǒng)的全有或全無(wú)的放置方式。PD 分離服務(wù)帶來(lái)了新的挑戰(zhàn)：推理系統(tǒng)需要保證關(guān)鍵組件組合（例如至少一個(gè)預(yù)填充和一個(gè)解碼工作節(jié)點(diǎn)），同時(shí)允許每種組件類型獨(dú)立擴(kuò)展。挑戰(zhàn)在于，預(yù)填充和解碼組件應(yīng)根據(jù)工作負(fù)載模式按照不同的比例進(jìn)行擴(kuò)展。傳統(tǒng)的組調(diào)度將所有組件強(qiáng)制綁定到必須同步擴(kuò)展的組中，阻礙了這種獨(dú)立擴(kuò)展。系統(tǒng)需要制定策略，確保強(qiáng)制執(zhí)行最小可行組件組合的同時(shí)，實(shí)現(xiàn)靈活的擴(kuò)展。

拓?fù)涓兄{(diào)度

組件的布局會(huì)影響性能。在如NVIDIA 高性能計(jì)算平臺(tái)這樣的系統(tǒng)上，將相關(guān)的預(yù)填充 Pod 和解碼 Pod 調(diào)度至同一NVIDIA NVLink域內(nèi)，可優(yōu)化 KV 緩存的傳輸延遲。調(diào)度器需要理解物理網(wǎng)絡(luò)拓?fù)?，在將相關(guān)組件就近放置的同時(shí)，通過(guò)分散副本以提高系統(tǒng)的可用性。

角色感知的編排和明確的啟動(dòng)順序

組件具有不同的職責(zé)、配置和啟動(dòng)要求。例如，預(yù)填充和解碼主節(jié)點(diǎn)需要執(zhí)行獨(dú)立的啟動(dòng)邏輯，且工作節(jié)點(diǎn)在主節(jié)點(diǎn)準(zhǔn)備就緒之前無(wú)法啟動(dòng)。為實(shí)現(xiàn)可靠的系統(tǒng)初始化，平臺(tái)需要針對(duì)角色進(jìn)行特定配置和依賴關(guān)系管理。

綜上所述，整體情況可概括為：推理團(tuán)隊(duì)需要一種簡(jiǎn)單且聲明式的方法，來(lái)描述系統(tǒng)的實(shí)際運(yùn)行狀態(tài)（多角色、多節(jié)點(diǎn)、明確的多級(jí)依賴關(guān)系），并使系統(tǒng)能夠根據(jù)該描述進(jìn)行調(diào)度、擴(kuò)展、恢復(fù)和更新。

Grove原語(yǔ)

高性能推理框架使用 Grove 層級(jí)化 API 來(lái)表達(dá)角色特定的邏輯和多級(jí)擴(kuò)展，從而在跨多種集群環(huán)境中實(shí)現(xiàn)一致且優(yōu)化的部署。Grove 通過(guò)在其 Workload API 中使用三種層次化的自定義資源編排多組件 AI 工作負(fù)載，來(lái)實(shí)現(xiàn)這一點(diǎn)。

在圖 1 中，PodClique A 代表前端組件，B 和 C 代表預(yù)填充主節(jié)點(diǎn)和預(yù)填充工作節(jié)點(diǎn)，D 和 E 代表解碼主節(jié)點(diǎn)和解碼工作節(jié)點(diǎn)。

圖 1. NVIDIA Grove 的關(guān)鍵組件包括PodClique、 ScalingGroup和 PodCliqueSet，以及它們?nèi)绾螀f(xié)同工作

PodCliques代表具有特定角色的Kubernetes Pod組，例如預(yù)填充主節(jié)點(diǎn)或工作節(jié)點(diǎn)、解碼主節(jié)點(diǎn)或工作節(jié)點(diǎn)，以及前端服務(wù)，每個(gè)組都有獨(dú)立的配置和擴(kuò)展邏輯。

PodCliqueScalingGroups將必須協(xié)同擴(kuò)展的緊密耦合的 PodCliques 進(jìn)行打包，例如，預(yù)填充主節(jié)點(diǎn)和預(yù)填充工作節(jié)點(diǎn)一起代表一個(gè)模型實(shí)例。

PodCliqueSets定義完整的多組件工作負(fù)載，指定啟動(dòng)順序、擴(kuò)展策略及組調(diào)度約束，以確保所有組件或者一起啟動(dòng)，或者共同失敗。當(dāng)需要擴(kuò)展以增加容量時(shí)，Grove 會(huì)創(chuàng)建整個(gè) PodGangSet 的完整副本，并定義分布約束，將這些副本分布在集群中以實(shí)現(xiàn)高可用性，同時(shí)保持每個(gè)副本的組件在網(wǎng)絡(luò)拓?fù)渖暇o密封裝，以優(yōu)化性能。

圖 2. Grove 工作流

支持 Grove 的 Kubernetes 集群將整合兩個(gè)關(guān)鍵組件：Grove 操作器和能夠識(shí)別 PodGang 資源的調(diào)度器，例如KAI Scheduler，這是NVIDIA Run:ai 平臺(tái)的一個(gè)開源子組件。

當(dāng)創(chuàng)建 PodCliqueSet 資源時(shí)，Grove operator 會(huì)驗(yàn)證配置清單，并自動(dòng)生成實(shí)現(xiàn)所需的底層 Kubernetes 對(duì)象。這包括組成的 PodCliques、PodCliqueScalingGroups，以及相關(guān)的 Pod、服務(wù) (Services)、密鑰 (Secrets) 和自動(dòng)擴(kuò)縮容策略。在此過(guò)程中，Grove 還會(huì)創(chuàng)建 PodGang 資源，這是 Scheduler API 的一部分，將工作負(fù)載定義轉(zhuǎn)換為集群調(diào)度器的具體調(diào)度約束。

每個(gè) PodGang 封裝了其工作負(fù)載的詳細(xì)要求，包括最低副本保證、優(yōu)化組件間帶寬的網(wǎng)絡(luò)拓?fù)淦?，以及保持可用性的擴(kuò)散約束。這些共同確保了拓?fù)涓兄姆胖煤图褐匈Y源的高效利用。

Scheduler 持續(xù)監(jiān)測(cè) PodGang 資源，并應(yīng)用組調(diào)度邏輯，確保所有必要組件在資源可用前共同調(diào)度或暫緩調(diào)度。調(diào)度決策基于GPU 拓?fù)涓兄图壕植啃詢?yōu)化生成。

最終結(jié)果是多組件 AI 系統(tǒng)的協(xié)調(diào)部署，其中預(yù)填充服務(wù)、解碼工作節(jié)點(diǎn)和路由組件按正確順序啟動(dòng)，緊密放置在網(wǎng)絡(luò)拓?fù)渖弦蕴岣咝阅?，并作為一個(gè)整體共同自愈。這防止了資源碎片化，避免了部分部署，并能夠大規(guī)模穩(wěn)定高效地運(yùn)行復(fù)雜的模型服務(wù)管道。

如何使用Dynamo快速上手Grove

本節(jié)將分享如何使用 Dynamo 和 Grove 通過(guò) KV 路由部署組件部署 PD 分離服務(wù)架構(gòu)。該設(shè)置使用Qwen3 0.6B模型，并演示了 Grove 通過(guò)獨(dú)立的預(yù)填充和解碼工作節(jié)點(diǎn)管理分布式推理工作負(fù)載的能力。

注意：這是一個(gè)基礎(chǔ)示例，旨在幫助您理解核心概念。有關(guān)更復(fù)雜的部署，請(qǐng)參考ai-dynamo/groveGitHub 庫(kù)。

先決條件

首先，確保您的 Kubernetes 集群中準(zhǔn)備好以下組件：

支持 GPU 的 Kubernetes 集群

已配置 kubectl 以訪問(wèn)您的集群

安裝 Helm CLI

Hugging Face token密鑰（稱為hf-token-secret），可以使用以下命令創(chuàng)建：

kubectl create secret generic hf-token-secret \
--from-literal=HF_TOKEN=

注意：在代碼中，將 替換為您實(shí)際的 Hugging Face token。確保此 token 安全，切勿將其提交給源代碼管理。

步驟1：創(chuàng)建命名空間

kubectl create namespace vllm-v1-disagg-router

步驟2：使用Grove安裝Dynamo CRD和Dynamo Operator

# 1. Set environment

export NAMESPACE=vllm-v1-disagg-router
export RELEASE_VERSION=0.5.1

# 2. Install CRDs

helm fetchhttps://helm.ngc.nvidia.com/nvidia/ai-dynamo/charts/dynamo-crds-${RELEASE_VERSION}.tgz
helm install dynamo-crds dynamo-crds-${RELEASE_VERSION}.tgz --namespace default
# 3. Install Dynamo Operator + Grove
helm fetchhttps://helm.ngc.nvidia.com/nvidia/ai-dynamo/charts/dynamo-platform-${RELEASE_VERSION}.tgz
helm install dynamo-platform dynamo-platform-${RELEASE_VERSION}.tgz --namespace ${NAMESPACE} --create-namespace --set "grove.enabled=true"

步驟3：驗(yàn)證Grove安裝

kubectl get crd | grep grove

預(yù)期輸出：

podcliques.grove.io
podcliquescalinggroups.grove.io
podcliquesets.grove.io
podgangs.scheduler.grove.io
podgangsets.grove.io

步驟4：創(chuàng)建DynamoGraphDeployment配置

創(chuàng)建一個(gè)DynamoGraphDeployment清單，定義PD分離服務(wù)架構(gòu)，包含一個(gè)前端、兩個(gè)解碼工作節(jié)點(diǎn)和一個(gè)預(yù)填充工作節(jié)點(diǎn)：

apiVersion: nvidia.com/v1alpha1
kind: DynamoGraphDeployment
metadata:
name: dynamo-grove
spec:
services:
Frontend:
dynamoNamespace: vllm-v1-disagg-router
componentType: frontend
replicas: 1
extraPodSpec:
mainContainer:
image: nvcr.io/nvidia/ai-dynamo/vllm-runtime:0.5.1
envs:
- name: DYN_ROUTER_MODE
value: kv
VllmDecodeWorker:
dynamoNamespace: vllm-v1-disagg-router
envFromSecret: hf-token-secret
componentType: worker
replicas: 2
resources:
limits:
gpu: "1"
extraPodSpec:
mainContainer:
image: nvcr.io/nvidia/ai-dynamo/vllm-runtime:0.5.1
workingDir: /workspace/components/backends/vllm
command:
- python3
- -m
- dynamo.vllm
args:
- --model
- Qwen/Qwen3-0.6B
VllmPrefillWorker:
dynamoNamespace: vllm-v1-disagg-router
envFromSecret: hf-token-secret
componentType: worker
replicas: 1
resources:
limits:
gpu: "1"
extraPodSpec:
mainContainer:
image: nvcr.io/nvidia/ai-dynamo/vllm-runtime:0.5.1
workingDir: /workspace/components/backends/vllm
command:
- python3
- -m
- dynamo.vllm
args:
- --model
- Qwen/Qwen3-0.6B
- --is-prefill-worker

步驟5：部署配置

kubectl apply -f dynamo-grove.yaml

步驟6：驗(yàn)證部署

驗(yàn)證operator和Grove Pod已創(chuàng)建：

kubectl get pods -n ${NAMESPACE}

預(yù)期輸出：

NAME READY STATUS RESTARTS AGE
dynamo-grove-0-frontend-w2xxl 1/1 Running 0 10m
dynamo-grove-0-vllmdecodeworker-57ghl 1/1 Running 0 10m
dynamo-grove-0-vllmdecodeworker-drgv4 1/1 Running 0 10m
dynamo-grove-0-vllmprefillworker-27hhn 1/1 Running 0 10m
dynamo-platform-dynamo-operator-controller-manager-7774744kckrr 2/2 Running 0 10m
dynamo-platform-etcd-0 1/1 Running 0 10m
dynamo-platform-nats-0 2/2 Running 0 10m

步驟7：測(cè)試部署

首先，端口轉(zhuǎn)發(fā)前端：

kubectl port-forward svc/dynamo-grove-frontend 8000:8000 -n ${NAMESPACE}

然后測(cè)試端點(diǎn)：

curlhttp://localhost:8000/v1/models

或者可以檢查PodClique資源，以查看Grove如何將Pod分組在一起，包括副本計(jì)數(shù)：

kubectl get podclique dynamo-grove-0-vllmdecodeworker -n vllm-v1-disagg-router -o yaml

準(zhǔn)備好了解更多了嗎？

NVIDIA Grove完全開源，可在ai-dynamo/groveGitHub 庫(kù)中獲取。我們邀請(qǐng)您在自己的 Kubernetes 環(huán)境中使用Dynamo的獨(dú)立組件 Grove，或與高性能 AI 推理引擎一起使用。

探索Grove 部署指南并在GitHub或Discord中提問(wèn)。要了解 Grove 的實(shí)際應(yīng)用，請(qǐng)?jiān)L問(wèn)亞特蘭大KubeCon 2025 上的 NVIDIA 展位。我們歡迎社區(qū)提供貢獻(xiàn)、拉取請(qǐng)求并反饋意見(jiàn)。

致謝

感謝所有參與NVIDIA Grove項(xiàng)目開發(fā)的開源開發(fā)者、測(cè)試人員和社區(qū)成員的寶貴貢獻(xiàn)，特別感謝SAP (Madhav Bhargava、Saketh Kalaga、Frank Heine)的杰出貢獻(xiàn)和支持。開源因協(xié)作而蓬勃發(fā)展——感謝您成為Grove的一員。