Canonical、Nutanix 和 Red Hat 等廠商的開源 Kubernetes 平臺集成了 NVIDIA NIM，將允許用戶通過 API 調(diào)用來大規(guī)模地部署大語言模型。

在企業(yè)中部署生成式 AI 將變得空前簡單。

NVIDIA NIM是一套生成式 AI 推理微服務(wù)，將支持 KServe 開源軟件，可以自動將 AI 模型以云計算應(yīng)用的規(guī)模運行。

NVIDIA NIM 與 KServe 的組合確保了生成式 AI 可以像任何其他大型企業(yè)級應(yīng)用一樣進行部署，還讓用戶能夠通過 Canonical、Nutanix 和 Red Hat 等數(shù)十家公司的平臺廣泛使用 NIM。

NIM 在 KServe 上的集成將使 NVIDIA 的技術(shù)擴展到開源社區(qū)、生態(tài)系統(tǒng)合作伙伴和客戶。借助 NIM，他們可以通過 API 調(diào)用（即現(xiàn)代編程的一鍵式操作）來獲得NVIDIA AI Enterprise軟件平臺的性能、支持和安全性。

在 Kubernetes 上提供 AI

KServe 最初是基于 Kubernetes 的機器學(xué)習(xí)工具包 Kubeflow 的一部分。Kubernete 是一個開源系統(tǒng)，用于部署和管理包含大型分布式應(yīng)用組件的軟件容器。

隨著 Kubeflow 在 AI 推理方面的不斷擴展，KServe 誕生了，并最終演變成為獨立的開源項目。

許多公司都為 KServe 軟件做出了貢獻(xiàn)并采用了該軟件。目前，運行 KServe 軟件的公司包括亞馬遜云科技、彭博、Canonical、思科、慧與、IBM、Red Hat、Zillow 和 NVIDIA 等。

深入解析 KServe

KServe 本質(zhì)上是 Kubernetes 的擴展，它像一個強大的云應(yīng)用一樣運行 AI 推理。它使用標(biāo)準(zhǔn)協(xié)議，以經(jīng)過優(yōu)化的性能運行，并支持 PyTorch、Scikit-learn、TensorFlow 和 XGBoost，而用戶無需了解這些 AI 框架的細(xì)節(jié)。

在新的大語言模型（LLM）層出不窮的情況下，該軟件尤其有用。

KServe 讓用戶可以輕松地在模型之間來回切換，測試哪一個最符合他們的需求。當(dāng)模型的新版本發(fā)布時，KServe 的 “金絲雀發(fā)布（canary rollouts）” 功能會自動執(zhí)行詳細(xì)驗證，并逐步將其部署到生產(chǎn)系統(tǒng)中。

其另一項功能 “GPU 自動縮放” 可以隨著服務(wù)需求的起伏來高效地管理模型的部署方式，從而使客戶和服務(wù)提供商獲得最佳體驗。

生成式 AI 的 API 調(diào)用

KServe 的優(yōu)勢現(xiàn)在將通過 NVIDIA NIM 的便捷性提供。

使用 NIM ，只需一個簡單的 API 調(diào)用即可應(yīng)對所有的復(fù)雜性。企業(yè) IT 管理員能夠獲得確保應(yīng)用以最佳性能和效率運行所需的指標(biāo)，無論應(yīng)用是在他們的數(shù)據(jù)中心還是在遠(yuǎn)程云服務(wù)上，即使是在更改了 AI 模型的情況下。

NIM 讓 IT 專家成為生成式 AI 專家，變革了公司的運營。這就是為什么 Foxconn 和 ServiceNow 等眾多企業(yè)都正在部署 NIM 微服務(wù)的原因。

NIM 支持?jǐn)?shù)十個 Kubernetes 平臺

由于 NIM 與 KServe 的集成，用戶將能夠在數(shù)十個企業(yè)平臺上訪問 NIM，比如 Canonical 的 Charmed KubeFlow 和 Charmed Kubernetes、Nutanix GPT-in-a-Box 2.0、Red Hat 的 OpenShift AI 等等。

KServe 貢獻(xiàn)者、Red Hat 首席軟件工程師 Yuan Tang 表示：“Red Hat 一直在與 NVIDIA 合作，以便讓企業(yè)更輕松地使用開源技術(shù)來部署 AI。通過增強 KServe 并在 Red Hat OpenShift AI 中增加對 NIM 的支持，我們能夠讓 Red Hat 的客戶更方便地訪問 NVIDIA 的生成式 AI 平臺?！?/p>

“通過將 NVIDIA NIM 推理微服務(wù)與 Nutanix GPT-in-a-Box 2.0 集成，客戶將能夠從云端到邊緣以一致的方式去構(gòu)建可擴展、安全、高性能的生成式 AI 應(yīng)用?！?Nutanix 工程副總裁 Debojyoti Dutta 表示，其團隊為 KServe 和 Kubeflow 做出了貢獻(xiàn)。

Canonical 的 MLOps 產(chǎn)品經(jīng)理 Andreea Munteanu 表示：“作為一家對 KServe 做出重大貢獻(xiàn)的公司，我們很高興通過 Charmed Kubernetes 和 Charmed Kubeflow 提供 NIM。在我們的共同努力下，用戶將能夠輕松地使用生成式 AI 的全部功能，并使其保持最高的性能和效率?！?/p>

數(shù)十家其他軟件提供商都能感受到 NIM 的好處，因為他們的產(chǎn)品中也包含了 KServe。

服務(wù)開源社區(qū)

NVIDIA 一直積極地參與 KServe 項目。正如最近的一篇技術(shù)博客中所提到的，KServe 的開放推理協(xié)議已經(jīng)被用于NVIDIA Triton 推理服務(wù)器，可以幫助用戶跨多個 GPU、框架和操作模式同時運行許多 AI 模型。

基于 KServe，NVIDIA 專注于在多個 GPU 上一次運行一個 AI 模型的用例。

作為 NIM 集成的一部分，NVIDIA 計劃在其開源軟件（包括 Triton 和TensorRT-LLM）的基礎(chǔ)上，成為 KServe 的積極貢獻(xiàn)者。NVIDIA 還是云原生計算基金會（CNCF）的活躍成員，該基金會支持生成式 AI 和其他項目的開源代碼。

立即通過 NVIDIA API 目錄試用 Llama 3 8B 或 Llama 3 70B 大語言模型的 NIM API。全球數(shù)百家 NVIDIA 合作伙伴也正在使用 NIM 來部署生成式 AI。