NIM 推理微服務將部署時間從幾周縮短至幾分鐘

NIM 微服務提供基于 NVIDIA 推理軟件的預構建容器，包括 Triton 推理服務器 和 TensorRT-LLM，使開發(fā)者能夠將部署時間從幾周縮短至幾分鐘。

它們?yōu)檎Z言、語音和藥物發(fā)現(xiàn)等領域提供行業(yè)標準 API，使開發(fā)者能夠使用安全托管在自己的基礎設施中的專有數(shù)據(jù)，來快速構建 AI 應用。這些應用可按需擴展，從而為在 NVIDIA 加速計算平臺上運行生產級生成式 AI 提供靈活性和性能。

面向 RAG、數(shù)據(jù)處理、護欄、HPC 的 CUDA-X 微服務

CUDA-X 微服務為數(shù)據(jù)準備、定制和訓練提供端到端的構建模塊，助力各行各業(yè)加快開發(fā)生產級 AI。

為了加快 AI 采用，企業(yè)可以使用 CUDA-X 微服務，包括用于定制語音和翻譯 AI 的 NVIDIA Riva、用于路由優(yōu)化的 NVIDIA cuOpt，以及用于高分辨率氣候和天氣模擬的 NVIDIA Earth-2。

生態(tài)系統(tǒng)通過生成式 AI 微服務賦能企業(yè)平臺

除了領先的應用提供商外，NVIDIA 生態(tài)系統(tǒng)中的數(shù)據(jù)、基礎設施和計算平臺提供商也在使用 NVIDIA 微服務，為企業(yè)帶來生成式 AI。

包括 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp 在內的頂級數(shù)據(jù)平臺提供商正在使用 NVIDIA 微服務，幫助客戶優(yōu)化 RAG 管道，并將專有數(shù)據(jù)集成到生成式 AI 應用中。Snowflake 正在使用 NeMo Retriever，充分利用企業(yè)數(shù)據(jù)來構建 AI 應用。

可用性

開發(fā)者可以在 ai.nvidia.com 免費試用 NVIDIA 微服務。企業(yè)則可以在 NVIDIA 認證系統(tǒng)和領先的云平臺上使用 NVIDIA AI Enterprise 5.0 部署生產級 NIM 微服務。

審核編輯：劉清