生成式 AI 為 PC 和工作站帶來(lái)了全新功能,包括游戲助手、增強(qiáng)的內(nèi)容創(chuàng)作和生產(chǎn)力工具等。
現(xiàn)已推出的 NVIDIA NIM 微服務(wù)和即將推出的 AI Blueprints 可加速 AI 開發(fā)和提升其可用性。NVIDIA NIM 于 1 月在 CES 上推出,提供針對(duì) NVIDIA RTX 平臺(tái)優(yōu)化的預(yù)打包先進(jìn) AI 模型,包括 NVIDIA GeForce RTX 50 系列及全新 NVIDIA Blackwell RTX PRO GPU。微服務(wù)易于下載及運(yùn)行。微服務(wù)涵蓋了頂級(jí) PC 開發(fā)模態(tài),并與頂級(jí)生態(tài)系統(tǒng)應(yīng)用和工具兼容。
在計(jì)算領(lǐng)域的關(guān)鍵時(shí)刻,突破性的 AI 模型和全球開發(fā)者社區(qū)正在推動(dòng) AI 賦能工具和工作流的爆炸式增長(zhǎng),NIM 微服務(wù)和 AI Blueprint 正助力為 PC 帶來(lái)關(guān)鍵創(chuàng)新。
NIM 助您馬上出發(fā)
盡管 AI 的創(chuàng)新速度驚人,但 PC 開發(fā)者社區(qū)仍然很難上手這項(xiàng)技術(shù)。
將 AI 模型從研究引入 PC 需要模型變體管護(hù)、輸入輸出數(shù)據(jù)的自適應(yīng)管理和量化以優(yōu)化資源的使用。此外,模型必須轉(zhuǎn)化為與優(yōu)化的推理后端軟件配合使用,并連接到全新的 AI 應(yīng)用編程接口(API)。這需要付出巨大的努力,可能會(huì)減緩 AI 的普及。
NVIDIA NIM 微服務(wù)通過提供預(yù)打包、經(jīng)優(yōu)化,易于下載且連接到行業(yè)標(biāo)準(zhǔn) API 的 AI 模型,幫助解決了這一問題。它們針對(duì) RTX AI PC 和工作站上的性能進(jìn)行了優(yōu)化,并包含了來(lái)自社區(qū)的頂級(jí) AI 模型以及 NVIDIA 開發(fā)的模型。
NIM 微服務(wù)支持各種 AI 應(yīng)用,包括大語(yǔ)言模型(LLMs)、視覺語(yǔ)言模型、圖像生成、語(yǔ)音處理、基于檢索增強(qiáng)生成(RAG)的搜索、PDF 提取和計(jì)算機(jī)視覺。提供十種面向 RTX 的 NIM 微服務(wù),支持各種應(yīng)用,包括語(yǔ)言和圖像生成、計(jì)算機(jī)視覺、語(yǔ)音 AI 等。
立即訪問https://www.nvidia.cn/ai/開始使用以下 NIM:
語(yǔ)言和推理:Deepseek-R1-distill-llama-8B、Mistral-nemo-12B-instruct 和 Llama3.1-8B-instruct
圖像生成:Flux.dev
音頻:Riva Parakeet-ctc-0.6B-asr 和 Maxine Studio Voice
RAG:Llama-3.2-NV-EmbedQA-1B-v2
計(jì)算機(jī)視覺和理解:NV-CLIP、PaddleOCR 和 Yolo-X-v1
NIM 微服務(wù)還可以通過頂級(jí) AI 生態(tài)系統(tǒng)工具和框架提供。
對(duì)于 AI 發(fā)燒友,AnythingLLM 和 ChatRTX 現(xiàn)在支持NIM,可以通過簡(jiǎn)單、友好的用戶界面輕松與 LLM 和 AI 智能體聊天。借助這些工具,用戶可以創(chuàng)建個(gè)性化 AI 助手并集成自己的文檔和數(shù)據(jù),幫助自動(dòng)化任務(wù)并提高生產(chǎn)力。
對(duì)于希望構(gòu)建、測(cè)試和集成 AI 到其應(yīng)用中的開發(fā)者,F(xiàn)lowiseAI 和 Langflow 現(xiàn)在支持 NIM,并提供帶有視覺界面的低代碼和無(wú)代碼解決方案,以最低限度的編程專業(yè)知識(shí)設(shè)計(jì) AI 工作流。即將推出對(duì) ComfyUI 的支持。借助這些工具,開發(fā)者可以輕松創(chuàng)建復(fù)雜的 AI 應(yīng)用,如聊天機(jī)器人、圖像生成器和數(shù)據(jù)分析系統(tǒng)。
此外,Microsoft VS Code AI Toolkit、CrewAI 和 Langchain 現(xiàn)在支持 NIM,并提供將微服務(wù)集成到應(yīng)用代碼中的高級(jí)功能,有助于確保無(wú)縫集成和優(yōu)化。
NVIDIA AI Blueprint,提供預(yù)構(gòu)建工作流
NVIDIA AI Blueprint 為 AI 開發(fā)者提供了借助 NVIDIA NIM 微服務(wù)構(gòu)建生成式 AI 工作流的先機(jī)。
Blueprint(藍(lán)圖)是即用、可拓展的參考樣本,可以打包所有必要元素(源代碼、示例數(shù)據(jù)、文檔和演示應(yīng)用),以創(chuàng)建和自定義本地運(yùn)行的高級(jí) AI 工作流。開發(fā)者可以修改和拓展 AI Blueprint,以調(diào)整其行為、使用不同的模型或?qū)崿F(xiàn)全新的功能。
PDF 轉(zhuǎn)播客 AI Blueprint可以將文檔轉(zhuǎn)換為音頻內(nèi)容,以便用戶可以隨時(shí)隨地學(xué)習(xí)。通過從 PDF 中提取文本、圖像和表格,工作流利用 AI 生成信息豐富的播客。為了更深入地探討主題,用戶可以與由 AI 賦能的播客主持人進(jìn)行互動(dòng)式討論。
借助適用于 Linux 的 Windows 子系統(tǒng),在 RTX 上運(yùn)行 NVIDIA NIM 和 AI Blueprint
使 NIM 微服務(wù)能夠在 PC 上運(yùn)行,關(guān)鍵技術(shù)之一是適用于 Linux 的 Windows 子系統(tǒng)(WSL)。
微軟和 NVIDIA 合作 為 WSL 引入了 CUDA 和 RTX 加速,使在 Windows 上運(yùn)行優(yōu)化的、容器化的微服務(wù)成為可能。從 PC 和工作站到數(shù)據(jù)中心和云計(jì)算,這使得相同的 NIM 微服務(wù)可以隨時(shí)隨地運(yùn)行。
構(gòu)建、創(chuàng)造、創(chuàng)新
用于 RTX 的 NVIDIA NIM 微服務(wù) 和 AI Blueprint 現(xiàn)已在www.nvidia.cn/ai/提供,為開發(fā)者和 AI 發(fā)燒友構(gòu)建 AI 應(yīng)用提供功能強(qiáng)大、隨時(shí)可用的工具。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5494瀏覽量
109016 -
AI
+關(guān)注
關(guān)注
89文章
38003瀏覽量
295937 -
微服務(wù)
+關(guān)注
關(guān)注
0文章
147瀏覽量
8043
原文標(biāo)題:NVIDIA NIM 微服務(wù)現(xiàn)已推出,可簡(jiǎn)化 RTX AI PC 和工作站上的智能體工作流
文章出處:【微信號(hào):NVIDIA_China,微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
NVIDIA推出全新BlueField-4 DPU
NVIDIA技術(shù)助力企業(yè)創(chuàng)建主權(quán)AI智能體
企業(yè)使用NVIDIA NeMo微服務(wù)構(gòu)建AI智能體平臺(tái)
使用NVIDIA RTX PRO Blackwell系列GPU加速AI開發(fā)
Oracle 與 NVIDIA 合作助力企業(yè)加速代理式 AI 推理

NVIDIA NIM微服務(wù)現(xiàn)已推出
評(píng)論