生成式 AI 為 PC 和工作站帶來(lái)了全新功能,包括游戲助手、增強(qiáng)的內(nèi)容創(chuàng)作和生產(chǎn)力工具等。
現(xiàn)已推出的 NVIDIA NIM 微服務(wù)和即將推出的 AI Blueprints 可加速 AI 開發(fā)和提升其可用性。NVIDIA NIM 于 1 月在 CES 上推出,提供針對(duì) NVIDIA RTX 平臺(tái)優(yōu)化的預(yù)打包先進(jìn) AI 模型,包括 NVIDIA GeForce RTX 50 系列及全新 NVIDIA Blackwell RTX PRO GPU。微服務(wù)易于下載及運(yùn)行。微服務(wù)涵蓋了頂級(jí) PC 開發(fā)模態(tài),并與頂級(jí)生態(tài)系統(tǒng)應(yīng)用和工具兼容。
在計(jì)算領(lǐng)域的關(guān)鍵時(shí)刻,突破性的 AI 模型和全球開發(fā)者社區(qū)正在推動(dòng) AI 賦能工具和工作流的爆炸式增長(zhǎng),NIM 微服務(wù)和 AI Blueprint 正助力為 PC 帶來(lái)關(guān)鍵創(chuàng)新。
NIM 助您馬上出發(fā)
盡管 AI 的創(chuàng)新速度驚人,但 PC 開發(fā)者社區(qū)仍然很難上手這項(xiàng)技術(shù)。
將 AI 模型從研究引入 PC 需要模型變體管護(hù)、輸入輸出數(shù)據(jù)的自適應(yīng)管理和量化以優(yōu)化資源的使用。此外,模型必須轉(zhuǎn)化為與優(yōu)化的推理后端軟件配合使用,并連接到全新的 AI 應(yīng)用編程接口(API)。這需要付出巨大的努力,可能會(huì)減緩 AI 的普及。
NVIDIA NIM 微服務(wù)通過(guò)提供預(yù)打包、經(jīng)優(yōu)化,易于下載且連接到行業(yè)標(biāo)準(zhǔn) API 的 AI 模型,幫助解決了這一問題。它們針對(duì) RTX AI PC 和工作站上的性能進(jìn)行了優(yōu)化,并包含了來(lái)自社區(qū)的頂級(jí) AI 模型以及 NVIDIA 開發(fā)的模型。
NIM 微服務(wù)支持各種 AI 應(yīng)用,包括大語(yǔ)言模型(LLMs)、視覺語(yǔ)言模型、圖像生成、語(yǔ)音處理、基于檢索增強(qiáng)生成(RAG)的搜索、PDF 提取和計(jì)算機(jī)視覺。提供十種面向 RTX 的 NIM 微服務(wù),支持各種應(yīng)用,包括語(yǔ)言和圖像生成、計(jì)算機(jī)視覺、語(yǔ)音 AI 等。
立即訪問https://www.nvidia.cn/ai/開始使用以下 NIM:
語(yǔ)言和推理:Deepseek-R1-distill-llama-8B、Mistral-nemo-12B-instruct 和 Llama3.1-8B-instruct
圖像生成:Flux.dev
音頻:Riva Parakeet-ctc-0.6B-asr 和 Maxine Studio Voice
RAG:Llama-3.2-NV-EmbedQA-1B-v2
計(jì)算機(jī)視覺和理解:NV-CLIP、PaddleOCR 和 Yolo-X-v1
NIM 微服務(wù)還可以通過(guò)頂級(jí) AI 生態(tài)系統(tǒng)工具和框架提供。
對(duì)于 AI 發(fā)燒友,AnythingLLM 和 ChatRTX 現(xiàn)在支持NIM,可以通過(guò)簡(jiǎn)單、友好的用戶界面輕松與 LLM 和 AI 智能體聊天。借助這些工具,用戶可以創(chuàng)建個(gè)性化 AI 助手并集成自己的文檔和數(shù)據(jù),幫助自動(dòng)化任務(wù)并提高生產(chǎn)力。
對(duì)于希望構(gòu)建、測(cè)試和集成 AI 到其應(yīng)用中的開發(fā)者,F(xiàn)lowiseAI 和 Langflow 現(xiàn)在支持 NIM,并提供帶有視覺界面的低代碼和無(wú)代碼解決方案,以最低限度的編程專業(yè)知識(shí)設(shè)計(jì) AI 工作流。即將推出對(duì) ComfyUI 的支持。借助這些工具,開發(fā)者可以輕松創(chuàng)建復(fù)雜的 AI 應(yīng)用,如聊天機(jī)器人、圖像生成器和數(shù)據(jù)分析系統(tǒng)。
此外,Microsoft VS Code AI Toolkit、CrewAI 和 Langchain 現(xiàn)在支持 NIM,并提供將微服務(wù)集成到應(yīng)用代碼中的高級(jí)功能,有助于確保無(wú)縫集成和優(yōu)化。
NVIDIA AI Blueprint,提供預(yù)構(gòu)建工作流
NVIDIA AI Blueprint 為 AI 開發(fā)者提供了借助 NVIDIA NIM 微服務(wù)構(gòu)建生成式 AI 工作流的先機(jī)。
Blueprint(藍(lán)圖)是即用、可拓展的參考樣本,可以打包所有必要元素(源代碼、示例數(shù)據(jù)、文檔和演示應(yīng)用),以創(chuàng)建和自定義本地運(yùn)行的高級(jí) AI 工作流。開發(fā)者可以修改和拓展 AI Blueprint,以調(diào)整其行為、使用不同的模型或?qū)崿F(xiàn)全新的功能。
PDF 轉(zhuǎn)播客 AI Blueprint可以將文檔轉(zhuǎn)換為音頻內(nèi)容,以便用戶可以隨時(shí)隨地學(xué)習(xí)。通過(guò)從 PDF 中提取文本、圖像和表格,工作流利用 AI 生成信息豐富的播客。為了更深入地探討主題,用戶可以與由 AI 賦能的播客主持人進(jìn)行互動(dòng)式討論。
借助適用于 Linux 的 Windows 子系統(tǒng),在 RTX 上運(yùn)行 NVIDIA NIM 和 AI Blueprint
使 NIM 微服務(wù)能夠在 PC 上運(yùn)行,關(guān)鍵技術(shù)之一是適用于 Linux 的 Windows 子系統(tǒng)(WSL)。
微軟和 NVIDIA 合作 為 WSL 引入了 CUDA 和 RTX 加速,使在 Windows 上運(yùn)行優(yōu)化的、容器化的微服務(wù)成為可能。從 PC 和工作站到數(shù)據(jù)中心和云計(jì)算,這使得相同的 NIM 微服務(wù)可以隨時(shí)隨地運(yùn)行。
構(gòu)建、創(chuàng)造、創(chuàng)新
用于 RTX 的 NVIDIA NIM 微服務(wù) 和 AI Blueprint 現(xiàn)已在www.nvidia.cn/ai/提供,為開發(fā)者和 AI 發(fā)燒友構(gòu)建 AI 應(yīng)用提供功能強(qiáng)大、隨時(shí)可用的工具。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5309瀏覽量
106448 -
AI
+關(guān)注
關(guān)注
88文章
35168瀏覽量
280106 -
微服務(wù)
+關(guān)注
關(guān)注
0文章
145瀏覽量
7746
原文標(biāo)題:NVIDIA NIM 微服務(wù)現(xiàn)已推出,可簡(jiǎn)化 RTX AI PC 和工作站上的智能體工作流
文章出處:【微信號(hào):NVIDIA_China,微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
NVIDIA發(fā)布全新NIM AI Guardrail微服務(wù)
NVIDIA NeMo Guardrails引入三項(xiàng)全新NIM微服務(wù)
NVIDIA 發(fā)布保障代理式 AI 應(yīng)用安全的 NIM 微服務(wù)
NVIDIA NIM微服務(wù)登陸亞馬遜云科技
全新NVIDIA NIM微服務(wù)實(shí)現(xiàn)突破性進(jìn)展
NVIDIA助力企業(yè)創(chuàng)建定制AI應(yīng)用
日本企業(yè)借助NVIDIA產(chǎn)品加速AI創(chuàng)新
NVIDIA 攜手全球合作伙伴推出 NIM Agent Blueprints,助力企業(yè)打造屬于自己的 AI

NVIDIA NIM微服務(wù)帶來(lái)巨大優(yōu)勢(shì)
借助NVIDIA NIM微服務(wù)助力可口可樂公司擴(kuò)展生成式AI內(nèi)容
全新NVIDIA NIM微服務(wù)將生成式AI引入數(shù)字環(huán)境
采用OpenUSD和NVIDIA NIM微服務(wù)創(chuàng)建精準(zhǔn)品牌視覺
全新 NVIDIA NeMo Retriever微服務(wù)大幅提升LLM的準(zhǔn)確性和吞吐量

評(píng)論