在本次大會(huì)上，來(lái)自整個(gè)生態(tài)系統(tǒng)的專(zhuān)家們將分享有關(guān)在本地部署 AI 的見(jiàn)解。

生成式 AI 正在重新定義計(jì)算，為在 PC 和工作站上構(gòu)建、訓(xùn)練和優(yōu)化 AI 模型解鎖了新途徑。從內(nèi)容創(chuàng)作、大和小語(yǔ)言模型到軟件開(kāi)發(fā)，AI 賦能的 PC 和工作站正在革新工作流并提升工作效率。

在 3 月 17 日至 21 日于圣何塞會(huì)議中心舉行的 GTC 2025 大會(huì)上，泛 AI 生態(tài)的專(zhuān)家將分享有關(guān)在本地部署 AI、優(yōu)化模型以及利用先進(jìn)的硬件和軟件來(lái)增強(qiáng) AI 工作流的見(jiàn)解，并重點(diǎn)介紹 RTX AI PC 和工作站的主要進(jìn)展。

在 RTX 上進(jìn)行開(kāi)發(fā)和部署

RTX GPU 基于專(zhuān)用 AI 硬件 —— Tensor Core 構(gòu)建而成，能夠?yàn)檫\(yùn)行算力要求極為苛刻的最新 AI 模型提供所需的計(jì)算性能。這些高性能 GPU 可以幫助構(gòu)建數(shù)字人、聊天機(jī)器人、AI 生成的播客等。

隨著 GeForce RTX 和 NVIDIA RTX GPU 用戶超過(guò) 1 億，開(kāi)發(fā)者在部署新的 AI 應(yīng)用和功能時(shí)，將能夠面向龐大的受眾群體。在“為 RTX PC 和工作站打造數(shù)字人、聊天機(jī)器人和 AI 生成的播客”會(huì)議中，NVIDIA 高級(jí)產(chǎn)品經(jīng)理 Annamalai Chockalingam 將展示一套端到端工具，供開(kāi)發(fā)者用于簡(jiǎn)化開(kāi)發(fā)并快速部署 AI 應(yīng)用。

模型行為

大語(yǔ)言模型（LLM）的使用場(chǎng)景多種多樣，并可延伸到各種復(fù)雜任務(wù)，如編寫(xiě)代碼或?qū)⑷照Z(yǔ)翻譯為希臘語(yǔ)。但是，由于它們通常在廣泛的應(yīng)用范圍內(nèi)利用豐富的知識(shí)進(jìn)行訓(xùn)練，因此可能不適合執(zhí)行特定任務(wù)，例如在電子游戲中生成非玩家角色對(duì)話。相比之下，小語(yǔ)言模型會(huì)通過(guò)減小模型大小來(lái)滿足更多本地運(yùn)行需求，并保持準(zhǔn)確性。

在“關(guān)注您的語(yǔ)言：構(gòu)建可在設(shè)備上運(yùn)行的小語(yǔ)言模型”會(huì)議中，NVIDIA 高級(jí)工程經(jīng)理 Oluwatobi Olabiyi 將展示一些工具和技術(shù)，以便當(dāng)今的開(kāi)發(fā)者和發(fā)燒友用于生成、整理和提煉數(shù)據(jù)集 — 然后訓(xùn)練可以執(zhí)行目標(biāo)任務(wù)的小語(yǔ)言模型。

在 Windows 工作站上充分發(fā)揮 AI 性能

由于硬件配置和軟件環(huán)境多種多樣，要在基于 Windows 的工作站上優(yōu)化 AI 推理和模型執(zhí)行，需要進(jìn)行戰(zhàn)略性軟硬件調(diào)優(yōu)。在“在 Windows 工作站上優(yōu)化 AI 工作負(fù)載：策略和最佳實(shí)踐”會(huì)議中，將探討 AI 優(yōu)化的最佳實(shí)踐，包括模型量化、推理工作流增強(qiáng)和硬件感知調(diào)優(yōu)。

NVIDIA 軟件工程師團(tuán)隊(duì)還將介紹面向 ONNX Runtime、NVIDIA TensorRT 和 llama.cpp 的硬件感知優(yōu)化，幫助開(kāi)發(fā)者更大限度地提高 GPU、CPU 和 NPU 上的 AI 效率。

推動(dòng)本地 AI 開(kāi)發(fā)

即使未連接到基于云的服務(wù)，在本地基礎(chǔ)設(shè)施上構(gòu)建、測(cè)試和部署 AI 模型也能確保安全性和性能。Z by HP 的 AI 解決方案由 NVIDIA RTX GPU 加速，提供在本地開(kāi)發(fā) AI 所需的工具，同時(shí)保持對(duì)數(shù)據(jù)和 IP 的掌控。

參加以下會(huì)議了解詳情：

Dell Pro Max 和 NVIDIA：開(kāi)啟 AI 開(kāi)發(fā)的未來(lái)[S74220]：本次會(huì)議將介紹搭載 NVIDIA RTX GPU 的 Dell Pro Max PC、高性能筆記本電腦和面向?qū)I(yè)人士的臺(tái)式電腦。了解這兩款功能強(qiáng)大的組合如何幫助快速啟動(dòng) AI 戰(zhàn)略，并轉(zhuǎn)變 AI 開(kāi)發(fā)者、數(shù)據(jù)科學(xué)家、創(chuàng)作者和高級(jí)用戶的創(chuàng)新方式。

借助 Z by HP GenAI Lab 和 AI Studio 開(kāi)發(fā)并評(píng)估本地生成式 AI[S74470]：本次會(huì)議將展示 Z by HP 解決方案如何簡(jiǎn)化本地模型訓(xùn)練和部署，利用 NVIDIA NGC Catalog 中的模型和 Galileo 評(píng)估技術(shù)安全高效地優(yōu)化生成式 AI 項(xiàng)目。

借助 Z by HP GenAI Lab 和 AI Studio 為生成式 AI 開(kāi)發(fā)提供強(qiáng)效助力[S74465]：本次會(huì)議將探討 Z by HP 的 GenAI Lab 和 AI Studio 如何助力本地 LLM 開(kāi)發(fā)，同時(shí)確保全面的數(shù)據(jù)安全性和控制。了解這些工具如何簡(jiǎn)化從實(shí)驗(yàn)到部署的整個(gè) AI 生命周期，同時(shí)集成 NVIDIA NGC Catalog 中提供的模型，以提高協(xié)作和工作流效率。

開(kāi)發(fā)者和發(fā)燒友可以使用 NVIDIA NIM 微服務(wù)在 RTX AI PC 和工作站上著手進(jìn)行 AI 開(kāi)發(fā)。今天推出的首個(gè)公開(kāi)測(cè)試版包括 Llama 3.1 LLM、用于自動(dòng)語(yǔ)音識(shí)別（ASR）的 NVIDIA Riva Parakeet 和用于計(jì)算機(jī)視覺(jué)的 YOLOX。

NIM 微服務(wù)是經(jīng)過(guò)優(yōu)化的預(yù)構(gòu)建模型，適用于生成式 AI。它們涵蓋對(duì) PC 開(kāi)發(fā)至關(guān)重要的模態(tài)，并且易于通過(guò)行業(yè)標(biāo)準(zhǔn) API 下載和連接。