如果說 AI 正處于改變歷史的“iPhone 時刻”，那么聊天機器人就是其首批熱門應(yīng)用之一。

聊天機器人的誕生離不開大語言模型，這是一種基于大規(guī)模數(shù)據(jù)集進行預(yù)訓練的深度學習算法，能夠識別、總結(jié)、翻譯、預(yù)測和生成文本及其他形式的內(nèi)容。這類模型可以在由 NVIDIA GeForce 和 RTX GPU 提供支持的 PC 和工作站上本地運行。

大語言模型擅長總結(jié)大量文本，通過數(shù)據(jù)分類和挖掘來獲取見解，以及按照用戶指定的風格、語氣或形式生成新文本。它們可以促進以各種語言進行的交流，甚至包括人類語言之外的非常規(guī)“語言”，例如計算機代碼或蛋白質(zhì)和基因序列。

首代大語言模型只能處理文本，但后續(xù)迭代針對其他類型的數(shù)據(jù)進行了訓練。這些多模態(tài)大語言模型可以識別和生成圖像、音頻、視頻和其他內(nèi)容形式。

像 ChatGPT 這樣的聊天機器人是首批將大語言模型帶給消費者的技術(shù)應(yīng)用之一，它們提供了人們熟悉的界面，可以用自然語言提示詞對話并作出回復(fù)。此后，大語言模型用于幫助開發(fā)者編寫代碼，以及協(xié)助科學家推進藥物研發(fā)和疫苗研制。

然而，很多 AI 模型對算力的需求也不容小覷。將各類先進優(yōu)化技術(shù)和算法（例如量化）與專為 AI 打造的 RTX GPU 結(jié)合，可為大語言模型“剪枝”，以使其可運行于 PC 本地，而無需連接互聯(lián)網(wǎng)。Mistral（為 Chat with RTX 提供支持的大語言模型之一）等新型輕量化大語言模型的異軍突起，降低了對算力和存儲空間的需求。

為何說大語言模型很重要？

大語言模型的適用性很寬，可用于各個行業(yè)和工作流。借助這種多功能性及其本身的高速性能，大語言模型能夠為幾乎所有基于語言的任務(wù)帶來性能和效率提升。

運行在云端 NVIDIA GPU 上的 DeepL

通過 AI 提供精準的翻譯服務(wù)。

由于通過 AI 和機器學習來確保輸出的準確性，因此像 DeepL 這樣的大語言模型被廣泛應(yīng)用于語言翻譯。

醫(yī)學研究人員正在使用教科書和其他醫(yī)學數(shù)據(jù)訓練大語言模型，以期改善患者護理。零售商正在利用由大語言模型賦能的聊天機器人，為用戶提供出色的客戶支持體驗。金融分析師正在利用大語言模型記錄財報電話會議及其他重要會議，并總結(jié)會議內(nèi)容。而這些只是大語言模型應(yīng)用方式的冰山一角。

Chat with RTX 等聊天機器人和基于大語言模型構(gòu)建的寫作助手正在知識型工作的方方面面留下自己的身影，無論是內(nèi)容營銷、文案寫作還是法律相關(guān)的任務(wù)。編碼助手是大語言模型首批支持的應(yīng)用之一，預(yù)示著由 AI 輔助開發(fā)軟件的未來。目前，ChatDev 為代表的項目，就是將大語言模型和 AI 智能體（可自主幫助回答問題或執(zhí)行任務(wù)的智能機器人）結(jié)合起來，構(gòu)建了由 AI 驅(qū)動的，可按需提供服務(wù)的虛擬軟件公司。用戶只需告訴系統(tǒng)需要何種應(yīng)用，就可以看著系統(tǒng)開展工作了。

如同日常對話一般輕松

許多人第一次接觸生成式 AI 是通過 ChatGPT 等聊天機器人，這類機器人通過自然語言簡化了大語言模型的使用方式，用戶只需告訴模型需要做什么即可。

由大語言模型提供支持的聊天機器人可以幫助起草營銷文案，提供度假建議，撰寫客戶服務(wù)郵件，甚至創(chuàng)作原創(chuàng)詩歌。

大語言模型在圖像生成和多模態(tài)方面取得的進步，擴展了聊天機器人的應(yīng)用領(lǐng)域，增加了分析和生成圖像的功能，同時保留了簡單易用的用戶體驗。用戶只需向機器人描述圖像或上傳照片并要求系統(tǒng)對其進行分析即可。除了聊天之外，還可以利用圖像做視覺輔助。

未來的技術(shù)進步將幫助大語言模型擴展在邏輯、推理、數(shù)學等方面的能力，賦予它們復(fù)雜的請求分解為更小子任務(wù)的能力。

AI 智能體方面也取得了進展，這類應(yīng)用能夠接受復(fù)雜提示詞，將其分解為更小的提示詞，并自主與大語言模型和其他 AI 系統(tǒng)合作，以便完成提示詞交代的任務(wù)。ChatDev 是一種典型 AI 智能體，并不意味著智能體的僅能用于技術(shù)型任務(wù)。

例如，用戶可以要求個人 AI 旅行智能體為全家預(yù)訂出國度假游。該智能體可以將該任務(wù)分解為多個子任務(wù)，包括行程規(guī)劃、預(yù)訂旅游項目和住宿、創(chuàng)建裝箱單、尋找遛狗服務(wù)人員，然后按順序逐一獨立執(zhí)行。

借助 RAG 解鎖個人數(shù)據(jù)

雖然大語言模型和聊天機器人在通用場景下已經(jīng)非常強大，但如果能與個人用戶的數(shù)據(jù)結(jié)合使用，它們將變得更加實用。通過這種方式，它們可以幫助分析電子郵件以發(fā)現(xiàn)各種趨勢，梳理內(nèi)容繁復(fù)的用戶手冊以找到某個技術(shù)問題的解答，或綜合和分析多年累積的銀行和信用卡對賬單。

將特定數(shù)據(jù)集與大語言模型掛接，檢索增強生成（RAG）是最簡單有效的方法之一。

PC 上的 RAG 示例。

RAG 可利用從外部來源獲取的事實資料來提高生成式 AI 模型的準確性和可靠性。通過將大語言模型與幾乎任意外部資源連接，用戶可通過 RAG 與數(shù)據(jù)倉庫“對話”，同時大語言模型也能借助 RAG 直接引用來源。用戶體驗相當簡便，只需為聊天機器人指明文件或目錄即可。

例如，在內(nèi)容策略最佳實踐、營銷手段以及對特定行業(yè)或客戶群體的基本見解等方面，標準的大語言模型具備相關(guān)常識。然而，如果通過 RAG 將其與用于產(chǎn)品發(fā)布的營銷素材連接起來，大語言模型將能夠分析內(nèi)容并幫助規(guī)劃量身定制的策略。

RAG 適用于任何大語言模型，只要應(yīng)用本身支持 RAG 即可。NVIDIA Chat with RTX 是通過 RAG 將大語言模型連接到個人數(shù)據(jù)集的一個演示示例。它可本地運行于配備了 GeForce RTX GPU 或 NVIDIA RTX 專業(yè) GPU 的系統(tǒng)上。

體驗 Chat with RTX 的速度與私密性

Chat With RTX 是一款能在本地運行的個性化聊天機器人演示應(yīng)用，不僅易于使用，還可免費下載。它基于 RAG 構(gòu)建，且支持 TensorRT-LLM 和 RTX 加速 Chat With RTX 支持多個開源大語言模型，包括 Llama 2 和 Mistral。對 Google 的 Gemma 模型的支持將在后續(xù)更新中提供。

Chat with RTX 可通過 RAG

將用戶與其個人數(shù)據(jù)連接起來。

用戶只需將文件放入一個文件夾，并為 Chat With RTX 指明該文件夾的位置，即可輕松將 PC 上的本地文件連接到受支持的大語言模型。之后，Chat With RTX 便可快速回答各類查詢，給出相關(guān)的回復(fù)。

Chat with RTX 運行在 GeForce RTX PC 和 NVIDIA RTX 工作站的 Windows 系統(tǒng)上，因此其速度很快，同時用戶的數(shù)據(jù)保存在本地。Chat with RTX 并不依賴基于云的服務(wù)，用戶可以在本地 PC 上處理敏感數(shù)據(jù)，因此無需與第三方共享數(shù)據(jù)或連接互聯(lián)網(wǎng)。

審核編輯：劉清