如果說(shuō) AI 正處于改變歷史的“iPhone 時(shí)刻”，那么聊天機(jī)器人就是其首批熱門(mén)應(yīng)用之一。

聊天機(jī)器人的誕生離不開(kāi)大語(yǔ)言模型，這是一種基于大規(guī)模數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練的深度學(xué)習(xí)算法，能夠識(shí)別、總結(jié)、翻譯、預(yù)測(cè)和生成文本及其他形式的內(nèi)容。這類(lèi)模型可以在由 NVIDIA GeForce 和 RTX GPU 提供支持的 PC 和工作站上本地運(yùn)行。

大語(yǔ)言模型擅長(zhǎng)總結(jié)大量文本，通過(guò)數(shù)據(jù)分類(lèi)和挖掘來(lái)獲取見(jiàn)解，以及按照用戶(hù)指定的風(fēng)格、語(yǔ)氣或形式生成新文本。它們可以促進(jìn)以各種語(yǔ)言進(jìn)行的交流，甚至包括人類(lèi)語(yǔ)言之外的非常規(guī)“語(yǔ)言”，例如計(jì)算機(jī)代碼或蛋白質(zhì)和基因序列。

首代大語(yǔ)言模型只能處理文本，但后續(xù)迭代針對(duì)其他類(lèi)型的數(shù)據(jù)進(jìn)行了訓(xùn)練。這些多模態(tài)大語(yǔ)言模型可以識(shí)別和生成圖像、音頻、視頻和其他內(nèi)容形式。

像 ChatGPT 這樣的聊天機(jī)器人是首批將大語(yǔ)言模型帶給消費(fèi)者的技術(shù)應(yīng)用之一，它們提供了人們熟悉的界面，可以用自然語(yǔ)言提示詞對(duì)話(huà)并作出回復(fù)。此后，大語(yǔ)言模型用于幫助開(kāi)發(fā)者編寫(xiě)代碼，以及協(xié)助科學(xué)家推進(jìn)藥物研發(fā)和疫苗研制。

然而，很多 AI 模型對(duì)算力的需求也不容小覷。將各類(lèi)先進(jìn)優(yōu)化技術(shù)和算法（例如量化）與專(zhuān)為 AI 打造的 RTX GPU 結(jié)合，可為大語(yǔ)言模型“剪枝”，以使其可運(yùn)行于 PC 本地，而無(wú)需連接互聯(lián)網(wǎng)。Mistral（為 Chat with RTX 提供支持的大語(yǔ)言模型之一）等新型輕量化大語(yǔ)言模型的異軍突起，降低了對(duì)算力和存儲(chǔ)空間的需求。

為何說(shuō)大語(yǔ)言模型很重要？

大語(yǔ)言模型的適用性很寬，可用于各個(gè)行業(yè)和工作流。借助這種多功能性及其本身的高速性能，大語(yǔ)言模型能夠?yàn)閹缀跛谢谡Z(yǔ)言的任務(wù)帶來(lái)性能和效率提升。

運(yùn)行在云端 NVIDIA GPU 上的 DeepL

通過(guò) AI 提供精準(zhǔn)的翻譯服務(wù)。

由于通過(guò) AI 和機(jī)器學(xué)習(xí)來(lái)確保輸出的準(zhǔn)確性，因此像 DeepL 這樣的大語(yǔ)言模型被廣泛應(yīng)用于語(yǔ)言翻譯。

醫(yī)學(xué)研究人員正在使用教科書(shū)和其他醫(yī)學(xué)數(shù)據(jù)訓(xùn)練大語(yǔ)言模型，以期改善患者護(hù)理。零售商正在利用由大語(yǔ)言模型賦能的聊天機(jī)器人，為用戶(hù)提供出色的客戶(hù)支持體驗(yàn)。金融分析師正在利用大語(yǔ)言模型記錄財(cái)報(bào)電話(huà)會(huì)議及其他重要會(huì)議，并總結(jié)會(huì)議內(nèi)容。而這些只是大語(yǔ)言模型應(yīng)用方式的冰山一角。

Chat with RTX 等聊天機(jī)器人和基于大語(yǔ)言模型構(gòu)建的寫(xiě)作助手正在知識(shí)型工作的方方面面留下自己的身影，無(wú)論是內(nèi)容營(yíng)銷(xiāo)、文案寫(xiě)作還是法律相關(guān)的任務(wù)。編碼助手是大語(yǔ)言模型首批支持的應(yīng)用之一，預(yù)示著由 AI 輔助開(kāi)發(fā)軟件的未來(lái)。目前，ChatDev 為代表的項(xiàng)目，就是將大語(yǔ)言模型和 AI 智能體（可自主幫助回答問(wèn)題或執(zhí)行任務(wù)的智能機(jī)器人）結(jié)合起來(lái)，構(gòu)建了由 AI 驅(qū)動(dòng)的，可按需提供服務(wù)的虛擬軟件公司。用戶(hù)只需告訴系統(tǒng)需要何種應(yīng)用，就可以看著系統(tǒng)開(kāi)展工作了。

如同日常對(duì)話(huà)一般輕松

許多人第一次接觸生成式 AI 是通過(guò) ChatGPT 等聊天機(jī)器人，這類(lèi)機(jī)器人通過(guò)自然語(yǔ)言簡(jiǎn)化了大語(yǔ)言模型的使用方式，用戶(hù)只需告訴模型需要做什么即可。

由大語(yǔ)言模型提供支持的聊天機(jī)器人可以幫助起草營(yíng)銷(xiāo)文案，提供度假建議，撰寫(xiě)客戶(hù)服務(wù)郵件，甚至創(chuàng)作原創(chuàng)詩(shī)歌。

大語(yǔ)言模型在圖像生成和多模態(tài)方面取得的進(jìn)步，擴(kuò)展了聊天機(jī)器人的應(yīng)用領(lǐng)域，增加了分析和生成圖像的功能，同時(shí)保留了簡(jiǎn)單易用的用戶(hù)體驗(yàn)。用戶(hù)只需向機(jī)器人描述圖像或上傳照片并要求系統(tǒng)對(duì)其進(jìn)行分析即可。除了聊天之外，還可以利用圖像做視覺(jué)輔助。

未來(lái)的技術(shù)進(jìn)步將幫助大語(yǔ)言模型擴(kuò)展在邏輯、推理、數(shù)學(xué)等方面的能力，賦予它們復(fù)雜的請(qǐng)求分解為更小子任務(wù)的能力。

AI 智能體方面也取得了進(jìn)展，這類(lèi)應(yīng)用能夠接受復(fù)雜提示詞，將其分解為更小的提示詞，并自主與大語(yǔ)言模型和其他 AI 系統(tǒng)合作，以便完成提示詞交代的任務(wù)。ChatDev 是一種典型 AI 智能體，并不意味著智能體的僅能用于技術(shù)型任務(wù)。

例如，用戶(hù)可以要求個(gè)人 AI 旅行智能體為全家預(yù)訂出國(guó)度假游。該智能體可以將該任務(wù)分解為多個(gè)子任務(wù)，包括行程規(guī)劃、預(yù)訂旅游項(xiàng)目和住宿、創(chuàng)建裝箱單、尋找遛狗服務(wù)人員，然后按順序逐一獨(dú)立執(zhí)行。

借助 RAG 解鎖個(gè)人數(shù)據(jù)

雖然大語(yǔ)言模型和聊天機(jī)器人在通用場(chǎng)景下已經(jīng)非常強(qiáng)大，但如果能與個(gè)人用戶(hù)的數(shù)據(jù)結(jié)合使用，它們將變得更加實(shí)用。通過(guò)這種方式，它們可以幫助分析電子郵件以發(fā)現(xiàn)各種趨勢(shì)，梳理內(nèi)容繁復(fù)的用戶(hù)手冊(cè)以找到某個(gè)技術(shù)問(wèn)題的解答，或綜合和分析多年累積的銀行和信用卡對(duì)賬單。

將特定數(shù)據(jù)集與大語(yǔ)言模型掛接，檢索增強(qiáng)生成（RAG）是最簡(jiǎn)單有效的方法之一。

PC 上的 RAG 示例。

RAG 可利用從外部來(lái)源獲取的事實(shí)資料來(lái)提高生成式 AI 模型的準(zhǔn)確性和可靠性。通過(guò)將大語(yǔ)言模型與幾乎任意外部資源連接，用戶(hù)可通過(guò) RAG 與數(shù)據(jù)倉(cāng)庫(kù)“對(duì)話(huà)”，同時(shí)大語(yǔ)言模型也能借助 RAG 直接引用來(lái)源。用戶(hù)體驗(yàn)相當(dāng)簡(jiǎn)便，只需為聊天機(jī)器人指明文件或目錄即可。

例如，在內(nèi)容策略最佳實(shí)踐、營(yíng)銷(xiāo)手段以及對(duì)特定行業(yè)或客戶(hù)群體的基本見(jiàn)解等方面，標(biāo)準(zhǔn)的大語(yǔ)言模型具備相關(guān)常識(shí)。然而，如果通過(guò) RAG 將其與用于產(chǎn)品發(fā)布的營(yíng)銷(xiāo)素材連接起來(lái)，大語(yǔ)言模型將能夠分析內(nèi)容并幫助規(guī)劃量身定制的策略。

RAG 適用于任何大語(yǔ)言模型，只要應(yīng)用本身支持 RAG 即可。NVIDIA Chat with RTX 是通過(guò) RAG 將大語(yǔ)言模型連接到個(gè)人數(shù)據(jù)集的一個(gè)演示示例。它可本地運(yùn)行于配備了 GeForce RTX GPU 或 NVIDIA RTX 專(zhuān)業(yè) GPU 的系統(tǒng)上。

體驗(yàn) Chat with RTX 的速度與私密性

Chat With RTX 是一款能在本地運(yùn)行的個(gè)性化聊天機(jī)器人演示應(yīng)用，不僅易于使用，還可免費(fèi)下載。它基于 RAG 構(gòu)建，且支持 TensorRT-LLM 和 RTX 加速 Chat With RTX 支持多個(gè)開(kāi)源大語(yǔ)言模型，包括 Llama 2 和 Mistral。對(duì) Google 的 Gemma 模型的支持將在后續(xù)更新中提供。

Chat with RTX 可通過(guò) RAG

將用戶(hù)與其個(gè)人數(shù)據(jù)連接起來(lái)。

用戶(hù)只需將文件放入一個(gè)文件夾，并為 Chat With RTX 指明該文件夾的位置，即可輕松將 PC 上的本地文件連接到受支持的大語(yǔ)言模型。之后，Chat With RTX 便可快速回答各類(lèi)查詢(xún)，給出相關(guān)的回復(fù)。

Chat with RTX 運(yùn)行在 GeForce RTX PC 和 NVIDIA RTX 工作站的 Windows 系統(tǒng)上，因此其速度很快，同時(shí)用戶(hù)的數(shù)據(jù)保存在本地。Chat with RTX 并不依賴(lài)基于云的服務(wù)，用戶(hù)可以在本地 PC 上處理敏感數(shù)據(jù)，因此無(wú)需與第三方共享數(shù)據(jù)或連接互聯(lián)網(wǎng)。

審核編輯：劉清