隨著大語(yǔ)言模型（LLM）的功能日益強(qiáng)大，減少其計(jì)算需求的技術(shù)也日趨成熟，由此產(chǎn)生了兩個(gè)引人注目的問(wèn)題：能夠在邊緣運(yùn)行和部署的最先進(jìn)的 LLM 是什么？現(xiàn)實(shí)世界中的應(yīng)用如何才能充分利用這些成果？

即使采用較低的 FP16 精度，運(yùn)行像 Llama 270b 這樣最先進(jìn)的開(kāi)源 LLM，也需要超過(guò) 140 GB 的 GPU 顯存（VRAM）（700 億參數(shù) x 2 字節(jié) = FP16 精度下的 140 GB，還要加上 KV 緩存所增加的顯存需求）。對(duì)于大多數(shù)開(kāi)發(fā)者和較小的公司來(lái)說(shuō)，要獲得這么大的 VRAM 并不容易。此外，無(wú)論是由于成本、帶寬、延遲還是數(shù)據(jù)隱私問(wèn)題，應(yīng)用程序的特定要求可能會(huì)排除使用云計(jì)算資源托管 LLM 這一選項(xiàng)。

NVIDIA IGX Orin 開(kāi)發(fā)者套件和 NVIDIA Holoscan SDK 可應(yīng)對(duì)這些挑戰(zhàn)，將 LLM 的強(qiáng)大功能帶到邊緣。NVIDIA IGX Orin 開(kāi)發(fā)者套件可提供一個(gè)滿(mǎn)足工業(yè)和醫(yī)療環(huán)境需求的工業(yè)級(jí)邊緣 AI 平臺(tái)。內(nèi)置的 NVIDIA Holoscan 是一套能夠協(xié)調(diào)數(shù)據(jù)移動(dòng)、加速計(jì)算、實(shí)時(shí)可視化和 AI 推理的 SDK。

該平臺(tái)讓開(kāi)發(fā)者能夠?qū)㈤_(kāi)源 LLM 添加到邊緣 AI 流式傳輸工作流和產(chǎn)品中，為實(shí)時(shí) AI 傳感器處理帶來(lái)了新的可能性，同時(shí)確保敏感數(shù)據(jù)保持在 IGX 硬件的安全邊界內(nèi)。

適用于實(shí)時(shí)流式傳輸?shù)拈_(kāi)源 LLM

近來(lái)開(kāi)源 LLM 的快速發(fā)展已經(jīng)改變了人們對(duì)實(shí)時(shí)流式傳輸應(yīng)用可能性的看法。之前，人們普遍認(rèn)為，任何需要類(lèi)似人類(lèi)能力的應(yīng)用，都只能由數(shù)據(jù)中心規(guī)模的企業(yè)級(jí) GPU 驅(qū)動(dòng)的閉源 LLM 實(shí)現(xiàn)。但由于近期新型開(kāi)源 LLM 的性能暴漲，F(xiàn)alcon、MPT、Llama 2 等模型現(xiàn)在已經(jīng)可以替代閉源黑盒 LLM。

有許多可能的應(yīng)用可以利用這些邊緣的開(kāi)源模型，其中大多都涉及到將流式傳輸傳感器數(shù)據(jù)提煉為自然語(yǔ)言摘要。可能出現(xiàn)的應(yīng)用有：讓家屬隨時(shí)了解手術(shù)進(jìn)展的手術(shù)實(shí)時(shí)監(jiān)控視頻、為空中交通管制員匯總最近的雷達(dá)交流情況，以及將足球比賽的實(shí)況解說(shuō)轉(zhuǎn)換成另一種語(yǔ)言。

隨著強(qiáng)大開(kāi)源 LLM 的出現(xiàn)，一個(gè)致力于提高這些模型準(zhǔn)確性，并減少運(yùn)行模型所需計(jì)算量的社群應(yīng)運(yùn)而生。這個(gè)充滿(mǎn)活力的社群活躍在“Hugging Face 開(kāi)放式 LLM 排行榜”上，該排行榜經(jīng)常會(huì)更新最新的頂尖性能模型。

豐富的邊緣 AI 功能

NVIDIA IGX Orin 平臺(tái)在利用激增的可用開(kāi)源 LLM 和支持軟件方面具有得天獨(dú)厚的優(yōu)勢(shì)。

強(qiáng)大的 Llama 2 模型有 NVIDIA IGX Orin 平臺(tái)安全措施的加持，并可以無(wú)縫集成到低延遲的 Holoscan SDK 管道中，因此能夠應(yīng)對(duì)各種問(wèn)題和用例。這一融合不僅標(biāo)志著邊緣 AI 能力的重大進(jìn)步，而且釋放了多個(gè)領(lǐng)域變革性解決方案的潛力。

其中一個(gè)值得關(guān)注的應(yīng)用能夠充分利用新發(fā)布的 Clinical Camel，這是一個(gè)經(jīng)過(guò)微調(diào)的 Llama 2 70B 模型變體，專(zhuān)門(mén)用于醫(yī)學(xué)知識(shí)研究。基于該模型創(chuàng)建本地化的醫(yī)療聊天機(jī)器人，可確保敏感的患者數(shù)據(jù)始終處于 IGX 硬件的安全邊界內(nèi)。對(duì)隱私、帶寬或?qū)崟r(shí)反饋要求極高的應(yīng)用程序是 IGX 平臺(tái)真正的亮點(diǎn)所在。

想象一下，輸入患者的病歷，并向機(jī)器人查詢(xún)類(lèi)似病例，獲得有關(guān)難以診斷的患者的新洞察，甚至為醫(yī)療專(zhuān)業(yè)人員篩選出不會(huì)與當(dāng)前處方產(chǎn)生相互作用的藥物——所有這些都可以通過(guò) Holoscan 應(yīng)用實(shí)現(xiàn)自動(dòng)化。該應(yīng)用可將醫(yī)患互動(dòng)的實(shí)時(shí)音頻轉(zhuǎn)換成文本，并將其無(wú)縫地輸入到 Clinical Camel 模型中。

圖 1. Clinical Camel 模型

根據(jù)示例對(duì)話(huà)生成的臨床筆記

NVIDIA IGX 平臺(tái)憑借對(duì)低延遲傳感器輸入數(shù)據(jù)的出色優(yōu)化，將 LLM 的功能擴(kuò)展到純文本應(yīng)用之外。醫(yī)療聊天機(jī)器人已經(jīng)足以展現(xiàn)出它的強(qiáng)大，而 IGX Orin 開(kāi)發(fā)者套件更強(qiáng)大的地方在于，它能夠無(wú)縫集成來(lái)自各種傳感器的實(shí)時(shí)數(shù)據(jù)。

IGX Orin 專(zhuān)為邊緣環(huán)境打造，可以處理來(lái)自攝像頭、激光雷達(dá)傳感器、無(wú)線(xiàn)電天線(xiàn)、加速度計(jì)、超聲探頭等的流信息。這一通用性使各種先進(jìn)的應(yīng)用能夠無(wú)縫地將 LLM 的強(qiáng)大功能與實(shí)時(shí)數(shù)據(jù)流融合。

在集成到 Holoscan 操作系統(tǒng)后，這些 LLM 可顯著增強(qiáng) AI 傳感器處理管道的能力和功能。具體示例如下：

多模態(tài)醫(yī)療助手：增強(qiáng) LLM 的能力，使其不僅能夠解釋文本，還能解釋醫(yī)學(xué)影像，如 Med-Flamingo 等項(xiàng)目所驗(yàn)證的那樣，它能解釋核磁共振、X 射線(xiàn)和組織學(xué)影像。

圖 2. LLM 可解釋文本

并從醫(yī)學(xué)影像中獲得相關(guān)洞察

信號(hào)情報(bào)（SIGINT）：從通信系統(tǒng)和雷達(dá)捕獲的實(shí)時(shí)電子信號(hào)中獲得自然語(yǔ)言摘要，提供銜接技術(shù)數(shù)據(jù)與人類(lèi)理解的深入洞察。

手術(shù)病例記錄生成：將內(nèi)窺鏡視頻、音頻、系統(tǒng)數(shù)據(jù)和患者記錄傳輸?shù)蕉嗄B(tài) LLM 中，生成綜合全面的手術(shù)病例，并自動(dòng)上傳到患者的電子病歷中。

智慧農(nóng)業(yè)：使用土壤傳感器監(jiān)測(cè) pH 值、濕度和營(yíng)養(yǎng)水平，使 LLM 能夠?yàn)閮?yōu)化種植、灌溉和病蟲(chóng)害防治策略提供可操作的深入洞察。

用于教育、故障診斷或提高生產(chǎn)力的軟件開(kāi)發(fā)助手是 LLM 的另一個(gè)新穎用例。這些模型可以幫助開(kāi)發(fā)者開(kāi)發(fā)更高效的代碼和詳盡的文檔。

Holoscan 團(tuán)隊(duì)最近發(fā)布了 HoloChat，這個(gè) AI 驅(qū)動(dòng)的聊天機(jī)器人在 Holoscan 的開(kāi)發(fā)過(guò)程中充當(dāng)開(kāi)發(fā)者的“助手”。它能對(duì)有關(guān) Holoscan 和編寫(xiě)代碼的問(wèn)題做出類(lèi)似人類(lèi)的回答。詳情請(qǐng)?jiān)L問(wèn)GitHub上的nvidia-holoscan/holohub：https://github.com/nvidia-holoscan/holohub/tree/main/applications/holochat_local

HoloChat 的本地托管模式旨在為開(kāi)發(fā)者提供與常見(jiàn)的閉源聊天機(jī)器人相同的優(yōu)勢(shì)，同時(shí)杜絕了將數(shù)據(jù)發(fā)送到第三方遠(yuǎn)程服務(wù)器處理所帶來(lái)的隱私和安全問(wèn)題。

通過(guò)模型量化

實(shí)現(xiàn)最佳精度與內(nèi)存使用

隨著大量開(kāi)源模型通過(guò) Apache 2、MIT 和商業(yè)許可發(fā)布，任何人都可以下載并使用這些模型權(quán)重。但對(duì)絕大多數(shù)開(kāi)發(fā)者來(lái)說(shuō)，“可以”并不意味著“可行”。

模型量化提供了一種解決方案。通過(guò)用低精度數(shù)據(jù)類(lèi)型（int8 和 int4）來(lái)表示權(quán)重和激活值，而不是高精度數(shù)據(jù)類(lèi)型（FP16 和 FP32），模型量化減少了運(yùn)行推理的計(jì)算和內(nèi)存成本。

然而，從模型中移除這一精度確實(shí)會(huì)導(dǎo)致模型的準(zhǔn)確性下降。但研究表明，在內(nèi)存預(yù)算既定的情況下，當(dāng)參數(shù)以 4 位精度存儲(chǔ)時(shí)，使用盡可能大且與內(nèi)存匹配的模型才能實(shí)現(xiàn)最佳的 LLM 性能。更多詳情，參見(jiàn) 4 位精度案例：k 位推理縮放法則：https://arxiv.org/abs/2212.09720

因此，Llama 2 70B 模型在以 4 位量化實(shí)施時(shí)，達(dá)到了精度和內(nèi)存使用之間的最佳平衡，將所需的 RAM 降低至 35 GB 左右。對(duì)于規(guī)模較小的開(kāi)發(fā)團(tuán)隊(duì)甚至個(gè)人來(lái)說(shuō)，這一內(nèi)存需求是可以達(dá)到的。

開(kāi)源 LLM 打開(kāi)新的開(kāi)發(fā)機(jī)遇

由于能夠在商用硬件上運(yùn)行最先進(jìn)的 LLM，開(kāi)源社區(qū)中出現(xiàn)了大量支持本地運(yùn)行的新程序庫(kù)，并提供能夠擴(kuò)展這些模型功能的工具，而不僅僅是預(yù)測(cè)句子的下一個(gè)單詞。

您可以通過(guò) Llama.cpp、ExLlama 和 AutoGPTQ 等程序庫(kù)量化自己的模型，并在本地 GPU 上快速運(yùn)行推理。不過(guò)，是否量化模型完全取決于您自己的選擇，因?yàn)?HuggingFace.co/models 中有大量量化模型可供使用。這在很大程度上要?dú)w功于像 /TheBloke 這樣的超級(jí)用戶(hù)，他們每天都會(huì)上傳新的量化模型。

這些模型本身就帶來(lái)了令人興奮的開(kāi)發(fā)機(jī)會(huì)，更不用說(shuō)還能使用大量新建程序庫(kù)中的附加工具來(lái)對(duì)其進(jìn)行擴(kuò)展，使它們更加強(qiáng)大。例如：

• LangChain：一個(gè)在 GitHub 上獲得 58,000 顆星評(píng)分的程序庫(kù)，提供從實(shí)現(xiàn)文檔問(wèn)答功能的矢量數(shù)據(jù)庫(kù)集成，到使 LLM 能夠?yàn)g覽網(wǎng)頁(yè)的多步驟代理框架等所有功能。

• Haystack：支持可擴(kuò)展的語(yǔ)義搜索。

• Magentic：可將 LLM 輕松集成到您的 Python 代碼中。

• Oobabooga：一個(gè)用于在本地運(yùn)行量化 LLM 的網(wǎng)絡(luò)用戶(hù)界面。

只要您有 LLM 用例，就可以使用一個(gè)開(kāi)源庫(kù)來(lái)提供您所需的大部分功能。

開(kāi)始在邊緣部署 LLM

使用 NVIDIA IGX Orin 開(kāi)發(fā)者套件在邊緣部署最先進(jìn)的 LLM，可以解鎖尚未被挖掘的開(kāi)發(fā)機(jī)會(huì)。如要開(kāi)始部署，請(qǐng)先查看"使用 IGX Orin 在邊緣部署 Llama 2 70B 模型"綜合教程，其詳細(xì)介紹了在 IGX Orin 上創(chuàng)建簡(jiǎn)單聊天機(jī)器人應(yīng)用：https://github.com/nvidia-holoscan/holohub/tree/main/tutorials/local-llama

該教程演示了如何在 IGX Orin 上無(wú)縫集成 Llama 2，并指導(dǎo)您使用 Gradio 開(kāi)發(fā) Python 應(yīng)用。這是使用本文中提到的任何優(yōu)質(zhì) LLM 庫(kù)的第一步。IGX Orin 提供的彈性、非凡性能和端到端的安全性，使開(kāi)發(fā)者能夠圍繞在邊緣運(yùn)行的先進(jìn) LLM，構(gòu)建創(chuàng)新的 Holoscan 優(yōu)化應(yīng)用。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國(guó)加州圣何塞會(huì)議中心舉行，線(xiàn)上大會(huì)也將同期開(kāi)放。點(diǎn)擊“閱讀原文”或掃描下方海報(bào)二維碼，立即注冊(cè) GTC 大會(huì)。