在生成式 AI 時代，機器不僅要從數(shù)據(jù)中學習，還要生成類似人類一樣的文本、圖像、視頻等。檢索增強生成（RAG）則是可以實現(xiàn)的一種突破性方法。

RAG 工作流程基于大語言模型（LLM）而構建，這些 LLM 可以理解查詢并生成響應。但是，LLM 存在局限性，包括訓練的復雜性和缺乏當前（有時是專有）信息。此外，當未根據(jù)特定數(shù)據(jù)進行訓練就回答提示詞時，它們往往會產生幻覺并合成事實錯誤的信息。RAG 通過向 LLM 提供企業(yè)特定信息來增強查詢，從而幫助克服這些限制。

數(shù)據(jù)中心作為新的計算單元，隨著網(wǎng)絡服務對 CPU 壓力的增加，現(xiàn)代工作負載對網(wǎng)絡基礎設施提出了新的挑戰(zhàn)。網(wǎng)絡基礎設施需要具備敏捷性、自動化和可編程性的框架，并配備加速器和卸載功能，這些是充分發(fā)揮 AI 技術潛力和推動創(chuàng)新的關鍵。

在本文中，我們討論了 RAG 如何助力企業(yè)為各種企業(yè)用例創(chuàng)建高質量、相關且引人入勝的內容。我們深入探討了通過擴展 RAG 來處理大量數(shù)據(jù)和用戶所面臨的技術挑戰(zhàn)，以及如何使用由 NVIDIA GPU 計算、加速以太網(wǎng)網(wǎng)絡、網(wǎng)絡存儲和 AI 軟件提供支持的可擴展架構來應對這些挑戰(zhàn)。

RAG 使企業(yè)能夠充分利用數(shù)據(jù)

典型的 RAG 工作流程使用向量數(shù)據(jù)庫，向量數(shù)據(jù)庫是一類專為執(zhí)行相似性搜索而定制的數(shù)據(jù)管理系統(tǒng)，用于存儲和檢索與查詢相關的企業(yè)特定信息。

通過將 RAG 集成到其信息系統(tǒng)中，企業(yè)可以利用大量內部和外部數(shù)據(jù)來生成具有洞察力的全新上下文相關內容。這種融合是一次重大飛躍，使企業(yè)能夠利用其數(shù)據(jù)和領域專業(yè)知識，為個性化客戶互動開辟新途徑，簡化內容的創(chuàng)建，并提高知識用例的效率。

然而，在企業(yè)規(guī)模部署 RAG 也面臨著一系列挑戰(zhàn)，包括管理數(shù)百個數(shù)據(jù)集和數(shù)千名用戶的復雜性。這就需要一種分布式架構，其能夠滿足有效應對此類大規(guī)模操作的處理和存儲需求。

要擴展此架構，您必須嵌入、向量化和索引數(shù)百萬個文檔、圖像、音頻文件和視頻，同時還適應每天新創(chuàng)建內容的嵌入。

另一個挑戰(zhàn)是確保交互式多模態(tài)應用程序的低延遲響應。由于需要集成數(shù)據(jù)企業(yè)應用程序以及結構化和非結構化數(shù)據(jù)存儲，因此需要實時處理和響應，而在大規(guī)模實現(xiàn)方面可能具有挑戰(zhàn)。

生成式 AI 的數(shù)據(jù)索引和存儲也構成了挑戰(zhàn)。

雖然傳統(tǒng)企業(yè)應用程序可以壓縮數(shù)據(jù)并將其存儲來進行高效檢索，從而支持索引和語義搜索，但是基于 RAG 的數(shù)據(jù)庫可以擴展到比原始文本文檔及其相關元數(shù)據(jù)大 10 倍以上。這將導致在數(shù)據(jù)增長和存儲方面的重大挑戰(zhàn)。

為了獲得最佳結果，企業(yè)必須投資加速計算、網(wǎng)絡和存儲基礎設施，這對于處理訓練和部署 RAG 模型所需的大量數(shù)據(jù)至關重要。

如何實現(xiàn)可擴展且高效的 RAG 推理

在 GTC 2024 上，NVIDIA 推出了一系列生成式 AI 微服務，為開發(fā)者提供用于創(chuàng)建和部署自定義 AI 應用程序的企業(yè)級構建塊。

企業(yè)可以使用這些微服務作為創(chuàng)建 RAG 驅動的應用程序的基礎。通過將其與 NVIDIA RAG 工作流程示例相結合，您可以加快生成式 AI 應用程序的構建和產品化過程。

在本文中，我們使用多節(jié)點 GPU 計算推理、加速以太網(wǎng)網(wǎng)絡和網(wǎng)絡連接存儲對這些 RAG 工作流程示例進行基準測試。我們的測試結果表明，高性能網(wǎng)絡和網(wǎng)絡連接存儲可實現(xiàn)高效且可擴展的生成式 AI 推理，使企業(yè)能夠開發(fā)由 RAG 驅動的應用程序，在促進連續(xù)數(shù)據(jù)處理的同時，還可擴展到數(shù)千個用戶。

圖 1 顯示了包含兩個階段和數(shù)據(jù)流水線的 RAG 工作流程。

圖 1.RAG 工作流程

在第一階段，數(shù)據(jù)提取將文檔和其他數(shù)據(jù)模式轉換為數(shù)字嵌入，然后在向量數(shù)據(jù)庫中對其進行索引。此過程支持基于相似度分數(shù)來有效檢索相關文檔。

查詢階段從用戶輸入問題時開始，該問題也會被轉換為嵌入并用于在向量數(shù)據(jù)庫中搜索相關內容。檢索相關內容后，會將其傳遞給 LLM 進行進一步處理。原始輸入問題以及增強上下文會提供給 LLM，LLM 會針對用戶的查詢生成更精確的答案。

此工作流程可以有效地檢索和生成信息，使其成為適用于各種企業(yè)應用程序的強大工具。

加速以太網(wǎng)網(wǎng)絡、網(wǎng)絡連接存儲在數(shù)據(jù)提取方面表現(xiàn)出色

我們最初測試了基于單個 GPU 節(jié)點的數(shù)據(jù)提取流水線。圖 2 顯示了使用一臺具有 8 個 A100 GPU 的 DGX 系統(tǒng)和一個專為對象存儲工作負載而設計的網(wǎng)絡連接全閃存存儲平臺來進行測試設置。

圖 2.具有網(wǎng)絡連接存儲的單節(jié)點 NeMo Retriever 微服務

DGX 系統(tǒng)通過 NVIDIA ConnectX-7 網(wǎng)卡連接到網(wǎng)絡，并使用了加速的 NVMe-over-Fabrics（NVMe – oF）和 Amazon S3 對象存儲協(xié)議及兩臺 NVIDIA Spectrum SN3700 交換機。

使用 NeMo Retriever 微服務，我們比較了 PDF 文檔（包括文本和圖像）的嵌入和索引性能。此次比較涉及 DGX 系統(tǒng)中的直接附加存儲（DAS）和網(wǎng)絡連接存儲。

圖 3 顯示了單節(jié)點上的數(shù)據(jù)提取基準測試的結果。結果表明，與使用 DAS 相比，使用 Amazon S3 的網(wǎng)絡連接存儲將數(shù)據(jù)提取速度提高了 36%，將處理時間縮短了 122 秒。這表明網(wǎng)絡連接存儲是數(shù)據(jù)提取的更好選擇，同時還依賴于網(wǎng)絡速度和延遲。

加速以太網(wǎng)網(wǎng)絡對于提供穩(wěn)健、高性能和安全的連接至關重要。除了增強文檔嵌入外，網(wǎng)絡連接存儲還提供各種企業(yè)級數(shù)據(jù)管理功能。

圖 3.單節(jié)點數(shù)據(jù)提取基準測試 (100 萬個向量)

然后，我們使用多節(jié)點 RAG 設置進行測試，該設置使用通過 NVIDIA BlueField-3 DPU 連接的分布式微服務架構（圖 4）。隨著多個節(jié)點并行運行以上傳嵌入、計算索引并插入向量數(shù)據(jù)庫，性能也隨之提升。

圖 4.具有網(wǎng)絡連接存儲的多節(jié)點 NeMo Retriever 微服務

我們比較了每臺服務器中使用直接附加 SSD 與網(wǎng)絡連接存儲的性能。對于服務器內的 SSD，MinIO 充當對象存儲層。對于網(wǎng)絡連接存儲，我們繞過 MinIO，測試了存儲系統(tǒng)自己的原生 Amazon S3 對象接口。

結果表明，多節(jié)點比使用單節(jié)點提供更快的性能，將處理時間縮短了近 102 秒。這些結果證明了多節(jié)點 GPU 加速與企業(yè)級網(wǎng)絡連接存儲相結合的性能優(yōu)勢。

圖 5.多節(jié)點數(shù)據(jù)提取基準測試 (100 萬個向量)

適用于 RAG 驅動型應用程序的網(wǎng)絡連接存儲的優(yōu)勢

網(wǎng)絡連接存儲可以通過網(wǎng)絡訪問塊、文件和對象，而無需直接將存儲介質連接到服務器。

網(wǎng)絡連接存儲不僅為基于 RAG 的應用程序提供了明顯的性能優(yōu)勢，而且還提供了額外的企業(yè)優(yōu)勢，使其成為增強自然語言處理的最佳數(shù)據(jù)平臺。

適用于 RAG 工作流程的網(wǎng)絡連接存儲具有以下優(yōu)勢：

實時流數(shù)據(jù)提?。?/strong>網(wǎng)絡連接存儲支持從各種來源（例如社交媒體、Web、傳感器或物聯(lián)網(wǎng)設備）提取實時流數(shù)據(jù)。RAG 應用程序可以使用這些數(shù)據(jù)生成相關的全新內容。DAS 可能無法處理大量且快速的流數(shù)據(jù)，或者可能需要額外的處理或緩沖來存儲數(shù)據(jù)。