大語言模型主導(dǎo)的生成式 Al 開始滲透到各行各業(yè)，并正在與企業(yè)應(yīng)用結(jié)合，重塑企業(yè)應(yīng)用中人與數(shù)據(jù)的交互方式，幫助企業(yè)釋放生產(chǎn)力價值。例如，在金融行業(yè)，大模型可以幫助銀行更好地分析客戶情況，提供更加精準(zhǔn)的金融服務(wù)；在醫(yī)療診斷領(lǐng)域，大模型通過分析大量的醫(yī)學(xué)數(shù)據(jù)，提高診斷的準(zhǔn)確性和效率。然而，企業(yè)在將大模型與企業(yè)應(yīng)用相融合過程中，還存在著一些挑戰(zhàn)：

01存在" Al 幻覺"問題

大模型訓(xùn)練周期長且輸入 token 存在限制，無法及時地將實時、快速變化的信息數(shù)據(jù)和領(lǐng)域知識內(nèi)置到模型當(dāng)中，大模型存在“答非所問”現(xiàn)象。

02海量數(shù)據(jù)處理性能不足

向量維度逐漸增高，數(shù)據(jù)計算量呈指數(shù)級上升，數(shù)據(jù)處理的實時性要求不斷提高，大模型的數(shù)據(jù)處理能力和性能存在很大挑戰(zhàn)。

03總體擁有成本 (TCO)高

日益增長的數(shù)據(jù)和計算壓力，以及模型二次訓(xùn)練的高成本，給企業(yè)大模型構(gòu)建和運營等帶來了巨大的 TCO 壓力。

大語言模型正迅速地應(yīng)用于各行各業(yè)，改變用戶與企業(yè)產(chǎn)品和服務(wù)之間的交互方式，幫助企業(yè)提高效率、降低成本、優(yōu)化流程。盡管大模型具有巨大的潛力，但其訓(xùn)練、維護和技術(shù)難度要求極高，成本也非常昂貴。通用大模型在應(yīng)用于特定領(lǐng)域時普遍存在回答不精準(zhǔn)，“答非所問”的現(xiàn)象，而專屬大模型又存在訓(xùn)練時間較長，算力需求較高等問題。通過引入向量數(shù)據(jù)庫，實現(xiàn)大模型＋向量數(shù)據(jù)庫的架構(gòu)為企業(yè)解決上述問題提供了有效的解決方案。

星環(huán)科技企業(yè)級云原生分布式向量數(shù)據(jù)庫TranswarpHippo支持存儲、索引以及管理來自深度神經(jīng)網(wǎng)絡(luò)或者各類機器學(xué)習(xí)模型所生成的海量向量數(shù)據(jù)，提供向量相似度檢索、混合檢索等能力，能夠拓展大模型的時間邊界和空間邊界，使得大模型擁有“長期記憶”的同時保護數(shù)據(jù)隱私，幫助企業(yè)用戶解決大模型應(yīng)用時實時性不夠、二次訓(xùn)練周期長成本高、答非所問等問題。

為了更好地幫助企業(yè)應(yīng)對大模型時代海量、多維向量數(shù)據(jù)的高并發(fā)和實時計算等挑戰(zhàn)，星環(huán)科技與英特爾合作，推出了基于第四代英特爾至強可擴展處理器TranswarpHippo分布式向量數(shù)據(jù)庫解決方案，通過軟硬件深度融合，滿足大模型時代海量、高維向量的存儲和計算需求，為用戶構(gòu)建高性能向量數(shù)據(jù)庫系統(tǒng)和大模型應(yīng)用提供了重要依據(jù)和選型方向。

同時，星環(huán)科技作為一家企業(yè)級大數(shù)據(jù)基礎(chǔ)軟件公司，為企業(yè)提供大模型應(yīng)用開發(fā)全周期的技術(shù)和產(chǎn)品，通過TranswarpHippo向量數(shù)據(jù)庫和大模型統(tǒng)一運營管理平臺 Sophon LLMOps 、金融大模型Transwarp Infinity“星環(huán)無涯” 、大數(shù)據(jù)分析大模型 Transwarp Solar “星環(huán)求索”等產(chǎn)品組合，幫助每個企業(yè)更快、更精確地打造真正符合實際需求的專屬領(lǐng)域大模型。

軟硬件深度融合，激發(fā)強勁性能

第四代英特爾至強可擴展處理器是英特爾公司 2023 年發(fā)布的數(shù)據(jù)中心處理器，凝聚了英特爾數(shù)十年來在數(shù)據(jù)中心、網(wǎng)絡(luò)和智能邊緣等領(lǐng)域積累的技術(shù)經(jīng)驗，采用全新架構(gòu)，提升了單核性能，每路配備多達 60 個內(nèi)核支持 8 通道 DDR5 內(nèi)存，有效提升了內(nèi)存帶寬與速度，并通過 PCle 5.0 (80 個通道)實現(xiàn)了更高的 PCle 帶寬提升。第四代英特爾至強可擴展處理器提供了出色性能和安全性。以結(jié)果為導(dǎo)向、工作負載至上，為 AI、云、網(wǎng)絡(luò)、邊緣和全球領(lǐng)先的超級計算機帶來全新功能。

第四代英特爾 至強 可擴展處理器與星環(huán)科技 Transwarp Hippo 分布式向量數(shù)據(jù)庫軟硬件融合的深度優(yōu)化:

使用 AVX512 擴展指令集重寫向量距離計算函數(shù)，顯著降低向量計算需要的 CPU 指令數(shù)量與 CPU 時鐘周期，充分發(fā)揮第四代英特爾 至強 可擴展處理器高內(nèi)存帶寬的優(yōu)勢 NUMA 友好的向量計算負載調(diào)度算法，避免 CPU 遠程內(nèi)存訪問造成 CPU 阻塞，充分發(fā)揮第四代英特爾 至強 可擴展處理器多核性能的優(yōu)勢 基于數(shù)據(jù)離散度的浮點數(shù)矢量化算法，充分利用 VNNI 指令集，進一步提升向量計算性能

通過配置第四代英特爾至強可擴展處理器，星環(huán)科技 Transwarp Hippo 在向量索引層面實現(xiàn)了 20%~30%¹的性能提升，可全面滿足個性化推薦、智能問答、大模型應(yīng)用等場景對向量數(shù)據(jù)庫系統(tǒng)計算能力的要求。

圖1. 基于第四代英特爾至強可擴展處理器 AVX512 的 Hippo向量索引庫與開源 Faiss 查詢性能¹

圖2. 基于第四代英特爾至強可擴展處理器 AVX2/AVX512 的Hippo 向量索引庫查詢性能¹

用戶收益 專業(yè)向量數(shù)據(jù)庫——解決大模型的局限性

通過將最新的信息語料存儲在Transwarp Hippo 向量數(shù)據(jù)庫中，能夠讓大模型保持信息實時性，使大模型擁有“長期記憶”；協(xié)助企業(yè)解決大模型數(shù)據(jù)泄露隱私問題，拓展大語言模型的空間邊界；通過多模態(tài)信息向量化存儲以及近似檢索、混合檢索等能力幫助大模型解決 “Al 幻覺”問題。

高擴展——敏捷地滿足大模型發(fā)展需求

隨著大模型場景的深入化和豐富化，數(shù)據(jù)多模態(tài)加劇，如文本、圖像、音頻和視頻等，向量數(shù)據(jù)維度也逐漸增高，數(shù)據(jù)量呈現(xiàn)爆炸式增長。星環(huán)科技 Transwarp Hippo 可以按需水平擴展，利用容器技術(shù)支持服務(wù)彈性擴縮容，可以滿足企業(yè)大模型未來發(fā)展對海量向量數(shù)據(jù)的存儲和計算需求。

更高性能——應(yīng)對大模型應(yīng)用帶來的挑戰(zhàn)

海量、高維度向量數(shù)據(jù)處理，以及低時延和高精確度等要求給向量數(shù)據(jù)庫性能帶來了巨大挑戰(zhàn)。通過與第四代英特爾 至強 可擴展處理器的深度融合，星環(huán)科技Trans warp Hippo 可以更好地幫忙用戶應(yīng)對大模型應(yīng)用帶來的挑戰(zhàn)，更高效地挖掘大模型應(yīng)用價值。

降低 TCO ——提升大模型投資回報率

基于星環(huán)科技Transwarp Hippo 向量數(shù)據(jù)庫可以大幅降低大模型二次訓(xùn)練成本，加速大模型業(yè)務(wù)上線和創(chuàng)新。同時，自帶Embedding工具和模型、高擴展、以及與第四代英特爾 至強 可擴展處理器深度融合帶來的更高性能等特性可滿足企業(yè)業(yè)務(wù)發(fā)展需求，提升大模型建設(shè)的投資回報率。

展 望

基于第四代英特爾至強可擴展處理器的星環(huán)科技 Transwarp Hippo 分布式向量數(shù)據(jù)庫顯著提升了數(shù)據(jù)庫系統(tǒng)的整體性能表現(xiàn)，使其成為用戶構(gòu)建大語言模型方案的理想選擇。借助該方案，用戶可以便捷、高效打造大模型應(yīng)用，激發(fā)更多的 AI 場景業(yè)務(wù)。

星環(huán)科技與英特爾將繼續(xù)深化軟硬件技術(shù)融合能力，圍繞 Transwarp Hippo 向量數(shù)據(jù)庫，結(jié)合星環(huán)科技大模型開發(fā)工具 Sophon LLMOps、金融大模型 Transwarp Infinity “星環(huán)無涯”、大數(shù)據(jù)分析大模型 Transwarp SoLar “星環(huán)求索”等產(chǎn)品，為用戶提供大模型應(yīng)用構(gòu)建的全?；A(chǔ)軟件和工具，幫助金融、能源、交通等各個行業(yè)的企業(yè)更高效、更精確地打造專屬領(lǐng)域大模型，促進生產(chǎn)力提升，加速業(yè)務(wù)創(chuàng)新和價值實現(xiàn)。

參考資料：

1截止 2023 年10月由星環(huán)科技與英特爾共同開展的測試。測試配置:雙路第四代英特爾 至強鉑金 8480+處理器，56核，啟用睿頻加速技術(shù)，關(guān)閉超線程，512 GB總存(16x32 GB DDR4 3200 MHz),BIOS EGSDCRB1.SYS.0090.D03.2210040200, ucode 0x2b0000c0,1x MT27800 Family [ConnectX-5，25Gb/s]，2x 480 GB英特爾SSDSCKKB48，Red Hat Enterprise Linux 8.6 (0otpa), 4.18.0-372.9.1.el8.x86_64,Transwarp Hippo 1.2,Faiss 1.7.4.實際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.intel.com/Performancelndex

2,3,4,5實際性能受使用情況、配置和其他因素的差異影響。更多信息請見www.intel. com/Performancelndex