與上一代產(chǎn)品相比，第五代英特爾 至強 可擴展處理器實現(xiàn)了令人驚喜的性能提升，能夠有助于進一步釋放星環(huán)科技分布式向量數(shù)據(jù)庫 Transwarp Hippo 的性能潛力，為用戶帶來強大的向量數(shù)據(jù)處理能力，這在大模型訓(xùn)練等場景中有著重要的 意義，可幫助用戶更高效、 更精確地打造大模型產(chǎn)品。

— 朱珺辰

星環(huán)科技聯(lián)合創(chuàng)始人兼副總裁

百花齊放的大模型時代凸顯了分布式向量數(shù)據(jù)庫的關(guān)鍵角色，追求更高的數(shù)據(jù)庫性能成為推動大模型創(chuàng)新、釋放大模型潛力的重要方向。英特爾與星環(huán)科技的合作證明，第五代英特爾 至強 可擴展處理器可顯著提升 Transwarp Hippo 的性能表現(xiàn)，加速海量、多維向量數(shù)據(jù)處理，賦能智能時代變革。

— 唐炯

英特爾中國軟件技術(shù)合作事業(yè)部總經(jīng)理

挑 戰(zhàn)

以大語言模型為代表的人工智能 (AI) 應(yīng)用出現(xiàn)爆炸式增長背景下，企業(yè)對于非結(jié)構(gòu)化數(shù)據(jù)的存儲與處理需求出現(xiàn)了快速增長，分布式向量數(shù)據(jù)庫得到了普遍應(yīng)用。而隨著數(shù)據(jù)處理規(guī)模的增長，企業(yè)對于分布式向量數(shù)據(jù)庫的性能有著更高的要求，提升性能通?？梢詮囊韵聨讉€方面入手：

提升 CPU 性能

向量相似度檢索、高密度向量聚類等負載屬于 CPU 密集型負載，這導(dǎo)致 CPU 成為限制分布式向量數(shù)據(jù)庫性能提升的主要瓶頸，通過升級到新一代英特爾 至強 可擴展處理器平臺，將有助于提升數(shù)據(jù)庫的處理能力。

壓縮數(shù)據(jù)庫的海量數(shù)據(jù)

數(shù)據(jù)庫中的海量數(shù)據(jù)帶來了巨大性能壓力。通過數(shù)據(jù)壓縮，將能夠減少存儲數(shù)據(jù)所需的空間，并相應(yīng)地提高 I/O 性能。

對于數(shù)據(jù)庫進行性能優(yōu)化

通過水平擴展架構(gòu)、基于 CPU 的向量化指令優(yōu)化、多元芯片加速等技術(shù)，將有助于發(fā)揮并行檢索能力，為海量、多維向量處理提供強大算力支持。

解決方案概述

分布式向量數(shù)據(jù)庫在大模型應(yīng)用中扮演著重要角色，大模型 + 向量數(shù)據(jù)庫的架構(gòu)能夠讓大模型保持數(shù)據(jù)的實時性，使大模型擁有 “長期記憶”，解決模型需要多次二次訓(xùn)練才能滿足不同業(yè)務(wù)需求。同時，通過多模態(tài)信息的向量化，幫助大模型滿足回答信息實時性要求。用戶可以通過表示學(xué)習的預(yù)處理方式，將文檔、圖片、音視頻等非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為多維向量，并存儲在向量數(shù)據(jù)庫中，從而很好地解決大模型訓(xùn)練中的實時性、精度校正等問題。隨著大模型等應(yīng)用的快速發(fā)展，分布式向量數(shù)據(jù)庫的應(yīng)用場景在不斷拓展，但也面臨著日趨嚴峻的性能挑戰(zhàn)。

星環(huán)科技與英特爾合作，推出了基于第五代英特爾 至強 可擴展處理器的 Transwarp Hippo 分布式向量數(shù)據(jù)庫解決方案。該方案利用第五代英特爾 至強 可擴展處理器帶來的強大算力，實現(xiàn)了約 2 倍的代際性能提升¹ ，可有效滿足大模型時代海量、高維向量的存儲和計算需求，能夠幫助企業(yè)更好地應(yīng)對大模型時代海量、多維向量數(shù)據(jù)的高并發(fā)和實時計算等挑戰(zhàn)。

星環(huán)科技分布式向量數(shù)據(jù)庫 Transwarp Hippo

星環(huán)科技分布式向量數(shù)據(jù)庫 Transwarp Hippo 作為一款企業(yè)級云原生分布式向量數(shù)據(jù)庫，基于分布式特性，可以對文檔、圖片、音視頻等多源、海量數(shù)據(jù)轉(zhuǎn)化后的多維向量進行統(tǒng)一存儲和管理。它能夠通過水平擴展架構(gòu)，充分發(fā)揮并行檢索能力，實現(xiàn)毫秒級高性能數(shù)據(jù)檢索，結(jié)合相似度檢索等技術(shù)，幫助用戶快速挖掘數(shù)據(jù)價值。

與開源的向量數(shù)據(jù)庫不同，星環(huán)科技分布式向量數(shù)據(jù)庫 Transwarp Hippo 具備高可用、高性能、易拓展等特點，支持多種向量搜索索引，支持數(shù)據(jù)分區(qū)分片、數(shù)據(jù)持久化、增量數(shù)據(jù)攝取、向量標量字段過濾混合查詢等功能，很好地滿足了企業(yè)針對海量向量數(shù)據(jù)的高實時性檢索等場景。

圖 1. 星環(huán)科技分布式向量數(shù)據(jù)庫 Transwarp Hippo 產(chǎn)品架構(gòu)

采用第五代英特爾 至強 可擴展處理器提升 2 倍性能²

為了進一步提升性能表現(xiàn)，星環(huán)科技驗證了基于第五代英特爾 至強 可擴展處理器的分布式向量數(shù)據(jù)庫 Transwarp Hippo 的性能表現(xiàn)。

第五代英特爾 至強 可擴展處理器擁有更可靠的性能，更出色的能效。它在運行各種工作負載時均可實現(xiàn)顯著的每瓦性能增益，在 AI、數(shù)據(jù)中心、網(wǎng)絡(luò)和科學(xué)計算的性能和總體擁有成本 (TCO) 方面亦有更出色的表現(xiàn)。相較上一代產(chǎn)品，第五代英特爾 至強 可擴展處理器可在相同功耗范圍內(nèi)提供更高的算力和更快的內(nèi)存。此外，它與上一代產(chǎn)品的軟件和平臺兼容，因此部署新系統(tǒng)時可大大減少測試和驗證工作。

圖 2. 第五代英特爾 至強 可擴展處理器帶來更多創(chuàng)新特性

為了驗證在升級為第五代英特爾 至強 可擴展處理器之后星環(huán)科技分布式向量數(shù)據(jù)庫 Transwarp Hippo 的性能表現(xiàn)，星環(huán)科技在選用了 Transwarp KNN search 評測程序，該評測程序模擬用戶的 top K 鄰近范圍查詢。測試數(shù)據(jù)如圖 3 所示，對比第三代英特爾 至強 可擴展處理器，基于第五代英特爾 至強 可擴展處理器的 Transwarp Hippo 性能是其 2.07 倍⁷ 。

圖 3. 基于不同代際英特爾 至強 可擴展處理器的 Transwarp Hippo 性能對比

收 益

在搭配第五代英特爾 至強可擴展處理器之后，星環(huán)科技分布式向量數(shù)據(jù)庫 Transwarp Hippo 能夠提供強大的性能基礎(chǔ)，在大模型等場景創(chuàng)造巨大價值。

支撐數(shù)據(jù)的高效處理：基于第五代英特爾 至強 可擴展處理器的 Transwarp Hippo 能夠?qū)崿F(xiàn)海量、高維度向量數(shù)據(jù)處理，并具備低時延、高精確度等優(yōu)勢，可以滿足大模型訓(xùn)練等場景對于數(shù)據(jù)處理能力的苛刻要求。 降低向量數(shù)據(jù)庫的總體擁有成本 (TCO)：由于第五代英特爾 至強 可擴展處理器實現(xiàn)了代際性能的大幅提升，有助于提升 Transwarp Hippo 服務(wù)器節(jié)點的性能密度，幫助用戶節(jié)省在服務(wù)器采購、部署等方面的投資。同時，第五代英特爾 至強 可擴展處理器在性能提升的同時，具備更高的每瓦性能，有助于節(jié)省單位性能的能耗支出。 具備性能進一步提升潛力：除了更多的核心數(shù)量，更快的 IPC 性能之外，第五代英特爾 至強 可擴展處理器還搭載了英特爾 In-Memory Analytics Accelerator（英特爾 IAA）等硬件加速特性，有助于進一步提升數(shù)據(jù)庫等場景的性能。

展 望

基于第五代英特爾 至強 可擴展處理器的星環(huán)科技分布式向量數(shù)據(jù)庫 Transwarp Hippo，提供了領(lǐng)先的性能表現(xiàn)，可以有效地解決大模型在知識時效性低、輸入能力有限、準確度低等問題。通過將最新資料、專業(yè)知識、個人習慣等海量信息向量化存儲在星環(huán)科技分布式向量數(shù)據(jù)庫 Transwarp Hippo 中，企業(yè)可以有效拓展大模型的應(yīng)用邊界，讓大模型保持信息實時性，并能夠動態(tài)調(diào)整。

除了分布式向量數(shù)據(jù)庫 Transwarp Hippo 之外，星環(huán)科技與英特爾正在面向更多的產(chǎn)品與場景，驗證第五代英特爾 至強 可擴展處理器的性能表現(xiàn)，并通過軟硬件協(xié)同調(diào)優(yōu)等方式，加速處理器的性能釋放，從而在加快海量數(shù)據(jù)處理的同時，幫助用戶節(jié)省在基礎(chǔ)設(shè)施方面的成本，提升投資回報率。

點擊下方閱讀原文了解更多信息

參考資料：

1 數(shù)據(jù)援引自截至 2023 年 11 月由星環(huán)科技開展的測試。測試配置 — 基準配置：雙路英特爾 至強 鉑金 8380 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR5 5600 MT/s)，800 GB 固態(tài)盤， CentOS Stream 8，Kernel 5.19.0；新配置：雙路英特爾至強 鉑金 8592+ 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR4 3200 MT/s)，800 GB 固態(tài)盤，CentOS Stream 8，Kernel 5.19.0。英特爾并不控制或?qū)徲嫷谌綌?shù)據(jù)。請您審查該內(nèi)容，咨詢其他來源，并確認提及數(shù)據(jù)是否準確。

2 數(shù)據(jù)援引自截至 2023 年 11 月由星環(huán)科技開展的測試。測試配置 — 基準配置：雙路英特爾 至強 鉑金 8380 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR5 5600 MT/s)，800 GB 固態(tài)盤， CentOS Stream 8，Kernel 5.19.0；新配置：雙路英特爾 至強 鉑金 8592+ 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR4 3200 MT/s)，800 GB 固態(tài)盤，CentOS Stream 8，Kernel 5.19.0。英特爾并不控制或?qū)徲嫷谌綌?shù)據(jù)。請您審查該內(nèi)容，咨詢其他來源，并確認提及數(shù)據(jù)是否準確。

3 與第四代英特爾 至強 處理器相比的平均性能提升，以 SPEC CPU rate、STREAM Triad 和 LINPACK 的幾何平均值為衡量標準。請參閱 intel.com/processorclaims 上的 [G1]：第五代英特爾 至強可擴展處理器。結(jié)果可能有所差異。

4 請參閱 intel.com/processorclaims 上的 [G12]：第五代英特爾 至強 可擴展處理器。結(jié)果可能有所差異。

5 請參閱 intel.com/processorclaims 上的 [G11]：第五代英特爾 至強 可擴展處理器。結(jié)果可能有所差異。

6 使用內(nèi)置加速器在 AI、數(shù)據(jù)和網(wǎng)絡(luò)工作負載上進行測量，取得 1.46 到 10.6 倍的每瓦性能提升。請參閱 intel.com/processorclaims 上的 [A19-A25]、[D1]、[D2]、[D5] 和 [N16]：第五代英特爾 至強 可擴展處理器。結(jié)果可能有所差異。

7 數(shù)據(jù)援引自截至 2023 年 11 月由星環(huán)科技開展的測試。測試配置 — 基準配置：雙路英特爾 至強 鉑金 8380 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR5 5600 MT/s)，800 GB 固態(tài)盤， CentOS Stream 8，Kernel 5.19.0；新配置：雙路英特爾 至強 鉑金 8592+ 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR4 3200 MT/s)，800 GB 固態(tài)盤，CentOS Stream 8，Kernel 5.19.0。英特爾并不控制或?qū)徲嫷谌綌?shù)據(jù)。請您審查該內(nèi)容，咨詢其他來源，并確認提及數(shù)據(jù)是否準確。

實際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.Intel.com/PerformanceIndex

性能測試結(jié)果基于配置信息中顯示的日期進行測試，且可能并未反映所有公開可用的安全更新。詳情請參閱配置信息披露。沒有任何產(chǎn)品或組件是絕 對安全的。

具體成本和結(jié)果可能不同。

英特爾技術(shù)可能需要啟用硬件、軟件或激活服務(wù)。

英特爾未做出任何明示和默示的保證，包括但不限于，關(guān)于適銷性、適合特定目的及不侵權(quán)的默示保證，以及在履約過程、交易過程或貿(mào)易慣例中引 起的任何保證。

英特爾并不控制或?qū)徲嫷谌綌?shù)據(jù)。請您審查該內(nèi)容，咨詢其他來源，并確認提及數(shù)據(jù)是否準確。