概 述

近年來人工智能 (AI) 技術(shù)突飛猛進(jìn)的一個重要標(biāo)志是大語言模型 (LLM) 的重要突破。大語言模型是基于自然語言處理 (NLP) 技術(shù)的transformer機(jī)制，目標(biāo)在于理解、生成自然語言文本，以及處理人機(jī)對話等邏輯性創(chuàng)造性語義理解要求更高的自然語言任務(wù)。與傳統(tǒng)NLP模型不同，大語言模型具備參數(shù)規(guī)模巨大、訓(xùn)練數(shù)據(jù)量大等特點，在模型訓(xùn)練、模型微調(diào)、模型推理等階段均需要龐大的算力資源。在大模型應(yīng)用 “百花齊放” 的今天，AI算力的供需缺口已經(jīng)成為一個不爭的事實，如何快速構(gòu)建高性能、低成本的算力平臺成為企業(yè)普遍關(guān)心的問題。

面向希望經(jīng)濟(jì)、高效進(jìn)行大語言模型落地場景的中小企業(yè)用戶，新華三 (H3C) 提供了基于英特爾至強(qiáng)可擴(kuò)展處理器的H3C UniServer R6900 G6服務(wù)器解決方案。該服務(wù)器能夠借助英特爾至強(qiáng)可擴(kuò)展處理器內(nèi)置的強(qiáng)大AI加速能力，滿足常見大語言模型微調(diào)和推理算力需求。同時，該服務(wù)器還具備交付與部署便捷、性價比高等優(yōu)勢，能夠幫助更多中小企業(yè)挖掘大語言模型的應(yīng)用潛力，賦能企業(yè)的智能化轉(zhuǎn)型。

背景：大語言模型突飛猛進(jìn)中小企業(yè)迎來轉(zhuǎn)型契機(jī)

大語言模型是當(dāng)前大模型最具應(yīng)用潛力的領(lǐng)域之一，由大語言模型賦能的AI應(yīng)用已經(jīng)在搜索增強(qiáng)、代碼生成、問答系統(tǒng)、智能語音助手、知識圖譜構(gòu)建、專業(yè)文檔生成、智能翻譯等任務(wù)中展現(xiàn)出巨大的價值。賽迪研究院的數(shù)據(jù)顯示，截止2023年 12月，中國已有多家語言大模型研發(fā)廠商，2023年市場規(guī)模約為132.3億元，增長率達(dá)到110%；預(yù)測到2027年，中國語言大模型市場規(guī)模有望達(dá)到600億元1。對于中小企業(yè)而言，積極迎接大語言模型帶來的產(chǎn)業(yè)發(fā)展浪潮，將有助于跟上AI發(fā)展趨勢，提升企業(yè)的競爭力，助力降本增效。

大語言模型落地鏈路主要分為模型預(yù)訓(xùn)練、模型微調(diào) (Fine Tuning)、模型推理等階段，對于中小企業(yè)而言，由于投入規(guī)模限制和特定應(yīng)用場景的需求，其落地的工程化路徑更傾向于使用已經(jīng)初步完成大規(guī)模預(yù)訓(xùn)練的開源/通用大模型（30B及以下），并采用特定領(lǐng)域的數(shù)據(jù)集對模型進(jìn)行微調(diào)，通過檢索增強(qiáng)生成 (RAG) 等相關(guān)技術(shù)，同樣達(dá)到與通用大模型接近的理想效果，以使其更好地適應(yīng)特定的任務(wù)或應(yīng)用場景。

綜上所述，在大語言模型的實際部署階段，中小企業(yè)需要解決大語言模型微調(diào)與推理問題，這會在性能、算力成本、效率等方面遇到相應(yīng)的挑戰(zhàn)。

在滿足微調(diào)和推理兩大場景需求的同時降低成本

在大語言模型微調(diào)方面，性能與成本通常是呈現(xiàn)正比關(guān)系，采用專用的AI服務(wù)器能夠提供強(qiáng)大的算力，但是會消耗高額的成本，這對于中小企業(yè)而言是一項巨大的支出。

快速迎上大語言模型的發(fā)展浪潮

大語言模型發(fā)展的日新月異意味著，中小企業(yè)必須快速行動起來，投身到大語言模型的發(fā)展浪潮中。但同時，專用的AI服務(wù)器面臨著供貨緊張、部署繁瑣、上線時間周期長等客觀現(xiàn)狀，難以快速提供AI算力支持，反觀不少企業(yè)都擁有大量的通用服務(wù)器資源，若能高效利用這些資源，將有助于大幅縮短大模型應(yīng)用上線周期。

解決方案：基于英特爾至強(qiáng)可擴(kuò)展處理器的H3C UniServer R6900 G6服務(wù)器

針對中小企業(yè)在中小規(guī)模的模型微調(diào)與推理上的挑戰(zhàn)，H3C推出了H3C UniServer R6900 G6服務(wù)器單一節(jié)點解決方案，成功地展示了基于中等規(guī)模大語言模型的微調(diào)和推理能力。

作為該解決方案的核心，H3C UniServer R6900 G6服務(wù)器是H3C基于第四代英特爾至強(qiáng)可擴(kuò)展處理器自主研發(fā)的新一代4U四路機(jī)架式服務(wù)器。整機(jī)設(shè)計在上一代產(chǎn)品的基礎(chǔ)上進(jìn)行了全面優(yōu)化，無論在計算效率、擴(kuò)展能力還是低碳節(jié)能等方面都達(dá)到了全新的高度，是繼G5產(chǎn)品之后的又一標(biāo)桿四路服務(wù)器產(chǎn)品，是大規(guī)模虛擬化、數(shù)據(jù)庫、內(nèi)存計算、數(shù)據(jù)分析、數(shù)據(jù)倉庫、商業(yè)智能、ERP等數(shù)據(jù)密集型應(yīng)用關(guān)鍵業(yè)務(wù)的理想選擇。

圖 1. H3C UniServer R6900 G6服務(wù)器

H3C UniServer R6900 G6服務(wù)器搭載的第四代英特爾至強(qiáng)可擴(kuò)展處理器通過創(chuàng)新架構(gòu)增加了每個處理器核心每個時鐘周期的可執(zhí)行指令數(shù)量，每個插槽多達(dá)60個核心，支持8通道DDR5內(nèi)存，有效提升了內(nèi)存帶寬與速度，并通過PCIe 5.0（80個通道）實現(xiàn)了更高的PCIe帶寬提升。第四代英特爾至強(qiáng)可擴(kuò)展處理器提供了出色性能和安全性，可根據(jù)用戶的業(yè)務(wù)需求進(jìn)行擴(kuò)展。借助內(nèi)置的加速器，用戶可以在AI、分析、云和微服務(wù)、網(wǎng)絡(luò)、數(shù)據(jù)庫、存儲等類型的工作負(fù)載中獲得優(yōu)化的性能。

圖 2. 第四代英特爾至強(qiáng)可擴(kuò)展處理器為數(shù)據(jù)中心提供多種優(yōu)勢

H3C UniServer R6900 G6服務(wù)器單一節(jié)點解決方案在大語言模型微調(diào)及推理上的能力，源于以下三大技術(shù)突破：

單CPU算力突破

在大模型微調(diào)和推理任務(wù)中，涉及大規(guī)模矩陣運算。隨著模型尺寸的擴(kuò)大，矩陣的大小也相應(yīng)增加，這對處理器的算力有著極高的要求。

第四代英特爾至強(qiáng)可擴(kuò)展處理器提供了增強(qiáng)的AI算力支持。與此前的英特爾至強(qiáng)可擴(kuò)展處理器中提供的英特爾AVX-512不同，英特爾 AMX采用了全新的指令集與電路設(shè)計，通過提供矩陣類型的運算，顯著增加了人工智能應(yīng)用程序的每時鐘指令數(shù) (IPC)，可為AI工作負(fù)載中的訓(xùn)練和推理帶來大幅的性能提升。

單機(jī)算力突破

在大語言模型的訓(xùn)練和微調(diào)過程中，為提供充足的算力，通常采用多機(jī)多卡的分布式訓(xùn)練方式，但這種方式會帶來額外的系統(tǒng)互聯(lián)開銷，同時也可能導(dǎo)致訓(xùn)練性能的損耗。

H3C結(jié)合英特爾平臺的特有的UPI (Ultra Path Interconnect) 多CPU組合技術(shù)，推出了H3C UniServer R6900 G6四路服務(wù)器。這種服務(wù)器突破了傳統(tǒng)雙路服務(wù)器的算力限制，能夠提供單機(jī)更高的算力密度。方案采用了高帶寬低延遲的UPI互聯(lián)方案，能夠?qū)崿F(xiàn)CPU算力的高速橫向倍增。這意味著，用戶可以在一臺節(jié)點上完成所有的計算任務(wù)，從而避免了分布式訓(xùn)練可能帶來的各種問題。

內(nèi)存限制突破

大語言模型的訓(xùn)練和推理對于內(nèi)存容量有著較高需求，這種需求源于AI 模型訓(xùn)練過程中的兩個關(guān)鍵步驟：一是加載模型的權(quán)重，二是存儲用于反向傳播的梯度信息以及執(zhí)行參數(shù)更新的優(yōu)化器參數(shù)。此外，選擇適當(dāng)?shù)挠?xùn)練批量大小也至關(guān)重要，因為較大的批量有助于模型更快地收斂，從而提升微調(diào)后模型的性能。然而，較大的批量會使得中間激活值的存儲也占據(jù)了大量的內(nèi)存空間。以Llama 30B模型為例，在進(jìn)行16位浮點數(shù)訓(xùn)練時，如果訓(xùn)練批量大小被設(shè)定為16并且使用Adam優(yōu)化器，估算需要600GB左右的內(nèi)存才能成功完成30B模型的LoRA微調(diào)。雖然目前 涌現(xiàn)了非常多的技術(shù)手段來解決內(nèi)存限制的問題，但是會引入復(fù)雜的技術(shù)棧和額外復(fù)雜度。

針對上述問題，H3C UniServer R6900 G6服務(wù)器可支持64根4800MT/s DDR5 ECC內(nèi)存，能夠提供高達(dá)16TB的內(nèi)存容量，從而打破了內(nèi)存限制。相比于使用GPU的方案，這種方案能夠減少內(nèi)存壓縮和多卡間數(shù)據(jù)通信的開銷，從而更有效地完成微調(diào)訓(xùn)練任務(wù)。

除了上面三方面的技術(shù)突破，在實現(xiàn)算力突破的同時，英特爾還針對大型語言模型的推理和訓(xùn)練過程，提供了一系列基于PyTorch框架的軟件優(yōu)化措施。這些優(yōu)化被集成在IntelExtension for PyTorch開源軟件庫中，旨在進(jìn)一步提升模型的性能和效率。

IntelExtension for PyTorch是英特爾發(fā)起的一個開源擴(kuò)展項目，它基于 PyTorch的擴(kuò)展機(jī)制實現(xiàn)，旨在通過提供額外的軟件優(yōu)化充分發(fā)揮硬件特性，幫助用戶在原生PyTorch的基礎(chǔ)上顯著提升英特爾硬件（如CPU和GPU）上的深度學(xué)習(xí)推理計算和訓(xùn)練性能。通過擴(kuò)展，PyTorch用戶將能更加及時地受益于英特爾硬件的最新功能，并在第一時間體驗軟件優(yōu)化帶來的卓越性能和部署便捷性。

圖 3.IntelExtension for PyTorch框架

目前，IntelExtension for PyTorch配合PyTorch，可支持PyTorch框架下大部分主流模型，其中深度優(yōu)化模型有50+以上。用戶只需要從Hugging Face拉取模型，加載到PyTorch框架中，通過簡單幾步完成BF16混合精度轉(zhuǎn)換，模型就可以在CPU上高效部署。同時，Intel Extension for PyTorch面向transformer運算對相關(guān)計算進(jìn)行了深入優(yōu)化，實現(xiàn)了融合的ROPE (Fused Rotary Positional Embeddings) 操作，可以減少計算的復(fù)雜性并提高模型的運行效率。

圖 4.IntelExtension for PyTorch 支持50多種主流AI模型

性能驗證：充分滿足中等規(guī)模大模型微調(diào)

與推理的算力要求

為驗證基于英特爾至強(qiáng)可擴(kuò)展處理器的H3C UniServer R6900 G6服務(wù)器在大語言模型推理和微調(diào)兩大場景的服務(wù)能力，H3C選擇了英特爾至強(qiáng)金牌 6448H處理器+2TB內(nèi)存的配置，并進(jìn)行了測試。

微調(diào)場景

H3C對Llama2-7B和Llama2-13B模型，以及Llama1-30B模型進(jìn)行了微調(diào)測試。這些測試在業(yè)界通用的Alpaca數(shù)據(jù)集（6.5M token，數(shù)據(jù)集大小 20MBytes）上進(jìn)行，旨在評估在禁用梯度累積(Gradient Accumulation) 的情況下，四路服務(wù)器能支持的batch size，訓(xùn)練過程中的峰值內(nèi)存占用，以及訓(xùn)練完成所需的時間。

測試數(shù)據(jù)如表1所示，對于7B、13B和30B大小的Llama模型，四路H3C UniServer R6900 G6服務(wù)器可以滿足實用訓(xùn)練時長的要求。

表 1. 不同模型在微調(diào)中的訓(xùn)練時間與最大內(nèi)存使用6

推理場景

H3C對Llama2的7B和13B模型，以及Code Llama的34B模型進(jìn)行了深入測試，以充分挖掘基于英特爾至強(qiáng)可擴(kuò)展處理器的H3C UniServer R6900 G6服務(wù)器的性能極限。本測試專注于評估這些硬件配置在不同的 input/output token latency、 batch size，以及多實例運行情況下的表現(xiàn)。

首token延遲、總吞吐與并發(fā)數(shù)的測試結(jié)果分別如圖5、圖6所示，對于 7B、13B大小的Llama模型，四路H3C UniServer R6900 G6服務(wù)器可以滿足多實例運行的要求。

圖 5. 不同模型的首token延遲7

圖 6. 不同模型的總吞吐性能測試8

收 益

基于英特爾至強(qiáng)可擴(kuò)展處理器的H3C UniServer R6900 G6服務(wù)器提供了大語言模型微調(diào)推理一體方案，為中小企業(yè)提供了一種更高效、更經(jīng)濟(jì)的解決方案，實現(xiàn)了以下價值：

可以更加快速的推動以大語言模型為代表的AGI的部署：該方案能夠在單一服務(wù)器上覆蓋微調(diào)和推理，不僅簡化了操作流程，也提高了算力平臺的交付效率。同時，方案基于Pytorch，TensorFlow，OpenVINO等流行的開源框架，使得中小企業(yè)能夠在CPU平臺上方便快捷地搭建最新的模型服務(wù)，更快地將AGI應(yīng)用到業(yè)務(wù)流程中。

有助于企業(yè)搭建更具性價比的大語言模型算力平臺：該方案不依賴于昂貴的GPU服務(wù)器，而是可以采用更具經(jīng)濟(jì)性的通用CPU服務(wù)器，同時達(dá)到理想的性能表現(xiàn)，可以助力用戶降低大語言模型算力平臺的總體擁有成本 (TCO)。

實現(xiàn)出色的靈活性與擴(kuò)展性：解決方案具有極高的適應(yīng)性和靈活性，可以廣泛應(yīng)用于通用計算和AI專用場景。用戶可以靈活地調(diào)整和優(yōu)化系統(tǒng)資源的使用，從而實現(xiàn)最優(yōu)的性能和效果。

展 望

大語言模型已經(jīng)徹底改變了智能化應(yīng)用的生態(tài)，大語言模型帶來的涌現(xiàn)能力賦予了其巨大的應(yīng)用前景，成為足以改變商業(yè)競爭態(tài)勢的重要能力?；谟⑻貭栔翉?qiáng)可擴(kuò)展處理器的H3C UniServer R6900 G6服務(wù)器在當(dāng)前算力稀缺、資源不足的情況下，為中小企業(yè)提供了經(jīng)濟(jì)、高效、靈活的AI算力平臺選項，可以助力用戶投入到AI競賽中，為業(yè)務(wù)帶來切實的收益。

除了用于大語言模型的微調(diào)和推理之外，基于英特爾至強(qiáng)可擴(kuò)展處理器的H3C UniServer R6900 G6服務(wù)器具備的強(qiáng)大通用性意味著，其能夠在更多領(lǐng)域發(fā)揮價值，而對于有更高性能需求的場景，該方案也能夠通過服務(wù)器節(jié)點擴(kuò)展來提供更高的算力。面向未來，英特爾與H3C還將進(jìn)一步合作，包括采用新一代硬件平臺，通過軟件工具套件進(jìn)行性能優(yōu)化，攜手拓展AI生態(tài)等，助力用戶在AI時代獲得成功。

審核編輯：劉清