AI技術(shù)應(yīng)用已經(jīng)深入到各行各業(yè)，特別是云服務(wù)提供商將AI能力集成到云服務(wù)中，能夠更好地滿(mǎn)足用戶(hù)對(duì)性能、效率和體驗(yàn)的需求。而在主流媒體全面進(jìn)入互聯(lián)網(wǎng)陣地的大趨勢(shì)下，媒體行業(yè)面臨融合、高效、智能化的挑戰(zhàn)。成都華棲云科技有限公司（簡(jiǎn)稱(chēng)：華棲云）正是這樣一家面向蓬勃興起的泛媒體、大視頻時(shí)代的企業(yè)用戶(hù)市場(chǎng)，為用戶(hù)提供媒體云服務(wù)的提供商。

為了給用戶(hù)帶來(lái)更加智慧的應(yīng)用體驗(yàn)，大幅提升內(nèi)容來(lái)源的寬度，內(nèi)容生產(chǎn)的速度、內(nèi)容發(fā)布的廣度，華棲云媒體云平臺(tái)正在集成廣泛的AI技術(shù)，推動(dòng)光學(xué)字符識(shí)別(OCR) 識(shí)別、圖像超分修復(fù)、人體姿態(tài)識(shí)別、大型語(yǔ)言模型 (LLM) 等應(yīng)用的落地。

對(duì)于最終用戶(hù)而言，這些 AI 技術(shù)對(duì)于媒體云基礎(chǔ)設(shè)施帶來(lái)了 AI 推理等方面的算力挑戰(zhàn)，用戶(hù)需要通過(guò)高性能、低成本、高靈活度的算力方案，來(lái)滿(mǎn)足實(shí)際應(yīng)用的嚴(yán)苛需求。于是，華棲云與英特爾合作，在媒體云平臺(tái)上驗(yàn)證了第四代英特爾至強(qiáng)可擴(kuò)展處理器及其內(nèi)置的英特爾高級(jí)矩陣擴(kuò)展（英特爾AMX）加速器。驗(yàn)證結(jié)果顯示，在英特爾AMX 的加持下，第四代英特爾至強(qiáng)可擴(kuò)展處理器可顯著提升大型語(yǔ)言模型、人體姿態(tài)識(shí)別、CLIP 圖像文本分類(lèi)處理模型、OCR 識(shí)別、圖像超分修復(fù)等模型的推理能力，提供了高性?xún)r(jià)比、高靈活性的 AI 基礎(chǔ)設(shè)施構(gòu)建選項(xiàng)。

英特爾AMX及CPU大模型推理與主流GPU性能一致

華棲云之所以選擇基于英特爾 CPU 的 AI 推理方案，是因?yàn)樵摲桨改軌虺浞掷妹襟w云已有的服務(wù)器資源，在架構(gòu)上無(wú)需進(jìn)行大幅變動(dòng)，性?xún)r(jià)比較高，且在性能上足以滿(mǎn)足智能資源管理、智能審核、智能生產(chǎn)等場(chǎng)景所需。

現(xiàn)在，AIGC技術(shù)得到越來(lái)越多應(yīng)用。華棲云同樣采用了基于大語(yǔ)言模型的 AIGC 技術(shù)，使智能媒體云平臺(tái)能夠自動(dòng)進(jìn)行要點(diǎn)歸納及內(nèi)容創(chuàng)作、改寫(xiě)，做到一課一虛擬助教，提高師生教學(xué)互動(dòng)能力。此外，AIGC 技術(shù)還能用于課程內(nèi)容識(shí)別理解等更多場(chǎng)景，帶來(lái)智慧教育新體驗(yàn)。所以，大語(yǔ)言模型的推理能力對(duì)于華棲云至關(guān)重要。

華棲云采用內(nèi)置AI加速器英特爾AMX的第四代英特爾至強(qiáng)可擴(kuò)展處理器，在大語(yǔ)言模型推理性能上表現(xiàn)出強(qiáng)勁實(shí)力。在華棲云的測(cè)試中，對(duì)比了某主流 GPU 與第四代英特爾至強(qiáng)可擴(kuò)展處理器的大語(yǔ)言模型推理性能，測(cè)試數(shù)據(jù)如圖1 所示，兩者性能基本保持在同一層面。這得益于英特爾AMX 針對(duì)廣泛的硬件和軟件優(yōu)化，通過(guò)提供矩陣類(lèi)型的運(yùn)算，顯著增加了人工智能應(yīng)用程序的每時(shí)鐘指令數(shù) (IPC)，可為 AI 工作負(fù)載中的訓(xùn)練和推理上提供顯著的性能提升。從而使華棲云使用CPU不額外增加成本的情況下，獲得了同樣的AI推理性能。

圖1：大語(yǔ)言模型推理性能測(cè)試1

英特爾助華棲云多個(gè)AI推理場(chǎng)景性能大幅提升

除了大語(yǔ)言模型推理之外，華棲云多項(xiàng)AI推理性能均在英特爾至強(qiáng)可擴(kuò)展處理器和英特爾AMX的加持下得到顯著提升。

第一，對(duì)比語(yǔ)言圖像預(yù)訓(xùn)練 (CLIP)是一種在各種（圖像、文本）對(duì)上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，可以用自然語(yǔ)言指示它在給定圖像的情況下推理最相關(guān)的文本片段，而無(wú)需直接針對(duì)任務(wù)進(jìn)行優(yōu)化。在媒體云平臺(tái)場(chǎng)景中，CLIP 不僅提供了先進(jìn)的圖像分類(lèi)結(jié)果，而且還提供了對(duì)象分類(lèi)、視頻中的動(dòng)作識(shí)別和 OCR 等其他視覺(jué)任務(wù)。CLIP 有助于媒體云平臺(tái)在不構(gòu)建巨大數(shù)據(jù)集的前提下，訓(xùn)練高質(zhì)量的模型，同時(shí)降低計(jì)算成本。

華棲云 CLIP 算法推理性能測(cè)試數(shù)據(jù)如圖 2 所示，在將模型轉(zhuǎn)化為BF16 后，第四代英特爾至強(qiáng)可擴(kuò)展處理器的 CLIP 推理性能相較第二代英特爾至強(qiáng)可擴(kuò)展處理器最高提升了 95.63 倍2。

圖2：華棲云 CLIP 算法推理性能測(cè)試3

第二，OCR 識(shí)別在媒體云平臺(tái)中，常用于圖像中的信息提取，如課件識(shí)別、版面識(shí)別、試卷識(shí)別等。華棲云在測(cè)試中，對(duì)比了第二代英特爾至強(qiáng)可擴(kuò)展處理器與第四代英特爾至強(qiáng)可擴(kuò)展處理器的單線程吞吐性能差異。測(cè)試數(shù)據(jù)如圖 3 所示，對(duì)比第二代英特爾至強(qiáng)可擴(kuò)展處理器，第四代英特爾至強(qiáng)可擴(kuò)展處理器的性能最高可提升約 6.41 倍4。

圖3：OCR 單線程吞吐測(cè)試5

第三，超分辨率 (Super-Resolution) 是指通過(guò)硬件或軟件的方法提高原有圖像的分辨率，超分辨率算法有效提高放大后圖像的質(zhì)量，同時(shí)節(jié)約帶寬、存儲(chǔ)等方面的資源。ESRGAN 是一種基于生成對(duì)抗網(wǎng)絡(luò) (GAN) 的圖像超分辨率算法，其主要思想是通過(guò)學(xué)習(xí)低分辨率 (LR) 圖像與其高分辨率 (HR) 對(duì)應(yīng)物之間的映射，來(lái)實(shí)現(xiàn)從 LR 圖像到 HR 圖像的映射過(guò)程，從而實(shí)現(xiàn)圖像的超分辨率。SwinIR 則是一種基于 Swin Transformer 的圖像超分辨率重建算法，相對(duì)于傳統(tǒng)的 Transformer 模型，在處理圖像等二維數(shù)據(jù)時(shí)，具有更好的并行性和更高的計(jì)算效率。

華棲云測(cè)試了第二代/第四代英特爾至強(qiáng)可擴(kuò)展處理器在ESRGAN 算法推理中的性能表現(xiàn)，測(cè)試數(shù)據(jù)如圖 4 所示，在將模型轉(zhuǎn)化為 BF16 后，第四代英特爾至強(qiáng)可擴(kuò)展處理器的ESRGAN 推理性能相較第二代英特爾至強(qiáng)可擴(kuò)展處理器最高提升了 3 倍6。

圖4：ESRGAN 算法吞吐性能測(cè)試7

SwinIR 模型推理性能測(cè)試數(shù)據(jù)如圖 5 所示，在將模型轉(zhuǎn)化為BF16 后，第四代英特爾至強(qiáng)可擴(kuò)展處理器的 SwinIR 推理性能相較第二代英特爾至強(qiáng)可擴(kuò)展處理器最高提升了 7.4 倍8。

圖5：SwinIR 模型推理性能測(cè)試9

第四，人體姿態(tài)識(shí)別算法能夠通過(guò)圖像獲取并識(shí)別人體骨架信息，通過(guò)算法判斷動(dòng)作類(lèi)別和姿態(tài)，從而實(shí)現(xiàn)動(dòng)作識(shí)別。華棲云在智能媒體云平臺(tái)中采用了基于 OpenPose 方法與 EfficientHRNet 方法的多人 2D 姿勢(shì)估計(jì)網(wǎng)絡(luò)，針對(duì)圖像中的每個(gè)人，網(wǎng)絡(luò)都會(huì)檢測(cè)到一個(gè)人體姿勢(shì)：一個(gè)由關(guān)鍵點(diǎn)和關(guān)鍵點(diǎn)之間的連接組成的身體骨架。

華棲云基于 OpenPose 方法的人體姿態(tài)識(shí)別算法推理性能測(cè)試數(shù)據(jù)如圖 6 所示，在將模型轉(zhuǎn)化為 BF16 后，第四代英特爾至強(qiáng)可擴(kuò)展處理器的 OpenPose 推理性能相較第二代英特爾至強(qiáng)可擴(kuò)展處理器最高提升了 64.82 倍10。

圖6：基于 OpenPose 方法的人體姿態(tài)識(shí)別推理性能測(cè)試11

基于CPU的AI推理方案為華棲云降低TCO并增加靈活性

在采用內(nèi)置了英特爾AMX 的第四代英特爾至強(qiáng)可擴(kuò)展處理器之后，華棲云提升了多種典型算法的推理性能，滿(mǎn)足了教育、廣電等客戶(hù)對(duì)于智能媒體云平臺(tái)的性能要求，為客戶(hù)帶來(lái)以下價(jià)值：

在保證模型精度的前提下，顯著提升多個(gè) AI 模型的性能表現(xiàn)，有助于提供更加高效的智能媒體云服務(wù)； 通過(guò)軟件優(yōu)化充分釋放了硬件潛力，支持有效利用服務(wù)器資源，無(wú)需獨(dú)立、專(zhuān)用的 AI 加速器，有助于降低媒體云平臺(tái)構(gòu)建的 TCO； 通用的 CPU 平臺(tái)不僅能夠高效支撐 AI 推理，而且能夠靈活應(yīng)對(duì)編解碼、轉(zhuǎn)碼等負(fù)載，更具可擴(kuò)展性。

AIGC 等AI技術(shù)的應(yīng)用正在為媒體行業(yè)注入充沛的活力，推動(dòng)媒體行業(yè)的智能化轉(zhuǎn)型。華棲云以超高清智能媒體處理云平臺(tái)為驅(qū)動(dòng)引擎，在泛媒體、大教育、政企等行業(yè)形成了成熟的云服務(wù)及云解決方案。通過(guò)與英特爾合作，并利用英特爾AMX 等創(chuàng)新技術(shù)，華棲云正在推動(dòng)新一代智能融媒體平臺(tái)覆蓋媒體內(nèi)容生產(chǎn)、管理、發(fā)布、運(yùn)營(yíng)和數(shù)據(jù)化管理全流程應(yīng)用。

英特爾AMX及英特爾至強(qiáng)可擴(kuò)展處理器以不遜于GPU的AI推理性能，為華棲云降低了云平臺(tái)TCO的同時(shí)，提供了更大的靈活性和擴(kuò)展性，支持華棲云智能媒體云平臺(tái)以新思維、新技術(shù)重塑媒體全鏈路生產(chǎn)與運(yùn)營(yíng)模型，建立集內(nèi)容、產(chǎn)品、用戶(hù)、數(shù)據(jù)一體的全媒體融合運(yùn)營(yíng)體系，實(shí)現(xiàn)媒體基于內(nèi)容的價(jià)值再造。

審核編輯：劉清