在當今數字化時代，人工智能（AI）技術正以前所未有的速度改變著我們的生活和工作方式。AI應用的廣泛落地離不開強大的算力支持，而GPU作為AI計算的核心硬件，一直是推動AI發(fā)展的關鍵力量。然而，隨著國際形勢的變化和技術競爭的加劇，依賴單一供應商的GPU芯片已經無法滿足國內AI產業(yè)的長期發(fā)展需求。在這種背景下，將AI應用從英偉達顯卡遷移到國產顯卡，不僅是技術發(fā)展的必然選擇，更是保障我國AI產業(yè)安全和可持續(xù)發(fā)展的緊迫任務。

一、遷移的緊迫性和必要性

（一）國際形勢的挑戰(zhàn)

近年來，美國對中國的高科技產業(yè)實施了一系列限制措施，尤其是對高端AI芯片的出口禁令，嚴重影響了國內AI產業(yè)的正常發(fā)展。2024年12月3日，中國半導體行業(yè)協(xié)會等四大協(xié)會聯(lián)合發(fā)布聲明，呼吁企業(yè)謹慎采購美國芯片，并擴大與其他國家和地區(qū)芯片企業(yè)的合作。這一舉措凸顯了我國在AI芯片領域實現自主可控的緊迫性。

（二）技術自主可控的需求

依賴進口芯片不僅存在供應風險，還可能面臨技術封鎖和安全威脅。國產AI芯片的崛起為我國AI產業(yè)提供了新的選擇。通過將AI應用遷移到國產顯卡，可以有效降低對國外芯片的依賴，確保技術的自主可控，保障國家信息安全。

（三）國內市場的潛力

國內AI市場龐大且應用場景豐富，從智能安防到自動駕駛，從醫(yī)療影像到金融科技，AI技術的應用無處不在。國產顯卡的性能不斷提升，已經具備了替代進口芯片的能力。將AI應用遷移到國產顯卡，不僅可以滿足國內市場的多樣化需求，還能為國產芯片的發(fā)展提供廣闊的市場空間。

二、遷移到底難在哪？

痛點的核心在于缺乏一套基于國產顯卡的端到端遷移工具鏈和解決方案，支持算法人員無感知地從GPU遷移至國產算力。

三、JoyScale “零感知”遷移棧

京東云JoyScale異構算力管理平臺經過在京東內場和外場萬卡集群打磨，完成了 40+ 主流模型遷移，沉淀出JoyScale 全棧方案，其核心思想是：

零侵入：算法代碼一行不改，僅通過后端切換完成遷移。

可驗證：每一步都有黃金對照（GPU 基線），誤差可量化、可回滾。

可擴展：新增芯片≈插件式接入，核心框架保持不變。

全鏈路：訓練→微調→推理→上線監(jiān)控，端到端覆蓋。

3.1 系統(tǒng)架構

3.2 遷移方案

硬件適配

加速卡調度適配針對國產顯卡的卡間互聯(lián)技術，開發(fā)適配的調度插件。例如，昇騰910B的HCCS架構要求同一Pod內的處理器必須在同一HCCS環(huán)內，否則任務會失敗。

算子支持度分析通過工具（如Pytorch Profiler）提取GPU算子，與國產顯卡支持的API清單進行對比，對不支持的算子進行適配開發(fā)。

性能調優(yōu)結合國產顯卡的硬件特性，通過Profile獲取每個算子的執(zhí)行時間，對較慢算子進行精細優(yōu)化，通常要結合底層硬件架構特性進行優(yōu)化，例如數據對齊，轉換為連續(xù)內存等。同時也可以使用廠商API將多個算子進行融合以及轉換為子圖方式提交到加速卡等加速手段。

軟件適配

程序遷移將基于CUDA的代碼遷移到國產顯卡支持的框架。例如，將torch.cuda.xxx()接口替換為torch.npu.xxx()接口。

框架優(yōu)化在框架層為國產顯卡和英偉達GPU提供統(tǒng)一的API接口，實現了一套API下NPU和GPU用戶無感、0成本無縫切換訓練。

模型適配

模型量化通過模型量化技術，減少模型的計算量和存儲需求，提高在國產顯卡上的運行效率。

軟硬協(xié)同深度優(yōu)化：通過Triton編譯和CANN融合等技術對熱點算子（如flash attention、rotary_embedding、npu_matmul_add_fp32等）進行精細調優(yōu)，實施鋸齒Attention、動態(tài)輸入拼接、全子圖下發(fā)以及重計算流水線的獨立調度和自適應重計算等深度優(yōu)化措施，實現了百卡 MFU達60%。同時，通過權重更新通信隱藏、CoC計算通信并行、啟發(fā)式自動并行策略搜索、BF16低精度通信和多機間RDMA通信等技術，達到了百卡擴展系數0.93，從而實現了千億至萬億參數模型訓練的近線性橫向擴展。

推理優(yōu)化

通過GE圖編譯優(yōu)化和ATB高性能算子技術對Paged Attention、Flash Attention、Sub_Mul_Concat等操作進行深度優(yōu)化，實現整圖下發(fā)能力，通過算子setup（workspace、tiling）、下發(fā)、計算實現流水線并行，有效隱藏了算子調度開銷。同時支持W8A8 SmoothQuant量化、W4A16 AWQ量化技術，顯著較少了計算量與訪存密度。

模型服務采用雙后端熱備，流量 5% → 30% → 100%逐級灰度上線國產算力，失敗率 > 0.1% 自動回滾英偉達GPU。

統(tǒng)一調度和監(jiān)控

自研基于云原生的萬卡級異構算力統(tǒng)一調度系統(tǒng)，自動識別CPU NUMA和網絡拓撲，確保任務被分配到最優(yōu)的計算和網絡資源上，從而最大化任務的執(zhí)行效率。通過Gang調度、算力切分池化等技術提高集群的整體占用率。

支持可視化監(jiān)控體系，統(tǒng)一監(jiān)控異構顯卡的算力利用率、顯存利用率，以及AI負載的服務吞吐、失敗率、延時、token數等服務化指標。

四、典型落地場景

零售場景：利用多模態(tài)模型對商品視頻進行分析，抽取能夠表征視頻的一系列tag。從英偉達GPU無縫遷移到國產NPU，與GPU比對效果無明顯差異。在輸出Token數量一致的前提下，二者平均響應時長基本保持一致。

智能客服基于大模型的客服Agent助手，使用過往沉淀QA數據對模型進行微調，遷移到國產算力進行微調后，與基于英偉達GPU微調的模型分析結果相似，且96%問題分配下游處理路徑相同。

物流場景基于國產算力微調的模型與基于英偉達GPU微調的模型在物流地址解析等任務的訓練結果分別達到了91.03%與91.08%，二者表現基本一致，AI預分揀已上線多個省份，每天識別3萬條以上異常地址。

五、結語

將AI應用從英偉達顯卡遷移到國產顯卡，不僅是技術發(fā)展的必然選擇，更是保障我國AI產業(yè)安全和可持續(xù)發(fā)展的緊迫任務。遷移不是可選項，而是生存項！越早動手，窗口期越長。京東云JoyScale通過完整且成熟的遷移軟件堆棧，幫助客戶有效降低遷移成本，提高遷移效率，確保AI應用在國產顯卡上的高效運行，讓客戶更多地把精力更多放在算法創(chuàng)新上。京東云愿意與更多客戶攜手，一起把國產算力推向極致。

審核編輯 黃宇