近日，基于華為CANN(Compute Architecture for Neural Networks)端云協(xié)同架構(gòu)打造的華為PC端AI閃繪功能正式落地，標(biāo)志著端側(cè)AI大模型應(yīng)用邁入新階段。

AI閃繪是一種基于擴散模型的圖生圖技術(shù)，可根據(jù)現(xiàn)有圖片與提示詞生成符合用戶預(yù)期的新圖像。該功能背后，凝結(jié)了華為CANN團隊與生態(tài)伙伴悟空圖像的深度協(xié)作，雙方圍繞SDXL(Stable Diffusion XL)模型的端側(cè)部署展開合作，通過模型瘦身、多風(fēng)格適配與算子優(yōu)化等關(guān)鍵技術(shù)突破，為端側(cè)大模型的落地提供可行的“華為方案”。

從“云端”到“端側(cè)”：破解大模型落地的三大難題

端側(cè)AI大模型的部署長期面臨三大挑戰(zhàn)：

模型體積龐大：大模型參數(shù)規(guī)模可達(dá)數(shù)十億甚至百億級，端側(cè)設(shè)備面臨非常大的內(nèi)存壓力;

推理延遲高：端側(cè)算力有限，復(fù)雜模型難以實現(xiàn)實時響應(yīng);

風(fēng)格單一化：單一模型難以滿足用戶多樣化創(chuàng)作需求。

針對這些痛點，CANN團隊提出“瘦身—加速—靈活”三位一體技術(shù)路徑，實現(xiàn)大模型在端側(cè)的高效落地。

模型瘦身：量化技術(shù)讓大模型輕裝上陣

模型體積是端側(cè)部署的首要門檻。

依托CANN端云一致的異構(gòu)計算架構(gòu)及內(nèi)置量化能力，雙方團隊通過混合精度量化，將SDXL模型的體積大幅度壓縮，同時高度保留原始精度。

這一優(yōu)化不僅能高效壓縮模型在端側(cè)的存儲空間，還能使得推理時的內(nèi)存帶寬顯著減少。該方案已在麒麟芯片NPU完成驗證，為端側(cè)大模型的高效運行奠定了堅實基礎(chǔ)。

多風(fēng)格適配：LoRA微調(diào)讓AI創(chuàng)作更懂用戶

端側(cè)AI的核心價值在于“個性化”。

為實現(xiàn)“一鍵切換藝術(shù)風(fēng)格”的創(chuàng)作體驗，團隊引入LoRA(Low-Rank Adaptation)微調(diào)技術(shù)——通過在預(yù)訓(xùn)練模型中引入低秩適配器(Low-Rank Adapters)，僅需訓(xùn)練數(shù)千個可訓(xùn)練參數(shù)(約占原模型的0.1%)，即可快速適配不同風(fēng)格(如夢幻糖衣、汽車、像素等)。

憑借LoRA的輕量化特性，用戶點擊風(fēng)格切換后畫面可瞬間重構(gòu)，讓AI從“固定工具”真正成為“創(chuàng)作伙伴”。

算子適配：Ascend C打通端側(cè)部署“最后一公里”

端側(cè)大模型落地不僅依賴模型優(yōu)化，更需要底層算子與硬件的深度協(xié)同。CANN作為業(yè)界首個同時支持云側(cè)和端側(cè)NPU自定義算子編程的解決方案，通過Ascend C算子編程語言結(jié)合華為自研的Da Vinci架構(gòu)，為開發(fā)者提供“端云一致的開發(fā)體驗”。悟空圖像團隊基于Ascend C算子編程語言完成了SDXL模型關(guān)鍵算子的NPU優(yōu)化與融合調(diào)度。

這一技術(shù)可以提供一定靈活性，使得開發(fā)者可以更加自主的部署端側(cè)模型。

從“可用”到“好用”：端側(cè)AI生態(tài)的加速躍遷

此次合作的成功落地，不僅是單一功能的發(fā)布，更標(biāo)志著端側(cè)AI生態(tài)的一次系統(tǒng)升級：

技術(shù)普惠化：通過模型量化、LoRA微調(diào)等技術(shù)優(yōu)化，開發(fā)者可低成本實現(xiàn)大模型端側(cè)部署，推動AI能力從“云端”向“終端”普惠延伸;

場景多元化：端側(cè)大模型的低延遲與個性化特性，為創(chuàng)意設(shè)計(如AI繪畫)、智能交互(如個性化助手)等場景帶來更多想象空間。例如，未來用戶可在PC端用AI閃繪快速生成多風(fēng)格插畫;

生態(tài)協(xié)同化：CANN平臺底座與悟空圖像的AI應(yīng)用能力結(jié)合，為行業(yè)樹立了“芯片—框架—應(yīng)用”協(xié)同創(chuàng)新的標(biāo)桿，吸引更多開發(fā)者加入端側(cè)AI生態(tài)，共同做大產(chǎn)業(yè)蛋糕。

展望未來

從“實驗室”到“用戶桌面”，從“云端”到“端側(cè)”，AI閃繪功能的本地化是CANN推動AI大模型普惠化的重要里程碑。

未來，華為CANN團隊將持續(xù)深化在計算加速、端云協(xié)同等方向的技術(shù)投入，攜手更多生態(tài)伙伴，共同加速AI從“可用”到“好用”的跨越，讓每一臺設(shè)備都成為智能創(chuàng)造力的源泉。