阿里MNN支持華為NPU，優(yōu)化MNN的性能和精度問題
今天上午據(jù)軟件綠色聯(lián)盟消息，阿里MNN已經(jīng)接入華為 HiAI生態(tài)，正式支持華為NPU。
據(jù)了解，阿里MNN為Mobile Neural Network，是阿里巴巴淘系技術(shù)部開源的端側(cè)推理引擎，目前已覆蓋淘寶、天貓、優(yōu)酷和UC等20多個手機應用，每天穩(wěn)定運行超過500億次，已經(jīng)接受了兩屆“雙11”的考驗。
官方表示，當App功能日益強大時，性能和精度的矛盾就逾顯尖銳；官方表示利用HiAI Foundation芯片能力開放，阿里MNN快速轉(zhuǎn)化和遷移已有模型，并借助異構(gòu)調(diào)度和NPU加速，大幅提升應用算力和能效比，可以優(yōu)化MNN的性能和精度問題。比如會加快以圖搜圖的搜索速度，耗電方面也會降低；此外，掃商家Logo也是運用了此功能。
責任編輯：gt
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
華為
+關(guān)注
關(guān)注
218文章
35962瀏覽量
262054 -
阿里
+關(guān)注
關(guān)注
6文章
465瀏覽量
34187
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
IMX95 - NPU 不工作的原因？怎么解決？
: Created TensorFlow Lite XNNPACK delegate for CPU.
我的問題是：哪個 SDK 版本真正正確支持 NPU？會升級到最新版本內(nèi)核 6.12.34可能有幫助嗎？我寧愿不回滾到內(nèi)核 6.6如果可能的話。謝謝。
發(fā)表于 02-26 11:21
【新品發(fā)布】艾為重磅發(fā)布端側(cè)AI高性能NPU語音芯片，打造智能語音體驗新標桿
數(shù)模龍頭艾為電子全新推出高性能NPU神經(jīng)網(wǎng)絡(luò)智能語音處理芯片：AWA89601，集成音頻專用NPU（神經(jīng)網(wǎng)絡(luò)處理器），通過聲音模型訓練與NPU硬件結(jié)合，該芯片在AI降噪、AI人聲增強、
瑞芯微SOC智能視覺AI處理器
。B2版本通常在功耗、穩(wěn)定性和部分外圍接口支持上有所優(yōu)化。NPU: 集成0.8 TOPS的NPU，支持INT8/INT16混合運算，能滿足大
發(fā)表于 12-19 13:44
如何利用NPU與模型壓縮技術(shù)優(yōu)化邊緣AI
隨著人工智能模型從設(shè)計階段走向?qū)嶋H部署，工程師面臨著雙重挑戰(zhàn)：在計算能力和內(nèi)存受限的嵌入式設(shè)備上實現(xiàn)實時性能。神經(jīng)處理單元(NPU)作為強大的硬件解決方案，擅長處理 AI 模型密集的計算需求。然而
實戰(zhàn)RK3568性能調(diào)優(yōu)：如何利用迅為資料壓榨NPU潛能-在Android系統(tǒng)中使用NPU
《實戰(zhàn)RK3568性能調(diào)優(yōu)：如何利用迅為資料壓榨NPU潛能-在Android系統(tǒng)中使用NPU》
開源鴻蒙MNN AI應用開發(fā)與MNN移植經(jīng)驗
本期內(nèi)容由AI Model SIG提供，介紹了在開源鴻蒙中，利用MNN開源框架開發(fā)AI應用以及基于MNN源碼編譯與Har包封裝的方法。
基于米爾瑞芯微RK3576開發(fā)板的Qwen2-VL-3B模型NPU多模態(tài)部署評測
RKLLM-Toolkit），支持 Hugging Face 格式模型的量化（如 w4a16、w8a8）和優(yōu)化，適配 RK3588、RK3576 等高性能 NPU 芯片，通過降低模型
發(fā)表于 08-29 18:08
無法在NPU上推理OpenVINO?優(yōu)化的 TinyLlama 模型怎么解決？
在 NPU 上推斷 OpenVINO?優(yōu)化的 TinyLlama 模型。
遇到的錯誤：
get_shape was called on a descriptor::Tensor with dynamic shape
發(fā)表于 07-11 06:58
鴻蒙5開發(fā)寶藏案例分享---性能優(yōu)化案例解析
鴻蒙性能優(yōu)化寶藏指南：實戰(zhàn)工具與代碼案例解析
大家好呀！今天在翻鴻蒙開發(fā)者文檔時，意外挖到一個 性能優(yōu)化寶藏庫 ——原來官方早就提供了超多實用工具和案例，但很多小伙伴可能沒發(fā)現(xiàn)！這篇就
發(fā)表于 06-12 16:36
芯原超低能耗NPU可為移動端大語言模型推理提供超40 TOPS算力
AI需求而設(shè)計，不僅能夠為AI PC等終端設(shè)備提供強勁算力支持，而且能夠應對智慧手機等移動終端對低能耗更為嚴苛的挑戰(zhàn)。 芯原的超低能耗NPU IP具備高度可配置、可擴展的架構(gòu)，支持混合精度
瑞芯微NPU使用攻略
核心要點：定義與功能硬件加速單元：RKNPU是集成在瑞芯微芯片中的專用NPU，專注于加速深度學習算法，如圖像識別、目標檢測、語音處理等，同時優(yōu)化功耗與性能平衡。支
HarmonyOS優(yōu)化應用內(nèi)存占用問題性能優(yōu)化一
應用開發(fā)過程中注重內(nèi)存管理，積極采取措施來減少內(nèi)存占用，以優(yōu)化應用程序的性能和用戶體驗。
HarmonyOS提供了一些內(nèi)存管理的工具和接口，幫助開發(fā)者有效地管理內(nèi)存資源：
onMemoryLevel接口
發(fā)表于 05-21 11:27
Arm CPU適配通義千問Qwen3系列模型
與阿里巴巴開源的輕量級深度學習框架 MNN 已深度集成。得益于此，Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型能夠在搭載 Arm 架構(gòu) CPU 的移動設(shè)備上無縫運行，為用戶提供卓越的端側(cè) AI 推理能力。
超越CPU/GPU：NPU如何讓AI“輕裝上陣”？
和計算速度上更具優(yōu)勢，尤其適合移動設(shè)備、邊緣計算和嵌入式AI場景。 ? NPU有幾大核心特點：其一是專用架構(gòu)，針對神經(jīng)網(wǎng)絡(luò)計算優(yōu)化，支持并行處理大量矩陣運算（如INT8/FP16低精度
Arm與阿里巴巴合作加速端側(cè)多模態(tài)AI體驗
Arm 控股有限公司（納斯達克股票代碼：ARM，以下簡稱“Arm”）近日發(fā)布與阿里巴巴淘天集團輕量級深度學習框架 MNN 的又一新合作。
工商網(wǎng)監(jiān)
評論