阿里MNN支持華為NPU，優(yōu)化MNN的性能和精度問題
今天上午據(jù)軟件綠色聯(lián)盟消息，阿里MNN已經(jīng)接入華為 HiAI生態(tài)，正式支持華為NPU。
據(jù)了解，阿里MNN為Mobile Neural Network，是阿里巴巴淘系技術(shù)部開源的端側(cè)推理引擎，目前已覆蓋淘寶、天貓、優(yōu)酷和UC等20多個手機應(yīng)用，每天穩(wěn)定運行超過500億次，已經(jīng)接受了兩屆“雙11”的考驗。
官方表示，當(dāng)App功能日益強大時，性能和精度的矛盾就逾顯尖銳；官方表示利用HiAI Foundation芯片能力開放，阿里MNN快速轉(zhuǎn)化和遷移已有模型，并借助異構(gòu)調(diào)度和NPU加速，大幅提升應(yīng)用算力和能效比，可以優(yōu)化MNN的性能和精度問題。比如會加快以圖搜圖的搜索速度，耗電方面也會降低；此外，掃商家Logo也是運用了此功能。
責(zé)任編輯：gt
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
華為
+關(guān)注
關(guān)注
216文章
35211瀏覽量
255886 -
阿里
+關(guān)注
關(guān)注
6文章
454瀏覽量
33331
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
無法在NPU上推理OpenVINO?優(yōu)化的 TinyLlama 模型怎么解決？
在 NPU 上推斷 OpenVINO?優(yōu)化的 TinyLlama 模型。
遇到的錯誤：
get_shape was called on a descriptor::Tensor with dynamic shape
發(fā)表于 07-11 06:58
芯原超低能耗NPU可為移動端大語言模型推理提供超40 TOPS算力
AI需求而設(shè)計，不僅能夠為AI PC等終端設(shè)備提供強勁算力支持，而且能夠應(yīng)對智慧手機等移動終端對低能耗更為嚴苛的挑戰(zhàn)。 芯原的超低能耗NPU IP具備高度可配置、可擴展的架構(gòu)，支持混合精度
超越CPU/GPU：NPU如何讓AI“輕裝上陣”？
和計算速度上更具優(yōu)勢，尤其適合移動設(shè)備、邊緣計算和嵌入式AI場景。 ? NPU有幾大核心特點：其一是專用架構(gòu)，針對神經(jīng)網(wǎng)絡(luò)計算優(yōu)化，支持并行處理大量矩陣運算（如INT8/FP16低精度
Arm與阿里巴巴合作加速端側(cè)多模態(tài)AI體驗
Arm 控股有限公司（納斯達克股票代碼：ARM，以下簡稱“Arm”）近日發(fā)布與阿里巴巴淘天集團輕量級深度學(xué)習(xí)框架 MNN 的又一新合作。
MPLS網(wǎng)絡(luò)性能優(yōu)化技巧
MPLS（多協(xié)議標(biāo)簽交換）網(wǎng)絡(luò)性能優(yōu)化是一個復(fù)雜的過程，涉及多個方面的技術(shù)和策略。以下是一些關(guān)鍵的MPLS網(wǎng)絡(luò)性能優(yōu)化技巧： 一、確保網(wǎng)絡(luò)設(shè)備支持
軟硬協(xié)同優(yōu)化，安謀科技新一代“周易”NPU實現(xiàn)DeepSeek-R1端側(cè)高效部署
優(yōu)化的架構(gòu)設(shè)計，其beta版本在2024年底已面向早期用戶開放評估測試，并獲得了廣泛認可與積極反饋。 預(yù)計今年上半年，這款備受期待的 NPU 產(chǎn)品將正式亮相市場，屆時將為更多用戶帶來突破性的端側(cè)算力體驗。 DeepSeek自發(fā)布以來，憑借其出色的
發(fā)表于 02-14 10:52
?191次閱讀
NPU支持的編程語言有哪些
NPU（Neural Processing Unit）是一種專門為深度學(xué)習(xí)和人工智能應(yīng)用設(shè)計的處理器。NPU支持的編程語言通常與它所集成的平臺或框架緊密相關(guān)。以下是一些常見的編程語言和框架，它們可以
NPU的工作原理解析
隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)算法在各個領(lǐng)域得到了廣泛應(yīng)用。為了滿足日益增長的計算需求，NPU應(yīng)運而生。 NPU的基本概念 NPU是一種專用硬件加速器，專門為深度學(xué)習(xí)算法設(shè)計。它通過優(yōu)化
如何選擇合適的NPU型號
、智能家居等）來選擇NPU。不同場景對NPU的性能、功耗、靈活性等要求不同。 性能需求 ： 確定您需要的計算性能，包括TOPS（每秒萬億次浮
NPU在邊緣計算中的優(yōu)勢
和GPU相比，NPU在處理神經(jīng)網(wǎng)絡(luò)相關(guān)的計算任務(wù)時，能夠提供更高的能效比和更快的處理速度。NPU通過優(yōu)化數(shù)據(jù)流和計算結(jié)構(gòu)，使得神經(jīng)網(wǎng)絡(luò)的前向傳播和反向傳播更加高效。 NPU在邊緣計算中
NPU技術(shù)如何提升AI性能
隨著人工智能技術(shù)的飛速發(fā)展，深度學(xué)習(xí)作為AI領(lǐng)域的核心驅(qū)動力，對計算能力的需求日益增長。NPU技術(shù)應(yīng)運而生，為AI性能的提升提供了強大的硬件支持。 NPU技術(shù)概述
NPU與GPU的性能對比
NPU（Neural Processing Unit，神經(jīng)網(wǎng)絡(luò)處理單元）與GPU（Graphics Processing Unit，圖形處理單元）在性能上各有千秋，它們各自的設(shè)計初衷和優(yōu)化方向決定了
NPU在深度學(xué)習(xí)中的應(yīng)用
設(shè)計的硬件加速器，它在深度學(xué)習(xí)中的應(yīng)用日益廣泛。 1. NPU的基本概念 NPU是一種專門針對深度學(xué)習(xí)算法優(yōu)化的處理器，它與傳統(tǒng)的CPU和GPU有所不同。NPU通常具有高度并行的處理能
NXP推出集成NPU的MCU，支持AI邊緣設(shè)備！MCU實現(xiàn)AI功能的多種方式
旨在顯著節(jié)省功耗，可在邊緣端提供高達172倍的AI加速。 ? MCU 集成NPU 支持AI 功能 ? 恩智浦推出的這款i.MX RT700內(nèi)部集成了恩智浦自研的eIQ Neutron NPU，這是一種
名單公布！【書籍評測活動NO.43】 算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析
和像素統(tǒng)一的G80到現(xiàn)在重金難求的H100；AMD的Zen系列CPU和RDNA系列GPU兩線作戰(zhàn)；中國的高性能計算芯片逐步獲得更多TOP500排名；華為Ascend 910 NPU芯片也成為AI時代
發(fā)表于 09-02 10:09
工商網(wǎng)監(jiān)
評論