阿里MNN支持華為NPU，優(yōu)化MNN的性能和精度問題
今天上午據(jù)軟件綠色聯(lián)盟消息，阿里MNN已經(jīng)接入華為 HiAI生態(tài)，正式支持華為NPU。
據(jù)了解，阿里MNN為Mobile Neural Network，是阿里巴巴淘系技術部開源的端側(cè)推理引擎，目前已覆蓋淘寶、天貓、優(yōu)酷和UC等20多個手機應用，每天穩(wěn)定運行超過500億次，已經(jīng)接受了兩屆“雙11”的考驗。
官方表示，當App功能日益強大時，性能和精度的矛盾就逾顯尖銳；官方表示利用HiAI Foundation芯片能力開放，阿里MNN快速轉(zhuǎn)化和遷移已有模型，并借助異構調(diào)度和NPU加速，大幅提升應用算力和能效比，可以優(yōu)化MNN的性能和精度問題。比如會加快以圖搜圖的搜索速度，耗電方面也會降低；此外，掃商家Logo也是運用了此功能。
責任編輯：gt
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
華為
+關注
關注
216文章
35573瀏覽量
259275 -
阿里
+關注
關注
6文章
462瀏覽量
33902
發(fā)布評論請先 登錄
相關推薦
熱點推薦
開源鴻蒙MNN AI應用開發(fā)與MNN移植經(jīng)驗
本期內(nèi)容由AI Model SIG提供，介紹了在開源鴻蒙中，利用MNN開源框架開發(fā)AI應用以及基于MNN源碼編譯與Har包封裝的方法。
無法在NPU上推理OpenVINO?優(yōu)化的 TinyLlama 模型怎么解決？
在 NPU 上推斷 OpenVINO?優(yōu)化的 TinyLlama 模型。
遇到的錯誤：
get_shape was called on a descriptor::Tensor with dynamic shape
發(fā)表于 07-11 06:58
芯原超低能耗NPU可為移動端大語言模型推理提供超40 TOPS算力
AI需求而設計，不僅能夠為AI PC等終端設備提供強勁算力支持，而且能夠應對智慧手機等移動終端對低能耗更為嚴苛的挑戰(zhàn)。 芯原的超低能耗NPU IP具備高度可配置、可擴展的架構，支持混合精度
超越CPU/GPU：NPU如何讓AI“輕裝上陣”？
和計算速度上更具優(yōu)勢，尤其適合移動設備、邊緣計算和嵌入式AI場景。 ? NPU有幾大核心特點：其一是專用架構，針對神經(jīng)網(wǎng)絡計算優(yōu)化，支持并行處理大量矩陣運算（如INT8/FP16低精度
Arm與阿里巴巴合作加速端側(cè)多模態(tài)AI體驗
Arm 控股有限公司（納斯達克股票代碼：ARM，以下簡稱“Arm”）近日發(fā)布與阿里巴巴淘天集團輕量級深度學習框架 MNN 的又一新合作。
MPLS網(wǎng)絡性能優(yōu)化技巧
MPLS（多協(xié)議標簽交換）網(wǎng)絡性能優(yōu)化是一個復雜的過程，涉及多個方面的技術和策略。以下是一些關鍵的MPLS網(wǎng)絡性能優(yōu)化技巧： 一、確保網(wǎng)絡設備支持
軟硬協(xié)同優(yōu)化，安謀科技新一代“周易”NPU實現(xiàn)DeepSeek-R1端側(cè)高效部署
優(yōu)化的架構設計，其beta版本在2024年底已面向早期用戶開放評估測試，并獲得了廣泛認可與積極反饋。 預計今年上半年，這款備受期待的 NPU 產(chǎn)品將正式亮相市場，屆時將為更多用戶帶來突破性的端側(cè)算力體驗。 DeepSeek自發(fā)布以來，憑借其出色的
發(fā)表于 02-14 10:52
?262次閱讀
NPU支持的編程語言有哪些
NPU（Neural Processing Unit）是一種專門為深度學習和人工智能應用設計的處理器。NPU支持的編程語言通常與它所集成的平臺或框架緊密相關。以下是一些常見的編程語言和框架，它們可以
NPU的工作原理解析
隨著人工智能技術的快速發(fā)展，深度學習算法在各個領域得到了廣泛應用。為了滿足日益增長的計算需求，NPU應運而生。 NPU的基本概念 NPU是一種專用硬件加速器，專門為深度學習算法設計。它通過優(yōu)化
如何選擇合適的NPU型號
、智能家居等）來選擇NPU。不同場景對NPU的性能、功耗、靈活性等要求不同。 性能需求 ： 確定您需要的計算性能，包括TOPS（每秒萬億次浮
NPU在邊緣計算中的優(yōu)勢
和GPU相比，NPU在處理神經(jīng)網(wǎng)絡相關的計算任務時，能夠提供更高的能效比和更快的處理速度。NPU通過優(yōu)化數(shù)據(jù)流和計算結構，使得神經(jīng)網(wǎng)絡的前向傳播和反向傳播更加高效。 NPU在邊緣計算中
NPU技術如何提升AI性能
隨著人工智能技術的飛速發(fā)展，深度學習作為AI領域的核心驅(qū)動力，對計算能力的需求日益增長。NPU技術應運而生，為AI性能的提升提供了強大的硬件支持。 NPU技術概述
什么是NPU芯片及其功能
在人工智能（AI）技術迅猛發(fā)展的今天，NPU芯片已經(jīng)成為推動這一領域進步的關鍵技術之一。NPU芯片，即神經(jīng)網(wǎng)絡處理單元，是一種專門為深度學習算法設計的硬件加速器。 一、NPU芯片的概念 NPU
NPU與GPU的性能對比
NPU（Neural Processing Unit，神經(jīng)網(wǎng)絡處理單元）與GPU（Graphics Processing Unit，圖形處理單元）在性能上各有千秋，它們各自的設計初衷和優(yōu)化方向決定了
NPU在深度學習中的應用
設計的硬件加速器，它在深度學習中的應用日益廣泛。 1. NPU的基本概念 NPU是一種專門針對深度學習算法優(yōu)化的處理器，它與傳統(tǒng)的CPU和GPU有所不同。NPU通常具有高度并行的處理能
工商網(wǎng)監(jiān)
評論