阿里MNN支持華為NPU，優(yōu)化MNN的性能和精度問(wèn)題
今天上午據(jù)軟件綠色聯(lián)盟消息，阿里MNN已經(jīng)接入華為 HiAI生態(tài)，正式支持華為NPU。
據(jù)了解，阿里MNN為Mobile Neural Network，是阿里巴巴淘系技術(shù)部開(kāi)源的端側(cè)推理引擎，目前已覆蓋淘寶、天貓、優(yōu)酷和UC等20多個(gè)手機(jī)應(yīng)用，每天穩(wěn)定運(yùn)行超過(guò)500億次，已經(jīng)接受了兩屆“雙11”的考驗(yàn)。
官方表示，當(dāng)App功能日益強(qiáng)大時(shí)，性能和精度的矛盾就逾顯尖銳；官方表示利用HiAI Foundation芯片能力開(kāi)放，阿里MNN快速轉(zhuǎn)化和遷移已有模型，并借助異構(gòu)調(diào)度和NPU加速，大幅提升應(yīng)用算力和能效比，可以優(yōu)化MNN的性能和精度問(wèn)題。比如會(huì)加快以圖搜圖的搜索速度，耗電方面也會(huì)降低；此外，掃商家Logo也是運(yùn)用了此功能。
責(zé)任編輯：gt
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
華為
+關(guān)注
關(guān)注
217文章
35772瀏覽量
260605 -
阿里
+關(guān)注
關(guān)注
6文章
462瀏覽量
34011
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
如何利用NPU與模型壓縮技術(shù)優(yōu)化邊緣AI
隨著人工智能模型從設(shè)計(jì)階段走向?qū)嶋H部署，工程師面臨著雙重挑戰(zhàn)：在計(jì)算能力和內(nèi)存受限的嵌入式設(shè)備上實(shí)現(xiàn)實(shí)時(shí)性能。神經(jīng)處理單元(NPU)作為強(qiáng)大的硬件解決方案，擅長(zhǎng)處理 AI 模型密集的計(jì)算需求。然而
實(shí)戰(zhàn)RK3568性能調(diào)優(yōu)：如何利用迅為資料壓榨NPU潛能-在Android系統(tǒng)中使用NPU
《實(shí)戰(zhàn)RK3568性能調(diào)優(yōu)：如何利用迅為資料壓榨NPU潛能-在Android系統(tǒng)中使用NPU》
開(kāi)源鴻蒙MNN AI應(yīng)用開(kāi)發(fā)與MNN移植經(jīng)驗(yàn)
本期內(nèi)容由AI Model SIG提供，介紹了在開(kāi)源鴻蒙中，利用MNN開(kāi)源框架開(kāi)發(fā)AI應(yīng)用以及基于MNN源碼編譯與Har包封裝的方法。
基于米爾瑞芯微RK3576開(kāi)發(fā)板的Qwen2-VL-3B模型NPU多模態(tài)部署評(píng)測(cè)
RKLLM-Toolkit），支持 Hugging Face 格式模型的量化（如 w4a16、w8a8）和優(yōu)化，適配 RK3588、RK3576 等高性能 NPU 芯片，通過(guò)降低模型
發(fā)表于 08-29 18:08
無(wú)法在NPU上推理OpenVINO?優(yōu)化的 TinyLlama 模型怎么解決？
在 NPU 上推斷 OpenVINO?優(yōu)化的 TinyLlama 模型。
遇到的錯(cuò)誤：
get_shape was called on a descriptor::Tensor with dynamic shape
發(fā)表于 07-11 06:58
芯原超低能耗NPU可為移動(dòng)端大語(yǔ)言模型推理提供超40 TOPS算力
AI需求而設(shè)計(jì)，不僅能夠?yàn)锳I PC等終端設(shè)備提供強(qiáng)勁算力支持，而且能夠應(yīng)對(duì)智慧手機(jī)等移動(dòng)終端對(duì)低能耗更為嚴(yán)苛的挑戰(zhàn)。 芯原的超低能耗NPU IP具備高度可配置、可擴(kuò)展的架構(gòu)，支持混合精度
瑞芯微NPU使用攻略
核心要點(diǎn)：定義與功能硬件加速單元：RKNPU是集成在瑞芯微芯片中的專用NPU，專注于加速深度學(xué)習(xí)算法，如圖像識(shí)別、目標(biāo)檢測(cè)、語(yǔ)音處理等，同時(shí)優(yōu)化功耗與性能平衡。支
HarmonyOS優(yōu)化應(yīng)用內(nèi)存占用問(wèn)題性能優(yōu)化一
應(yīng)用開(kāi)發(fā)過(guò)程中注重內(nèi)存管理，積極采取措施來(lái)減少內(nèi)存占用，以優(yōu)化應(yīng)用程序的性能和用戶體驗(yàn)。
HarmonyOS提供了一些內(nèi)存管理的工具和接口，幫助開(kāi)發(fā)者有效地管理內(nèi)存資源：
onMemoryLevel接口
發(fā)表于 05-21 11:27
Arm CPU適配通義千問(wèn)Qwen3系列模型
與阿里巴巴開(kāi)源的輕量級(jí)深度學(xué)習(xí)框架 MNN 已深度集成。得益于此，Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型能夠在搭載 Arm 架構(gòu) CPU 的移動(dòng)設(shè)備上無(wú)縫運(yùn)行，為用戶提供卓越的端側(cè) AI 推理能力。
超越CPU/GPU：NPU如何讓AI“輕裝上陣”？
和計(jì)算速度上更具優(yōu)勢(shì)，尤其適合移動(dòng)設(shè)備、邊緣計(jì)算和嵌入式AI場(chǎng)景。 ? NPU有幾大核心特點(diǎn)：其一是專用架構(gòu)，針對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算優(yōu)化，支持并行處理大量矩陣運(yùn)算（如INT8/FP16低精度
Arm與阿里巴巴合作加速端側(cè)多模態(tài)AI體驗(yàn)
Arm 控股有限公司（納斯達(dá)克股票代碼：ARM，以下簡(jiǎn)稱“Arm”）近日發(fā)布與阿里巴巴淘天集團(tuán)輕量級(jí)深度學(xué)習(xí)框架 MNN 的又一新合作。
安謀科技“周易”NPU成功部署DeepSeek-R1
近日，安謀科技宣布其最新一代“周易”NPU處理器硬件平臺(tái)已成功運(yùn)行DeepSeek-R1系列模型，實(shí)現(xiàn)了軟硬件協(xié)同優(yōu)化的卓越性能與成本效益。這一突破性進(jìn)展為用戶帶來(lái)了更加高效、便捷的AI
MPLS網(wǎng)絡(luò)性能優(yōu)化技巧
MPLS（多協(xié)議標(biāo)簽交換）網(wǎng)絡(luò)性能優(yōu)化是一個(gè)復(fù)雜的過(guò)程，涉及多個(gè)方面的技術(shù)和策略。以下是一些關(guān)鍵的MPLS網(wǎng)絡(luò)性能優(yōu)化技巧： 一、確保網(wǎng)絡(luò)設(shè)備支持
軟硬協(xié)同優(yōu)化，安謀科技新一代“周易”NPU實(shí)現(xiàn)DeepSeek-R1端側(cè)高效部署
優(yōu)化的架構(gòu)設(shè)計(jì)，其beta版本在2024年底已面向早期用戶開(kāi)放評(píng)估測(cè)試，并獲得了廣泛認(rèn)可與積極反饋。 預(yù)計(jì)今年上半年，這款備受期待的 NPU 產(chǎn)品將正式亮相市場(chǎng)，屆時(shí)將為更多用戶帶來(lái)突破性的端側(cè)算力體驗(yàn)。 DeepSeek自發(fā)布以來(lái)，憑借其出色的
發(fā)表于 02-14 10:52
?294次閱讀
華為云 X 實(shí)例 CPU 性能測(cè)試詳解與優(yōu)化策略
分析 ? 3.2 CPU性能瓶頸分析 ? 4. CPU性能優(yōu)化策略 ? 4.1 優(yōu)化CPU性能的常用方法 ? 4.2 操作系統(tǒng)內(nèi)核調(diào)優(yōu) ?
工商網(wǎng)監(jiān)
評(píng)論