一、概述

隨著人工智能（AI）技術(shù)不斷演進(jìn)至工業(yè)自動(dòng)化、智慧交通、醫(yī)療護(hù)理與消費(fèi)性電子等領(lǐng)域，過(guò)去依賴的中央處理器（CPU）與圖形處理器（GPU）在能效與實(shí)時(shí)性需求面前，逐漸顯得力不從心。為滿足日益增長(zhǎng)的 AI 推理需求，專為神經(jīng)網(wǎng)絡(luò)運(yùn)算設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)處理單元（Neural Processing Unit，簡(jiǎn)稱 NPU）應(yīng)運(yùn)而生，成為新一代邊緣 AI 芯片不可或缺的核心組件。

驅(qū)動(dòng)邊緣AI芯片應(yīng)用的核心引擎NPU，通過(guò)專為深度學(xué)習(xí)運(yùn)算（如卷積神經(jīng)網(wǎng)絡(luò)CNN、遞歸神經(jīng)網(wǎng)絡(luò)RNN）設(shè)計(jì)的指令集與硬件架構(gòu)，能夠以極高效的方式運(yùn)行。低功耗實(shí)現(xiàn)高性能推理，讓各類終端設(shè)備在無(wú)需依賴云端的情況下，即可獨(dú)立完成物體檢測(cè)、人臉識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等 AI 任務(wù)，即所謂的 邊緣計(jì)算（Edge Computing）。

與 GPU 相比，雖然 GPU 擁有強(qiáng)大的并行處理能力并適合于模型訓(xùn)練與開(kāi)發(fā)，特別是在數(shù)據(jù)中心或高性能計(jì)算領(lǐng)域，但在能效與實(shí)時(shí)性方面仍有一定限制。NPU 則針對(duì) AI 推理所需的矩陣運(yùn)算、卷積操作與非線性激活等核心流程進(jìn)行硬件優(yōu)化，不僅大幅降低功耗，還能縮短推理延遲特別適合部署于智能手機(jī)、邊緣服務(wù)器、智能車輛、智能醫(yī)療、智能監(jiān)控、工業(yè)機(jī)器人及物聯(lián)網(wǎng)設(shè)備等對(duì)響應(yīng)速度與能源效率有高度要求的場(chǎng)景中。隨著邊緣AI應(yīng)用持續(xù)擴(kuò)大，NPU 將成為驅(qū)動(dòng)智能化設(shè)備與系統(tǒng)演進(jìn)的重要推動(dòng)力。

圖文出處：生成式 AI 軟件

DeepX：引領(lǐng)智能新浪潮的造勢(shì)者

在邊緣計(jì)算浪潮中，DeepX 為韓國(guó)新創(chuàng)的AI芯片公司，擁有約 240 多項(xiàng)智能專利[link] 并在 CES 2024 一次榮獲嵌入式、機(jī)器人三項(xiàng)創(chuàng)新獎(jiǎng)[link]、電腦整合等等大獎(jiǎng)。甚至被美國(guó)消費(fèi)者技術(shù)協(xié)會(huì) （CTA） 評(píng)為“必訪公司”，成為全球市場(chǎng)的焦點(diǎn) [link] 。

DeepX DX-M1 的 NPU 芯片強(qiáng)勢(shì)來(lái)襲，憑借著強(qiáng)大的邊緣計(jì)算能力（25TOPS） 以及 IQ8（Intelligent Quantization Integer 8）獨(dú)家的量化技術(shù)，足夠媲美 GPU 的準(zhǔn)確度突破了傳統(tǒng)整數(shù)運(yùn)算解決方案的限制，助力推動(dòng)更精確的AI推理場(chǎng)景。在功耗和溫度表現(xiàn)方面更是表現(xiàn)出色，脫穎而出。DeepX 高性能 AI 解決方案在 低功耗（5 TFLOPS/W）與極低的工作溫度 39°C 下提供 25 TOPS 的卓越性能，成為智慧監(jiān)控、智慧醫(yī)療、智慧制造等邊緣 AI 應(yīng)用的唯一首選。

軟件持續(xù)優(yōu)化更新：打造最佳用戶體驗(yàn)

DeepX 不僅擁有強(qiáng)大的硬件性能，并且打造了一個(gè)完整且友好的軟件生態(tài)系統(tǒng)，為開(kāi)發(fā)者提供全方位的支持。其生態(tài)系統(tǒng)包含詳細(xì)的快速入門指南（Quick Start Guide）、功能強(qiáng)大的軟件開(kāi)發(fā)工具包（SDK）、豐富的模型資源庫(kù)（Model Zoo），以及多樣化的示例應(yīng)用程序。這些資源能有效協(xié)助開(kāi)發(fā)者迅速整合并優(yōu)化 AI 模型的運(yùn)行，縮短開(kāi)發(fā)時(shí)間，同時(shí)提升應(yīng)用性能，讓 AI 創(chuàng)新變得更加輕松實(shí)現(xiàn)。

卓越的AI性能

利用 DeepX DX-M1 芯片運(yùn)行當(dāng)前最熱門的 YOLOv5s （640x640） 目標(biāo)檢測(cè)算法，可輕松達(dá)到每秒約 330 張。

二、DeepX DX-M1 引領(lǐng) AI 智能新浪潮的造勢(shì)者

深度X于 2018 年由 Lokwon Kim 創(chuàng)立并擔(dān)任首席執(zhí)行官。其理念是打造業(yè)界領(lǐng)先的設(shè)備端 AI（On-device AI）芯片，期望每個(gè)人無(wú)論身處何地都可以使用 AI。通過(guò) DeepX 的開(kāi)發(fā)設(shè)計(jì)，實(shí)現(xiàn)低功耗、高性能、低成本的人工智能半導(dǎo)體，使所有設(shè)備都變得智能化。鏈接其成就已受到各大社交媒體與國(guó)際組織青睞，并與眾多合作伙伴共同創(chuàng)造新的智能未來(lái)，如 友通資訊 DFI[鏈接]、樂(lè)金LG [鏈接] 、映泰 BIOSTAR [鏈接]、英業(yè)達(dá) [鏈接] 等知名企業(yè)。

DX-M1 是 DeepX 最新的一代芯片。具有高計(jì)算能力（1W / 5 TFLOPS）、高精度、低功耗、低溫度高跨平臺(tái)整合性等優(yōu)勢(shì)，其中以 IQ8（智能量化整數(shù)8）量化技術(shù)，在擁有 INT8 的極致效率的同時(shí)也能享受到 FP32精度 實(shí)現(xiàn)無(wú)與倫比的 AI 精度 [鏈接]。并提供豐富的模塊資源，能夠讓用戶體驗(yàn)更完善的 AI 資源整合，因此推出了 DX-M1 M.2 AI Accelerator 加速卡，如下圖所示。加速卡配置了 4G 的 LPDDR5 內(nèi)存，讓用戶可以盡情地將模塊放入 DX-M1 芯片運(yùn)行，并且內(nèi)置搭配一顆 Cortex M55@1Ghz 協(xié)同處理部分算子，同時(shí)確保模塊的隱私性（Security）。

規(guī)格

優(yōu)勢(shì)介紹

（1） 采用 IQ8 （Intelligent Quantization Integer 8） 量化技術(shù)，能夠媲美 GPU 的精確度。

（2） 不占用系統(tǒng)內(nèi)存

（3） 具備高性能、高準(zhǔn)確度、低功耗、低溫度等特性擁有 25 TOPS 的 AI 性能僅需花費(fèi) 4.5 W

（4） 最佳數(shù)據(jù)流優(yōu)化，能夠最大限度地減少數(shù)據(jù)移動(dòng)

（5） 豐富的軟件應(yīng)用資源，能夠提供市場(chǎng)所需的解決方案

圖文出處：DeepX 文件

軟件框架 （Software Framework）

DXNN系統(tǒng)由三大核心組件構(gòu)成，分別是量化器（Quantizer）、編譯器（DX-COM Compiler）以及運(yùn)行時(shí)環(huán)境（DX-RT Runtime），共同驅(qū)動(dòng)旗下的DeepX AI SoC系列產(chǎn)品。這些組件相互協(xié)作，形成一個(gè)高效的人工智能運(yùn)算平臺(tái)，為各種應(yīng)用場(chǎng)景提供強(qiáng)大的支持。以下圖示范說(shuō)明其架構(gòu)：

圖文出處：DeepX官網(wǎng)

下列表格是 GPU 與 DX-M1 的準(zhǔn)確度分析，其中綠字表示 Full Precision 代表 GPU。藍(lán)字表示 IQ8 代表 DeepX NPU。（實(shí)際數(shù)據(jù)會(huì)隨 SDK 版本變動(dòng)）

DEMO 示例

DeepX 原廠致力于推動(dòng)人工智能技術(shù)的普及，提供多樣化的 AI 示例與教學(xué)資源，循序漸進(jìn)地引導(dǎo)開(kāi)發(fā)者掌握 AI 應(yīng)用的實(shí)現(xiàn)過(guò)程。通過(guò)這些示例，開(kāi)發(fā)者不僅能深入了解人工智能的核心技術(shù)，還能學(xué)習(xí)如何將其靈活運(yùn)用于實(shí)際場(chǎng)景，從而加速創(chuàng)新與技術(shù)落地。

三、結(jié)語(yǔ)

DeepX 是如何通過(guò) AI 芯片來(lái)改變邊緣人工智能應(yīng)用的客戶體驗(yàn)，從而打造人人可用的 AI 芯片：

1. 極致能效表現(xiàn)

DeepX DX-M1 采用 IQ8 技術(shù)，在僅 4.5W 功耗下，提供高達(dá) 25 TOPS 的推理性能，遠(yuǎn)優(yōu)于傳統(tǒng) GPU，特別適合需要高性能與低功耗的邊緣計(jì)算場(chǎng)景。

2. 近乎浮點(diǎn)精度的整數(shù)運(yùn)算（高精度 INT8）

通過(guò) IQ8 智能量化技術(shù)，DX-M1 能夠在 INT8 整數(shù)格式下實(shí)現(xiàn)接近 FP32 浮點(diǎn)精度，確保模型推理的高準(zhǔn)確率，無(wú)需額外的模型修改或重新訓(xùn)練。

3. 完整且友好的開(kāi)發(fā)生態(tài)（Developer-Friendly Ecosystem）

提供完善的SDK、模型資源庫(kù)（Model Zoo）與各類示例應(yīng)用，加速開(kāi)發(fā)者導(dǎo)入與部署，降低學(xué)習(xí)門檻，快速實(shí)現(xiàn)產(chǎn)品。

4. 高度集成模塊設(shè)計(jì)（緊湊型和集成模塊）

DX-M1 M.2 AI 加速卡內(nèi)置4GB LPDDR5內(nèi)存和Cortex-M55協(xié)處理器，提供大容量?jī)?nèi)存，可支持多個(gè)AI模型應(yīng)用，方便集成到各種終端設(shè)備中。

5. 優(yōu)化數(shù)據(jù)流架構(gòu)

針對(duì)數(shù)據(jù)流設(shè)計(jì)硬件架構(gòu)，減少數(shù)據(jù)搬移成本，大幅提升推理速度與系統(tǒng)響應(yīng)時(shí)間。

6. 低溫運(yùn)行，無(wú)需散熱設(shè)計(jì)（Low Temperature Operation）

DX-M1 即使在高運(yùn)算負(fù)載下，運(yùn)行溫度仍可控制在 39°C 左右，無(wú)需額外風(fēng)扇或散熱器設(shè)計(jì)，降低系統(tǒng)復(fù)雜度與成本。

因此，DeepX 憑借其創(chuàng)新的 DX-M1 解決方案，正在重新定義邊緣人工智能的技術(shù)標(biāo)準(zhǔn)。從高性能、低功耗、高準(zhǔn)確度，到完善的軟件支持與模塊整合設(shè)計(jì)，DeepX 正為邊緣AI的快速普及與落地提供堅(jiān)實(shí)后盾。其核心技術(shù)不僅解決了傳統(tǒng) GPU、CPU在能效與實(shí)時(shí)性上的瓶頸，也為開(kāi)發(fā)者與企業(yè)用戶提供了靈活、快速且高可靠性的AI解決方案。

隨著人工智能在零售、智慧城市、醫(yī)療護(hù)理、工業(yè)4.0等領(lǐng)域的蓬勃發(fā)展，DeepX正站在邊緣計(jì)算技術(shù)的浪潮之巔，持續(xù)推動(dòng)智慧世界的實(shí)現(xiàn)。借助原廠提供的各類開(kāi)發(fā)資源與示例指引，AI 已不再遙不可及，只需按照簡(jiǎn)單步驟，就能快速實(shí)現(xiàn)各種創(chuàng)新應(yīng)用。如果您是想試用或采購(gòu) DeepX DX-M1 產(chǎn)品的新伙伴，請(qǐng)立即聯(lián)系我們！謝謝！

四、參考文件

新聞介紹：

[1] 韓國(guó)初創(chuàng)公司DEEPX重押臺(tái)灣！攜手英業(yè)達(dá)強(qiáng)攻邊緣計(jì)算，力爭(zhēng)打造“人人可用”的AI芯片

[2] DEEPX首席執(zhí)行官Lokwon Kim：打造人人都能使用的AI芯片

[3] DEEPX 助攻！英業(yè)達(dá)最新 AI 服務(wù)器問(wèn)世 強(qiáng)襲 CES 搶單

[4] DEEPX憑借領(lǐng)先AI芯片技術(shù)榮獲三項(xiàng)CES 2024創(chuàng)新獎(jiǎng)

[5] DeepX與LG合作，將先進(jìn)的AI芯片應(yīng)用于移動(dòng)設(shè)備、汽車和家用電器

參考網(wǎng)站：

[1] DeepX官網(wǎng)

[2] DeepX 開(kāi)發(fā)網(wǎng)站

[3] Orange Pi 5 Plus網(wǎng)站

歡迎關(guān)注大聯(lián)大工程師社區(qū)——大大通

登錄大大通網(wǎng)站，查看原文，了解更多詳情！

原文鏈接:https://www.wpgdadatong.com/reurl/IveYZf