關(guān)鍵詞：YOLO26、樹莓派、國產(chǎn)AI加速卡、M5Stack、邊緣AI

速度快、功耗低、純國產(chǎn)，樹莓派終于有了真正實用的 AI 加速方案

近年來，隨著 AI 技術(shù)的爆發(fā)式發(fā)展，邊緣智能設(shè)備正成為行業(yè)布局的重點。從工業(yè)質(zhì)檢到智能安防，從機器人視覺到車載感知，AI 模型正快速從“云端”走向“終端”。然而，邊緣設(shè)備往往受限于計算資源與功耗，如何在有限資源下實現(xiàn)高效、實時的 AI 推理，一直是技術(shù)落地的關(guān)鍵挑戰(zhàn)。

左上角可以清晰看到 Infer 時間 < 2ms

• Ultralytics 最新 YOLO26 +樹莓派+國產(chǎn)AI 加速卡實現(xiàn) 500 FPS 端側(cè) AI 性能巔峰！
• 代碼：https://github.com/AXERA-TECH/axcl-samples/blob/main/examples/axcl/ax_yolo26_steps.cc
• 模型：https://huggingface.co/AXERA-TECH/yolo26
• 文檔：https://docs.m5stack.com/zh_CN/ai_hardware/LLM-8850_Card
• 4000 字，閱讀 13 分鐘，播客 14 分鐘

相關(guān)推薦

• 讓手機CPU,GPU,NPU協(xié)同！浙大端側(cè)AI“超級記憶”AME硬件感知引擎：7倍索引加速，6倍插入提速，隱私與速度兼得！
• 小語言模型量化基準體系 SLMQuant：8 位近無損與 W4A8 低比特效能研究
• HeteroLLM：利用移動端 SoC 實現(xiàn) NPU-GPU 并行異構(gòu) LLM 推理！以 高通8 Gen 3的NPU GPU為例

今天，我們?yōu)榇蠹規(guī)硪惶?i>純國產(chǎn)、高性能、易部署的邊緣 AI 解決方案：M5Stack LLM-8850-Card（國產(chǎn) AI 加速卡）與Ultralytics YOLO26n（新一代端側(cè)檢測模型）的強強組合，讓樹莓派等低成本開發(fā)板也能輕松實現(xiàn) < 2 ms 級目標檢測。

左上角可以清晰看到 Infer 時間 < 2ms

相比樹莓派單靠 CPU 運行 YOLO26n 模型，性能提升達幾十到幾百倍：

本文目錄unsetunset

• 一、YOLO26n：為邊緣而生的新一代檢測模型
• 二、M5Stack LLM-8850-Card：樹莓派 AI“小鋼炮”
  • 2.1 硬件參數(shù)
  • 2.2 NPU 工具鏈與軟件生態(tài)
  • 2.3 部分模型 benchmark：視覺、LLM、VLM 模型
• 三、實戰(zhàn)：在樹莓派+LLM-8850 上跑通 YOLO26n
  • 3.1 實現(xiàn)步驟：核心代碼講解
  • 3.2 編譯與運行
• 四、性能實測：推理＜ 2ms，幀率高達 500+FPS
• 總結(jié)：國產(chǎn)邊緣 AI 生態(tài)正當時

交流加群請在NeuralTalk 公眾號后臺回復：加群

unsetunset一、YOLO26n：為邊緣而生的新一代檢測模型unsetunset

Ultralytics YOLO26 與系列前代模型的性能對比可視化。聚焦精度、推理速度、硬件適配性等核心維度。直觀呈現(xiàn) YOLO26 在移除 DFL 模塊、采用 MuSGD 優(yōu)化器后，于邊緣設(shè)備場景下的優(yōu)勢

YOLO26 是 Ultralytics 在 2026 年發(fā)布的最新版本[1]，專為邊緣與低功耗設(shè)備優(yōu)化設(shè)計。其核心特點包括：

• 端到端無 NMS 推理：首次實現(xiàn)真正的端到端預測，無需后處理中的非極大值抑制（NMS），大幅簡化部署流程、降低延遲，提升系統(tǒng)穩(wěn)定性。
• 去除 DFL 模塊：移除了傳統(tǒng)的分布焦點損失（DFL），提升模型導出兼容性，更適合各類邊緣硬件部署。
• CPU 推理性能大幅提升：相比前代，YOLO26 在 CPU 上的推理速度提升最高達 43%，為無 GPU 的設(shè)備帶來實時的 AI 處理能力。
• 支持多任務統(tǒng)一架構(gòu)：一個模型家族覆蓋檢測、分割、分類、姿態(tài)估計、旋轉(zhuǎn)框檢測五大任務，極大簡化開發(fā)與維護成本。

下面表格展示了 YOLO26 系列 5 個不同規(guī)模模型在 COCO 目標檢測數(shù)據(jù)集上的核心性能指標，清晰呈現(xiàn)了模型精度、推理速度、參數(shù)量和計算量的權(quán)衡關(guān)系，為不同部署場景的模型選型提供依據(jù)。

本次我們重點使用的是其最小尺寸版本——YOLO26n，其模型參數(shù)僅2.4M，在 COCO 數(shù)據(jù)集上仍能實現(xiàn)40.9% 的 mAP，是邊緣設(shè)備上平衡精度與速度的理想選擇。

unsetunset二、M5Stack LLM-8850-Card：樹莓派 AI“小鋼炮”unsetunset

盡管樹莓派等開發(fā)板生態(tài)豐富、用戶基數(shù)龐大，但其本身缺乏專用的 NPU（神經(jīng)網(wǎng)絡(luò)處理單元），依賴 CPU 進行 AI 推理往往速度慢、占用率高，難以滿足實時性要求。雖然樹莓派官方有 Hailo 等加速方案，但多為國外芯片，國內(nèi)開發(fā)者面臨采購與技術(shù)支持的不便。

2.1 硬件參數(shù)

在此背景下，深圳 M5Stack 基于愛芯元智(AXERA) AX8850國產(chǎn) AI SoC，精心打造了一款M.2 M-KEY 2242 形態(tài)的 AI 加速卡——LLM-8850-Card，堪稱樹莓派 AI“小鋼炮”。

LLM?8850Card 是一款面向邊緣設(shè)備的 M.2 M-KEY 2242 AI 加速卡，把 42mm 的袖珍體積與 Axera AX8850 SoC 的 24 TOPS@INT8 算力結(jié)合起來，為 Raspberry Pi 5、RK3588 SBCs、x86 PC 等主機 “一插即強” 地擴展多模態(tài)大模型與視頻分析能力

這款計算模塊在性能與體積上實現(xiàn)了完美平衡：

• 它搭載了 AX8850 芯片，集成八核 Cortex-A55 CPU 并提供高達 24 TOPS @ INT8 的 NPU 算力，同時配備 8GB LPDDR4x 大內(nèi)存，為多模型、多任務并行提供了充足的帶寬與強勁算力支持。
• 在多媒體處理方面，該模塊集成了強大的硬件視頻引擎，支持 8K H.264/H.265 編解碼，可同時處理 16 路 1080p 視頻流，從而實現(xiàn)“視頻+AI”的一站式高效處理。

盡管性能強大，其體積卻極為小巧精悍42.6 × 24.0 × 9.7 mm，采用 M.2 2242 標準尺寸，可直接插入樹莓派 5、RK3588 等開發(fā)板的 M.2 接口，真正做到即插即用；為了確保長時間滿載運行的穩(wěn)定性，模塊還內(nèi)置了微型渦輪風扇與鋁合金一體化散熱片，并由板載 EC 智能溫控系統(tǒng)進行精準調(diào)節(jié)。

2.2 NPU 工具鏈與軟件生態(tài)

Pulsar2 由愛芯元智自主研發(fā) 的 all-in-one 新一代神經(jīng)網(wǎng)絡(luò)編譯器[2]，即轉(zhuǎn)換、 量化、 編譯、 異構(gòu)四合一，實現(xiàn)深度學習神經(jīng)網(wǎng)絡(luò)模型快速、 高效的部署需求。

針對 NPU 特性進行了深度定制優(yōu)化，充分發(fā)揮片上異構(gòu)計算單元(CPU+NPU)算力, 提升神經(jīng)網(wǎng)絡(luò)模型的產(chǎn)品部署效率。

Pulsar2 NPU 工具鏈從模型量化到部署全流程：從 PyTorch/TensorFlow 等框架導出 ONNX 模型，經(jīng) Pulsar2 工具鏈量化、編譯，生成 AxModel，經(jīng)比特對齊驗證后，通過 AXCL Runtime 在上板運行

而AXCL[3]是用于在 AXERA 芯片平臺上開發(fā)深度神經(jīng)網(wǎng)絡(luò)推理、轉(zhuǎn)碼等應用的 C、Python 語言 API 庫。其能力提供運行資源管理，內(nèi)存管理，模型加載和執(zhí)行，媒體數(shù)據(jù)處理等 API。

在軟件生態(tài)上，基于完善的AXCL Runtime[4]能力，其不僅支持 C / Python API，更已集成對 YOLO 系列、CLIP、Whisper、Llama3.2、InternVL3、Qwen3 等主流 CNN、Transformer、LLM 與多模態(tài)模型的一鍵部署能力，極大地降低了開發(fā)門檻。

2.3 部分模型 benchmark：視覺、LLM、VLM 模型

下面是部分視覺、LLM、VLM 模型 benchmark 數(shù)據(jù)，更多數(shù)據(jù)見 benchmark[5]：

Vision 模型在 NPU 上的推理性能測試表，IPS 是每秒處理圖像數(shù)（Images Per Second），是衡量計算機視覺（CV）模型推理速度和吞吐量的核心指標

LLM 模型在 NPU 上的性能測試表，展示 Qwen2.5 系列（0.5B/1.5B/7B）在 128 tokens 提示下的表現(xiàn)：TTFT 是首次 token 生成延遲（數(shù)值越小越快），Generate 是持續(xù)生成速度（數(shù)值越大越快），模型參數(shù)量越大，性能通常越低

Qwen3-VL 多模態(tài)模型的 NPU 性能測試表，展示 2B/4B/8B 參數(shù)量版本的表現(xiàn)：輸入圖像規(guī)格均為 384*384，提示詞長度 168 tokens；參數(shù)量越大，圖像編碼器耗時、首次 token 生成延遲（TTFT）越高，持續(xù)生成速度（tokens/s）越低

unsetunset三、實戰(zhàn)：在樹莓派+LLM-8850 上跑通 YOLO26nunsetunset

目前，愛芯元智官方已在開源倉庫axcl-samples[6]中提供了YOLO26 在 AX8850 平臺上的完整 C++ 示例代碼，并已將預訓練模型發(fā)布在HuggingFace[7]上。

3.1 實現(xiàn)步驟：核心代碼講解

以下是基于ax_yolo26_steps.cc的核心實現(xiàn)步驟解析如下：

原始圖像 → Letterbox縮放 → RGB轉(zhuǎn)換 → 設(shè)備內(nèi)存 → NPU推理
↑ ↓
保存結(jié)果 ← 繪制框 ← 坐標映射 ← 多尺度解析

• 步驟一：讀圖
  • 使用OpenCV的cv::imread，默認BGR格式，保持原始分辨率
  • 代碼中檢查了圖像是否為空，有錯誤處理
• 步驟二：Letterbox 預處理
  • 關(guān)鍵算法：保持長寬比的縮放，不足部分填充灰色
  • 數(shù)據(jù)排布：轉(zhuǎn)換為HWC格式的RGB連續(xù)內(nèi)存
  • 優(yōu)化：避免了不必要的內(nèi)存拷貝，直接操作原始數(shù)據(jù)
• 步驟三：設(shè)備初始化
  • 禁用虛擬NPU，使用物理NPU
  • 只初始化一次，后續(xù)可重復使用
• 步驟四：模型加載與輸入
  • 模型格式：.axmodel是 AXera 平臺專有的優(yōu)化模型格式
  • 預熱：5 次預熱推理，避免首次推理的冷啟動延遲
• 步驟五：推理過程。輸出結(jié)構(gòu)為：6個tensor = 3個尺度 × (box + cls)
  • box: 4個值（x, y, w, h）或者（x1, y1, x2, y2）
  • cls: 80個類別的置信度
  • 計時：精確記錄每次推理時間，用于性能分析
• 步驟六：后處理，generate_proposals_yolo26() → 坐標映射 → 繪制
  • 坐標轉(zhuǎn)換：從 640×640 的 letterbox 坐標映射回原始圖像坐標
  • 多尺度融合：3個尺度（80×80, 40×40, 20×20）分別處理后合并
  • 可視化：不同類別用不同顏色，顯示類別名和置信度

通過 “讀圖 → Letterbox → 上電 → 喂模型 → 推理 → 后處理”這 6 步，就把整個 AXCL-YOLO 流程串起來了。完整代碼見examples/ax650/ax_yolo26_steps.cc[8]。

3.2 編譯與運行

了解了執(zhí)行流程，下面先給出我們編譯axcl-samples[9]和推理圖片的視頻，性能結(jié)果包含推理時間，后處理時間等，最后會有推理結(jié)果展示。

為了方便大家復制粘貼，下面給出視頻中用到的腳本和相關(guān)文件如模型、圖片等。

1. 編譯 axcl-sample

gitclonehttps://github.com/Abandon-ht/axcl-samples.git
cdaxcl-samples
mkdir build
cdbuild/
cmake ..
make -j4

2. 輸入圖片并執(zhí)行推理

# 拉取代碼倉庫
wget -c https://github.com/Abandon-ht/YOLO26.axera/releases/download/v0.2/bus.jpg
# 下載 yolo26n 模型
wget -c https://github.com/Abandon-ht/YOLO26.axera/releases/download/v0.2/yolo26n_npu3_new.axmodel
# 執(zhí)行推理
./examples/axcl/axcl_yolo26 -m yolo26n_npu3_new.axmodel -i bus.jpg

上面最后一行命令會執(zhí)行推理，如下所示：

檢測結(jié)果如下圖所示：

檢測結(jié)果為 1.59 ms，執(zhí)行日志詳情如下：

unsetunset四、性能實測：推理＜ 2ms，幀率高達 500+FPSunsetunset

作為性能實測的對比，下面是樹莓派 CPU A76 運行 yolo26n 的性能數(shù)據(jù)：

將代碼從圖片檢測修改為視頻檢測，即圖片輸入改成攝像頭讀取輸入。cv::imwrite改成cv::show效果如下：

左上角可以清晰看到 Infer 時間 < 2ms

左上角 Infer 時間在 1.60 ms 左右

unset

結(jié)合根據(jù)社區(qū)實測與官方示例數(shù)據(jù)，在M5Stack LLM-8850-Card + YOLO26n組合下：

• 單幀推理時間（含前后處理）可穩(wěn)定在2 毫秒以內(nèi)。
• 相當于500+ FPS的超高幀率，足以應對絕大多數(shù)實時視頻流分析場景。
• 相比樹莓派單靠 CPU 多線程運行 YOLO26n 模型，性能提升相比 CPU 多線程達幾十到幾百倍，且 CPU 占用率大幅降低。

完整實測視頻如下

注：左上角為推理時間，需要說明的是，在遠程桌面 + Raspberry Pi 這種場景下，推理時間比觀察到的 FPS 更可靠，原因如下：

1. 顯示瓶頸不影響推理時間：遠程桌面?zhèn)鬏敽推聊讳秩究赡艹蔀槠款i（比如只能達到 60 FPS），但這不代表模型本身慢
2. 推理時間能準確反映 "預處理→推理→后處理" 的真實計算耗時

綜合上面性能表現(xiàn)，使得樹莓派這類低成本、高普及率的開發(fā)板，真正具備了部署實時多路視頻 AI 分析的能力，可廣泛應用于：

• 智能安防：人臉識別、行為分析、車牌識別。
• 工業(yè)視覺：零件質(zhì)檢、缺陷檢測、流水線監(jiān)控。
• 機器人：實時環(huán)境感知、自主導航、手勢交互。
• 教育與創(chuàng)客：低門檻的 AI 項目開發(fā)與原型驗證。

unsetunset總結(jié)：國產(chǎn)邊緣 AI 生態(tài)正當時unsetunset

M5Stack LLM-8850-Card與YOLO26n的組合，不僅為樹莓派用戶提供了一個高性能、易用的 AI 加速方案，更展現(xiàn)了國產(chǎn)芯片與開源算法在邊緣計算領(lǐng)域的深度融合與快速落地能力。

對于開發(fā)者而言，這意味著：

• 更低的門檻：無需復雜硬件設(shè)計，插卡即用。
• 更高的性能：毫秒級推理，滿足實時性要求。
• 更優(yōu)的成本：國產(chǎn)方案性價比突出，供貨穩(wěn)定。
• 更全的生態(tài)：從芯片、硬件到算法、示例[10]，全棧開源支持。

目前，相關(guān)代碼、模型與文檔均已開源，歡迎開發(fā)者前往以下鏈接獲取資源，親手體驗這款“國產(chǎn)小鋼炮”帶來的邊緣 AI 加速魅力：

• 代碼倉庫：https://github.com/AXERA-TECH/ax-samples[11]
• 模型下載：https://huggingface.co/AXERA-TECH/yolo26[12]
• 產(chǎn)品信息：M5Stack LLM-8850-Card[13]，https://docs.m5stack.com/zh_CN/ai_hardware/LLM-8850_Card

邊緣 AI 的未來，正在每一位開發(fā)者的手中加速到來。

M.2 M-KEY 2242 形態(tài)的 AI 加速卡——LLM-8850-Card關(guān)鍵參數(shù)如下所示：

除了本文的 YOLO26n 模型，LLM-8850 還支持更多模型，關(guān)于入額快速上手和支持模型列表（包含VLM、LLM、多模態(tài)、音頻、生成模型等）見：https://docs.m5stack.com/zh_CN/guide/ai_accelerator/overview
參考資料[1]

Ultralytics YOLO26:https://docs.ultralytics.com/models/yolo26/

[2]

Pulsar2 工具鏈:https://pulsar2-docs.readthedocs.io/zh-cn/latest/pulsar2/introduction.html

[3]

AXERA 運行時庫 AXCL:https://axcl-docs.readthedocs.io/zh-cn/latest/doc_introduction.html

[4]

the python api for axengine runtime:https://github.com/AXERA-TECH/pyaxengine/

[5]

NPU Benchmark:https://axcl-docs.readthedocs.io/zh-cn/latest/doc_guide_npu_benchmark.html

[6]

ax-samples:https://github.com/AXERA-TECH/axcl-samples/blob/main/examples/axcl/ax_yolo26_steps.cc

[7]

YOLO26 模型:https://huggingface.co/AXERA-TECH/yolo26

[8]

ax-samples:https://github.com/AXERA-TECH/axcl-samples/blob/main/examples/axcl/ax_yolo26_steps.cc

[9]

ax-samples:https://github.com/AXERA-TECH/axcl-samples/blob/main/examples/axcl/ax_yolo26_steps.cc

[10]

doc_guide_npu_samples:https://axcl-docs.readthedocs.io/zh-cn/latest/doc_guide_npu_samples.html

[11]

examples/axcl/ax_yolo26_steps.cc:https://github.com/AXERA-TECH/axcl-samples/blob/main/examples/axcl/ax_yolo26_steps.cc

[12]

huggingface.co/AXERA-TECH/yolo26:https://huggingface.co/AXERA-TECH/yolo26

[13]

M5Stack LLM-8850-Card:https://docs.m5stack.com/zh_CN/ai_hardware/LLM-8850_Card