背景

在之前的文章中，我們介紹了基于AXCL軟件框架的算力疊加方案，能夠助力樹(shù)莓派生態(tài)在當(dāng)下火爆的AI大模型部署場(chǎng)景：愛(ài)芯分享 | 樹(shù)莓派&AXCL：樹(shù)莓派離線大模型新范式

在推廣的過(guò)程中，樹(shù)莓派生態(tài)客戶(hù)反饋希望能提供一種兼容原裝Raspberry PI HAT的M.2 2242的AI Card版本。經(jīng)過(guò)國(guó)內(nèi)優(yōu)秀的AIOT硬件設(shè)計(jì)公司M5Stack長(zhǎng)達(dá)幾個(gè)月的反復(fù)設(shè)計(jì)，終于在本周正式上架了LLM?8850?Card，非常和Raspberry PI 5匹配。

描述

LLM?8850?Card是一款面向邊緣設(shè)備的M.2 M-KEY 2242?AI加速卡，把42?mm的袖珍體積與Axera AX8850?SoC的24?TOPS?@?INT8算力結(jié)合起來(lái)，為Raspberry Pi 5、RK3588、x86 PC等主機(jī)“一插即強(qiáng)”地?cái)U(kuò)展多模態(tài)大模型與視頻分析能力?？ㄉ吓鋫湮⑿蜏u輪風(fēng)扇+鋁合金CNC鰭片的主動(dòng)散熱系統(tǒng)，由板載EC根據(jù)溫度?電流曲線智能調(diào)速，長(zhǎng)期滿(mǎn)載也能維持低溫穩(wěn)態(tài)，避免密閉機(jī)殼內(nèi)的熱衰減。

板載DCDC+PMIC電源鏈路由EC進(jìn)行實(shí)時(shí)功耗管理，實(shí)現(xiàn)“按需供電、按需散熱”，大幅提升整機(jī)穩(wěn)定性。支持AXCL?Runtime，支持C/Python API一鍵部署YOLO?v8/11、CLIP、Whisper、Llama3.2、InternVL3、Qwen3等主流CNN、Transformer、LLM與多模態(tài)模型。

同時(shí)利用AX8850的VPU硬件管線，提供H.264/H.265 8K編解碼與同編同解轉(zhuǎn)碼加速與縮放/裁切，兼顧AI與視頻流處理。支持host使用ffmpeg直接調(diào)用硬件視頻編解碼器。

快速上手

具體教程請(qǐng)參考M5Stack官方的教程，非常詳細(xì)，適合有樹(shù)莓派開(kāi)發(fā)經(jīng)驗(yàn)的工程師直接上手。

產(chǎn)品特性

應(yīng)用場(chǎng)景

工業(yè)/商用SBC算力升級(jí)：Raspberry?Pi 5、RK3588、TI?AM62x等板卡本地運(yùn)行目標(biāo)檢測(cè)、缺陷識(shí)別

具身智能機(jī)器人：AMR/AGV/服務(wù)機(jī)器人即插即得“感知?決策?控制”本地鏈

AIPC&邊緣智能終端：在迷你PC內(nèi)提供離線Copilot、客服問(wèn)答、會(huì)議字幕&即時(shí)翻譯

NVR/NAS智能化改造：舊存儲(chǔ)盒增添多路AI車(chē)牌抓拍、事件摘要檢索+硬件轉(zhuǎn)碼

智能交互設(shè)備：語(yǔ)音助手、智能門(mén)鈴、廣告機(jī)實(shí)現(xiàn)本地LLM+TTS的低時(shí)延對(duì)話(huà)

AI視覺(jué)網(wǎng)關(guān)：交通路口、園區(qū)閘機(jī)前端推理，實(shí)時(shí)客流統(tǒng)計(jì)與危險(xiǎn)行為告警

解決方案

以下基于樹(shù)莓派5+LLM8850 Card的各種解決方案從本月開(kāi)始已陸續(xù)釋放到GitHub和Huggingface開(kāi)源社區(qū)，請(qǐng)大家持續(xù)關(guān)注。

7.1 AI NAS（CasaOS）

借助于樹(shù)莓派優(yōu)秀的軟件生態(tài)，我們已基于當(dāng)前最流行的開(kāi)源NAS解決方案CasaOS進(jìn)行了LLM8850算力卡的適配，將完美地解決CasaOS中智能相冊(cè)Immich（已完成文搜圖大模型適配）在樹(shù)莓派5上運(yùn)行占用CPU資源巨大的問(wèn)題。

7.2 AI NVR（Frigate）

Frigate是目前最流行的開(kāi)源NVR項(xiàng)目，在樹(shù)莓派的用戶(hù)群體中，很多玩家基于Frigate打造自己的家庭私有NVR管理平臺(tái)?；贚LM8850算力卡，不僅可以將傳統(tǒng)的目標(biāo)檢測(cè)算法遷移到算力卡上，甚至可以將原本Frigate推薦在NV GPU卡上運(yùn)行的多模態(tài)大模型也運(yùn)行到算力卡，將NVR升級(jí)為文搜大模型NVR。

7.3 文搜圖

無(wú)論是AI NAS還是AI NVR，其底層核心技術(shù)便是基于多模態(tài)Transformer模型實(shí)現(xiàn)了文搜圖功能，我們已適配國(guó)內(nèi)外各種CLIP模型并整理成SDK交付包，方便已有項(xiàng)目快速集成升級(jí)。

7.4 會(huì)議轉(zhuǎn)錄

本地會(huì)議轉(zhuǎn)錄采用VAD+聲紋識(shí)別+ASR架構(gòu)，RTF＜0.2，處理1小時(shí)的會(huì)議錄音只需要10分鐘。

7.5 本地翻譯

本地離線翻譯采用VAD+ASR+LLM+TTS架構(gòu)，可根據(jù)具體使用場(chǎng)景更換對(duì)應(yīng)模塊的算法模型，更加靈活。

7.6 語(yǔ)音克隆

基于LLM的增強(qiáng)式語(yǔ)音生成模型，目前已適配CosyVoice2。

7.7 視頻增強(qiáng)

由視頻超分、視頻插幀兩種方案組成，目前已開(kāi)源。

感謝

感謝M5Stack優(yōu)秀的工程師們?cè)O(shè)計(jì)出如此驚艷的端側(cè)AI算力產(chǎn)品，讓更多的社區(qū)開(kāi)發(fā)者能夠接觸到大模型時(shí)代帶來(lái)的技術(shù)革新。