●●●
PART. 01
產(chǎn)品簡(jiǎn)介
Module LLM Kit 是一款專注于離線 AI 推理與數(shù)據(jù)通信接口應(yīng)用的智能模塊套件,整合了 Module LLM 與 Module13.2 LLM Mate 模塊,滿足多場(chǎng)景下的離線 AI 推理與數(shù)據(jù)交互需求。Module LLM 是一款集成化的離線大語(yǔ)言模型 (LLM) 推理模塊,專為需要高效、智能交互的終端設(shè)備設(shè)計(jì)。Module13.2 LLM Mate 模塊通過(guò) M5BUS 接口與 Module LLM 實(shí)現(xiàn)堆疊供電,并提供Type-C,RJ45,FPC-8P 等多種接口功能,便于系統(tǒng)集成和擴(kuò)展。
PART. 02
產(chǎn)品特性
◎ 高算力,低能耗
Module LLM Kit 采用 愛芯AX630C SoC 先進(jìn)處理器,內(nèi)置 3.2 TOPs 高能效 NPU,支持 Transformer 模型推理,輕松應(yīng)對(duì)復(fù)雜 AI 任務(wù)。模塊搭載 4GB LPDDR4 內(nèi)存(其中 1GB 供用戶使用,3GB 專用于硬件加速)及 32GB eMMC 存儲(chǔ),支持多模型并行加載與串聯(lián)推理,滿足多任務(wù)處理需求。模塊運(yùn)行功耗僅 1.5W,遠(yuǎn)低于同類產(chǎn)品,節(jié)能高效,適合長(zhǎng)期穩(wěn)定運(yùn)行。
◎便捷語(yǔ)音與數(shù)據(jù)交互
集成麥克風(fēng)、揚(yáng)聲器、TF 存儲(chǔ)卡、USB OTG 及 RGB 狀態(tài)燈,滿足多樣化應(yīng)用需求,輕松實(shí)現(xiàn)語(yǔ)音交互與數(shù)據(jù)傳輸。
◎ 靈活拓展
板載 SD 卡槽支持固件冷/熱升級(jí),UART 通信接口簡(jiǎn)化連接與調(diào)試,確保模塊功能持續(xù)優(yōu)化與擴(kuò)展。USB 口支持主從自動(dòng)切換,既可以做調(diào)試口,也可以外接更多 USB 設(shè)備如攝像頭。
◎多模型兼容
出廠預(yù)裝 Qwen2.5-0.5B 大語(yǔ)言模型,內(nèi)置 KWS(喚醒詞)、ASR(語(yǔ)音識(shí)別)、LLM(大語(yǔ)言模型)及 TTS(文本生成語(yǔ)音)功能,且支持 apt 快速更新軟件和模型包。安裝 openai-api 插件后,即可兼容 OpenAI 標(biāo)準(zhǔn) API,支持聊天、對(duì)話補(bǔ)全、語(yǔ)音轉(zhuǎn)文字和文字轉(zhuǎn)語(yǔ)音等多種應(yīng)用模式。官方 apt 倉(cāng)庫(kù)提供豐富的大模型資源,包括 deepseek-r1-distill-qwen-1.5b、InternVL2_5-1B-MPO、Llama-3.2-1B、Qwen2.5-0.5B 以及 Qwen2.5-1.5B,同時(shí)還涵蓋文本轉(zhuǎn)語(yǔ)音模型(whisper-tiny、whisper-base、melotts)和視覺模型(如 yolo11 等 SOTA 模型)。倉(cāng)庫(kù)將持續(xù)更新,以支持最前沿的模型應(yīng)用,滿足各種復(fù)雜 AI 任務(wù)。
◎ 即插即用,快速集成
搭配 M5 主機(jī),無(wú)需繁瑣設(shè)置,即可將其集成到現(xiàn)有智能設(shè)備中,快速實(shí)現(xiàn) AI 交互體驗(yàn)。
PART. 03
應(yīng)用場(chǎng)景
◎ 離線語(yǔ)音助手
◎ 文本語(yǔ)音轉(zhuǎn)換
◎ 智能家居控制
◎ 互動(dòng)機(jī)器人
-
Module
+關(guān)注
關(guān)注
0文章
74瀏覽量
13425 -
語(yǔ)言模型
+關(guān)注
關(guān)注
0文章
566瀏覽量
11171 -
LLM
+關(guān)注
關(guān)注
1文章
337瀏覽量
1130
發(fā)布評(píng)論請(qǐng)先 登錄
米爾RK3576部署端側(cè)多模態(tài)多輪對(duì)話,6TOPS算力驅(qū)動(dòng)30億參數(shù)LLM
3萬(wàn)字長(zhǎng)文!深度解析大語(yǔ)言模型LLM原理

基于米爾瑞芯微RK3576開發(fā)板的Qwen2-VL-3B模型NPU多模態(tài)部署評(píng)測(cè)
如何在魔搭社區(qū)使用TensorRT-LLM加速優(yōu)化Qwen3系列模型推理部署
小白學(xué)大模型:從零實(shí)現(xiàn) LLM語(yǔ)言模型

詳解 LLM 推理模型的現(xiàn)狀

無(wú)法在OVMS上運(yùn)行來(lái)自Meta的大型語(yǔ)言模型 (LLM),為什么?
新品| LLM630 Compute Kit,AI 大語(yǔ)言模型推理開發(fā)平臺(tái)

在NVIDIA TensorRT-LLM中啟用ReDrafter的一些變化

解鎖NVIDIA TensorRT-LLM的卓越性能
大語(yǔ)言模型開發(fā)框架是什么
什么是LLM?LLM在自然語(yǔ)言處理中的應(yīng)用
使用vLLM+OpenVINO加速大語(yǔ)言模型推理

評(píng)論