我們拿到瑞芯微RK182X算力協處理器評估套件實物后，第一時間基于創(chuàng)龍科技RK3588工業(yè)評估板進行了實測，用真實數據告訴你，這款“AI推理外掛”究竟有多強！

▍端側算力，硬核升級

RK182X是瑞芯微針對端側AI大模型推出的算力協處理器，它在性能與成本之間取得了出色平衡。它采用先進3D堆疊封裝技術，內嵌2.5GB/5GB高帶寬DRAM，算力高達20TOPS，端側生成速度理論可突破100 tokens/s，可輕松駕馭3B/7B大模型。

在兼容性與擴展性方面，RK182X同樣表現突出：兼容OpenAI API接口，可大幅降低開發(fā)集成門檻；支持多個RK182X協處理器靈活疊加，可根據實際需求彈性擴容算力，無論是輕量型AI場景還是高密度計算任務，都能精準適配。

▍性能實測，數據說話

為驗證RK182X在真實場景下的推理能力，我們針對主流大語言模型(LLM)與視覺檢測模型(CNN)進行了性能實測。

針對熱門的Qwen2.5系列模型，RK182X展現出卓越的推理能力，可流暢運行7B模型，解碼吞吐率達到70.27 tokens/s，滿足端側實時交互需求。

備注：測試基于InputTokens（輸入Token數）=128，New Tokens（新生成Token數）=128TTFT：模型生成第一個token所需的時間TPS：模型每秒能生成的token數量
模型性能及用戶體驗等級參考如下：

RK182X在典型CNN模型上表現出優(yōu)秀的推理性能，單核推理幀率高達35.41fps，而在多batch多核并行模式下，幀率進一步提升至212.65fps，展現出超強的批量處理與并行計算能力。

▍模型生態(tài)，全面覆蓋

RK182X系列已全面兼容LLM（大語言模型）、VLM（視覺語言模型）、CNN（卷積神經網絡）3大主流AI模型，無論是文本交互、圖文理解還是圖像識別任務，都能提供穩(wěn)定高效的算力支撐，可快速完成模型部署。

▍場景落地，即插即用

目前，創(chuàng)龍科技已完成RK3588評估板 + RK182X評估套件的適配工作，可提供詳細測試步驟文檔。
RK3588負責多任務調度與復雜邏輯處理，RK182X專注高負載AI推理，該組合可廣泛應用于智能機器人、工業(yè)視覺檢測、邊緣計算網關、輸電線路巡檢、鐵路巡防等場景，為端側AI部署提供強勁算力支撐。
RK182X算力卡通過PCIe高速接口與RK3588評估板協同工作。
審核編輯 黃宇