石榴国产免费AV在线,亚洲精品在线

在以 ChatGPT 為代表的大模型應(yīng)用的出現(xiàn)，加速了智能計算風(fēng)暴的到來。隨著 AI 發(fā)展的浪潮，在終端本地運(yùn)行大模型推理成為下一個熱點。在此背景下，算能發(fā)布支持運(yùn)行大模型的終端處理器SG2300X，開啟邊緣大模型新時代！算能攜手瑞莎計算機(jī)(Radxa) 推出全球首款 SG2300X 微型智算盒子——瑞莎 Fogwise AirBox。

SG2300X：令人驚喜的端側(cè)生成式AI處理能力

產(chǎn)品規(guī)格	SG2300X
處理器	ARMA538核2.3GHz
內(nèi)存	LPDDR4x 4.266 Gbps 128bit 68.256 GB/s；最大容量支持16GB
智能算力	24 TOPS INT8；12 TFLOPS FP16/BF16；2 TFLOPS FP32；支持混合精度計算
視頻解碼	H.264 & H.265: 32路 1080P @25fps；最大分辨率支持7680* 4320
視頻編碼	H.264 & H.265: 12路 1080P @25fps；最大分辨率支持7680* 4320
圖片編解碼	JPEG:解碼750張/秒@1080P；編碼250張/秒@1080P；最大分辨率支持 32768 * 32768
視頻后處理	支持圖像的CSC（RGB/YUV/HSV），resize（1/128~128），crop 支持padding，border，font，contrastandbrightnessadjustment 最大分辨率支持8192*8192，分辨率超過的圖片支持切割處理后拼接支持8bits輸入格式：Y only，YUV420/YUV422/YUV444 Planar，NV12/NV21/NV16/NV61 Semi-planar，RGB planar and packed，YUV444 packed，YUV422 packed 支持8/16/32bits輸出格式：YUV444/RGB planar 支持8bits輸出格式：Y only planar，YUV420/I420 planar，NV12/NV21 semi planar，RGBY/BGRY planar，RGB/BGR packed
高速接口	PCIeGen3X16EP，可配置成X8RC+X8EP，支持級聯(lián) 2個以太網(wǎng)RGMII接口，支持速率10/100/1000Mbps；1個SD/SDIO controller；1個eMMC 5.1，總線位寬4-bit
低速接口	1個SPI Flash接口；3個UART接口，3個I2C接口；2個PWM接口，2個風(fēng)扇轉(zhuǎn)速檢測接口；32個通用IO
安全性	支持AES/DES/SM4/SHA/RSA/ECC 加速；支持真隨機(jī)數(shù)產(chǎn)生；支持安全密鑰存儲機(jī)制，支持安全啟動，支持Trustzone
典型功耗	20W
工作溫度	-40℃~+105℃
工具鏈	支持TensorFlow / Pytorch / Paddle / Caffe / MxNet / DarkNet / ONNX；支持TensorFlow / Pytorch / Paddle / TensorRT 以及客戶定制的INT8、FP16、BF16量化算法

SG2300X處理器擁有24T的算力，能夠流暢運(yùn)行像LLAMA-2 7B這樣的生成式AI。

SG2300X驚人的算力使其可以在更短的時間內(nèi)處理更多的數(shù)據(jù)，實現(xiàn)更快的響應(yīng)速度，為用戶帶來更加流暢和智能的體驗。

瑞莎 AirBox：國產(chǎn)化邊緣智算設(shè)備

瑞莎 Fogwise AirBox是瑞莎計算機(jī)團(tuán)隊研發(fā)的搭載SG2300X的邊緣智算盒子，算力高達(dá) 24TOPS@INT8，支持多精度（INT8、FP16/BF16、FP32），支持私有 GPT、文本到圖像等主流智能模型部署，配備鋁合金外殼，可在惡劣環(huán)境中部署。

AirBox 的核心元器件皆采用國產(chǎn)元器件，且瑞莎計算機(jī)擁有AirBox的完全知識產(chǎn)權(quán)，無懼“卡脖子”。

Radxa Fogwise AirBox
形態(tài)尺寸	104mm x 84mm x 52mm
處理器	SOPHON SG2300X SoC，八核 Arm Cortex-A53（ARMv8）@ 2.3GHz
TPU	張量處理單元，計算能力：最高達(dá)24TOPS（INT8），12TFLOPS（FP16/BF16）和2TFLOPS（FP32）支持領(lǐng)先的深度學(xué)習(xí)框架，包括 TensorFlow、Caffe、PyTorch、Paddle、ONNX、MXNet、Tengine 和 DarkNet
內(nèi)存	16GB LPDDR4X
存儲	工業(yè)級 64GB eMMC 16MB SPI 閃存提供高速SD卡的SD卡插槽
多媒體	支持解碼32路H.265/H.264 1080p@25fps視頻完全處理32路高清1080P@25fps視頻，涉及解碼和AI分析支持編碼12路H.265/H.264 1080p@25fps視頻 JPEG：1080P@600fps，支持最大32768 x 32768 支持視頻后處理，包括圖像CSC、調(diào)整大小、裁剪、填充、邊框、字體、對比度和亮度調(diào)整。
連接?	2x 千兆以太網(wǎng)端口（RJ45） 1x M.2 M Key(2230/2242)用于NVMe SSD 1x M.2 E Key用于WI-FI/BT
工作溫度	0°C 到 45°C
外殼	耐腐蝕的鋁合金外殼
散熱器	PWM調(diào)速風(fēng)扇與定制散熱片

極致性價比，讓每個人都擁有端側(cè)智能設(shè)備

對比目前主流的端側(cè)算力產(chǎn)品，AirBox本地運(yùn)行生成式AI的效率如何呢？

以Nvidia Jetson 系列多款支持生成式AI的設(shè)備為例。

AGX Orin 通過 MLC 加速之后 Llama-7B 47tokens/s，Llama-2-13B 25 tokens/s：airbox 上 Llama2-7B 性能是 12 tokens/s, Llama2-13B 性能是 6 tokens/s，可以支持int4、int8、fp16精度，llama2 及其各種變種模型性能相似；單芯最大可以跑20B-int4的模型。

(注：Orin數(shù)據(jù)來源英偉達(dá)官網(wǎng)；此處數(shù)據(jù)越高越好)

經(jīng)測試發(fā)現(xiàn)：AGX Orin和AirBox的每人民幣（產(chǎn)品售價）可獲得的每秒token數(shù)（實際性能），AirBox有著顯著的優(yōu)勢。

Llama-7B:

AGX Orin(64G)≈0.00301 每秒token數(shù)/每人民幣

AirBox≈0.00445每秒token數(shù)/每人民幣

Llama-13B:

AGX Orin(32G)≈0.00160 每秒token數(shù)/每人民幣

AirBox≈0.00222每秒token數(shù)/每人民幣

AGX Orin上 Stable Diffusion 每張圖耗時 2.2s，SDXL 耗時 23.1s；Airbox使用LCM加速之后，SD1.5 耗時 1.1s，SDXL耗時 7.4s。

(注：Orin數(shù)據(jù)來源英偉達(dá)官網(wǎng)；Orin未標(biāo)明步數(shù)，此處假設(shè)都是20步；此處數(shù)據(jù)越低越好)

豐富的生態(tài)應(yīng)用

瑞莎 Fogwise AirBox 可提供卓越的智能性能，滿足您對強(qiáng)大計算能力的需求。這款小巧但功能強(qiáng)大的設(shè)備可與 Tensorflow、Pytorch 和 Caffe 等領(lǐng)先的深度學(xué)習(xí)框架無縫兼容，為用戶提供便攜、高效的智能體驗。無論您是制造商、智算愛好者、業(yè)余愛好者還是專業(yè)人士，F(xiàn)ogwise AirBox都是您的最佳選擇。

AICore SG2300X：助力企業(yè)輕松獲得高性能智算產(chǎn)品能力

Radxa AICore SG2300X 是一款配備先進(jìn) SOPHON智算處理器 SG2300X 的計算模塊，可提供強(qiáng)大的性能來釋放您的全部潛力。配備16GB內(nèi)存，和64GB eMMC存儲。Radxa AICore SG2300x 擁有令人印象深刻的24TOPS INT8計算能力，在各種任務(wù)中表現(xiàn)出色，并全面支持主流深度學(xué)習(xí)框架，集成核心電路及元件，可大幅加速產(chǎn)品研發(fā)速度，是企業(yè)快速開發(fā)高性能 AI 產(chǎn)品的首選。

審核編輯：劉清

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴