小型化、私有化， 大廠競逐端側(cè)生成式AI

2024年，端側(cè)運行生成式AI，幾乎成了Intel、AMD、高通等廠商下一代芯片的標配。

在CES上大火的Rabbit R1，可以利用ChatGPT來操作很多手機端的app，完全自然語言控制，演示視頻讓很多自媒體鼓吹可以拋棄手機了，但是有拿到產(chǎn)品的網(wǎng)友實測后發(fā)現(xiàn)，單任務(wù)響應(yīng)時間超過20s，用戶體驗不友好。

在網(wǎng)絡(luò)訪問不暢通的情況下，如何才能獲得實時、低延遲的響應(yīng)？答案是，把生成式AI服務(wù)放在端側(cè)，而不是在云、數(shù)據(jù)中心和端側(cè)節(jié)點之間頻繁傳輸?；赟G2300x打造的端側(cè)生成式AI盒子Airbox，Llama-7B的速度可以達到12 tokens/s，StableDiffusion 1s 出圖，讓生成式AI觸手可及。

SG2300X：令人驚喜的端側(cè)生成式AI處理能力

SG2300X處理器擁有24T的算力，能夠流暢運行像LLAMA-2 7B這樣的生成式AI。

SG2300X驚人的算力使其可以在更短的時間內(nèi)處理更多的數(shù)據(jù)，實現(xiàn)更快的響應(yīng)速度，為用戶帶來更加流暢和智能的體驗。

瑞莎 AirBox：國產(chǎn)化邊緣智算設(shè)備

瑞莎 Fogwise AirBox是瑞莎計算機團隊研發(fā)的搭載SG2300X的邊緣智算盒子，算力高達 24TOPS@INT8，支持多精度（INT8、FP16/BF16、FP32），支持私有 GPT、文本到圖像等主流智能模型部署，配備鋁合金外殼，可在惡劣環(huán)境中部署。

AirBox 的核心元器件皆采用國產(chǎn)元器件，且瑞莎計算機擁有AirBox的完全知識產(chǎn)權(quán)，無懼“卡脖子”。

大算力+大內(nèi)存，AirBox打開智能本地化潘多拉魔盒

SG2300X中運行的 Llama-7B 模型，權(quán)重量化為 INT4，計算采用 FP16，在計算第一個 token 的時候算力利用率最高達到了80%，后續(xù)的推理有kvcache 加持，算力需求有所下降，數(shù)據(jù)搬運的時間完全覆蓋了計算的時間，瓶頸從計算來到了帶寬上。

而 StableDiffusion 類的模型，全程都會有密集的算力需求，所以如果想要同時高效運行 LLM 和 Stable Diffusion 類模型，大算力和大內(nèi)存都是需要的，Airbox 采用的主控 SG2300x 擁有 24TOPS 的 INT8、12TFLOPS 的 FP16 以及 16G 的內(nèi)存、128bit帶寬，恰逢其時。

本地運行并且把響應(yīng)時間控制到 1s 以內(nèi)，將極大地提升用戶體驗。以 qwen-7b 模型為例，跑在 Airbox 上的 latency 為 0.6s，后續(xù)推理的速度達到 12 token/s，能夠滿足自然語言問答、語音交互等場景的實時性需求。

Airbox 同時也是一個完整的運行 Ubuntu Linux 的服務(wù)器，它可以支持 CASAOS，獨立提供服務(wù)，只要聯(lián)網(wǎng)的設(shè)備，就能共享它的算力，古董PC機、平板、手機、NAS、音箱、故事機、電視等設(shè)備都能擁有生成式AI的能力，”一機多用“ 已成為現(xiàn)實。

￥2699！極致性價比，讓每個人都擁有端側(cè)智能設(shè)備

對比目前主流的端側(cè)算力產(chǎn)品，AirBox本地運行生成式AI的效率如何呢？

以Nvidia Jetson 系列多款支持生成式AI的設(shè)備為例，京東商城上 Jetson Orin 32G版本售價 8015 元，64G 版本 15600 元。

AGX Orin 通過 MLC 加速之后 Llama-7B 47tokens/s，Llama-2-13B 25 tokens/s：airbox 上 Llama2-7B 性能是 12 tokens/s, Llama2-13B 性能是 6 tokens/s，可以支持int4、int8、fp16精度，llama2 及其各種變種模型性能相似；單芯最大可以跑20B-int4的模型。

(注：Orin數(shù)據(jù)來源英偉達官網(wǎng)；此處數(shù)據(jù)越高越好)

經(jīng)測試發(fā)現(xiàn)：AGX Orin和AirBox的每人民幣（產(chǎn)品售價）可獲得的每秒token數(shù)（實際性能），AirBox有著顯著的優(yōu)勢。

Llama-7B:

AGX Orin(64G)≈0.00301 每秒token數(shù)/每人民幣

AirBox≈0.00445 每秒token數(shù)/每人民幣

Llama-13B:

AGX Orin(32G)≈0.00160 每秒token數(shù)/每人民幣

AirBox≈0.00222 每秒token數(shù)/每人民幣

AGX Orin上 Stable Diffusion 每張圖耗時 2.2s，SDXL 耗時 23.1s；Airbox使用LCM加速之后，SD1.5 耗時 1.1s，SDXL耗時 7.4s。

(注：Orin數(shù)據(jù)來源英偉達官網(wǎng)；Orin未標明步數(shù)，此處假設(shè)都是20步；此處數(shù)據(jù)越低越好)

豐富的生態(tài)應(yīng)用

瑞莎 Fogwise AirBox 可提供卓越的智能性能，滿足您對強大計算能力的需求。這款小巧但功能強大的設(shè)備可與 Tensorflow、Pytorch 和 Caffe 等領(lǐng)先的深度學習框架無縫兼容，為用戶提供便攜、高效的智能體驗。無論您是制造商、智算愛好者、業(yè)余愛好者還是專業(yè)人士，F(xiàn)ogwise AirBox都是您的最佳選擇。

支持LLama 3：Meta 最新開源生成式AI

Meta 表示，Llama 3 在多個關(guān)鍵基準測試中展現(xiàn)出卓越性能，超越了業(yè)內(nèi)先進的同類模型。無論是在代碼生成、復雜推理，還是在遵循指令和可視化想法方面，Llama 3 都實現(xiàn)了全面領(lǐng)先。該模型在以下五個基準測試中均表現(xiàn)出色：

MMLU（學科知識理解）

GPQA（一般問題解答）

HumanEval（代碼能力）

GSM-8K（數(shù)學能力）

MATH（高難度數(shù)學問題）

面對 Llama 3 如此激動人心的性能，Airbox 團隊積極響應(yīng)，快速將 Llama 3 8B 移植并成功在 Airbox 上運行。以下視頻展示了 Llama 3 8B 在 Airbox 上的運行情況：

(注：Llama 3 8B 知識更新到 2023 年 3 月)

可以看到，Llama 3 8B 在 Airbox 上的運行表現(xiàn)極為流暢，達到了 9.6 token/s 的處理速度，已充分展現(xiàn)出其實用價值。

AirBox 團隊率先推出基于AirBox的Llama 3 8B 的在線體驗，歡迎各位切身感受來自 Llama 3 的高超性能與 AirBox所提供的澎湃算力。

關(guān)注瑞莎公眾號回復【airbox】即可快速體驗

(注：服務(wù)基于單個 AirBox 部署，如同時體驗人數(shù)較多，可能會出現(xiàn)排隊情況，如需深度體驗，建議您在流量低峰時進行)

支持CASA OS：輕量且功能豐富的開源面板系統(tǒng)

通過CASA OS 一鍵安裝 AirBox 生成式AI應(yīng)用

目前已支持 Stable Diffusion、Whisper、ImageSearch、ChatDoc等熱門模型，一鍵輕松安裝，免去繁瑣環(huán)境配置。

文生圖、圖生圖：為您的靈感增添翅膀

AirBox 團隊針對 StableDiffusion 進行深度優(yōu)化和適配，極速出圖。支持在線模型更換。

ChatDoc：讓AI讀懂你的文件

讓 AirBox 成為你的私人數(shù)據(jù)管家。

Whisper：上百種語言實時轉(zhuǎn)文本

Whisper 這個高效的語音識別模型能夠?qū)崟r將語音轉(zhuǎn)換為文本，支持近百種語言，極大地提升了信息獲取的便捷性和準確性。無論是會議記錄、實時多語翻譯還是為視聽障人士提供實時字幕，Whisper 都能提供強大的支持，教育、醫(yī)療、法律等多個領(lǐng)域都將受益于其精準和快速的語音轉(zhuǎn)錄服務(wù)。

未來，以LLaMa、Stable Diffusion、Whisper 等生成式AI模型為基座，將誕生更多模態(tài)的交叉應(yīng)用，催生出前所未見的智算能力，覆蓋語音、圖像和文本等多個領(lǐng)域。設(shè)想這樣一個場景：一個全能的智能個人助理，Whisper加TTS模型提供真實的多語種能力，實時翻譯和轉(zhuǎn)寫全球任何一種語言的對話，同時利用Stable Diffusion創(chuàng)造出視覺內(nèi)容來輔助溝通，這將徹底改變國際會議、遠程教育和全球合作的方式，加速數(shù)字世界的到來！