LeapFive
從“云端排隊”到“擁有私人 Co-Pilot”,邊緣AI也能行!
DeepSeek 問答響應(yīng)又超時了?
“無需機(jī)房,無需服務(wù)器,一枚U盤即可驅(qū)動DeepSeek大模型?” 是的,我們做到了!
躍昉科技,作為國內(nèi)領(lǐng)先的RISC-V架構(gòu)SoC芯片公司,成功將DeepSeek大模型本地化運行,以U盤形態(tài)重新定義AI計算的使用方式。
AMC(AI Mini Computer)由躍昉科技基于自研RISC-V芯片打造,通過USB 直連主機(jī),兼容多種操作系統(tǒng),支持本地化人工智能推理應(yīng)用部署,如基于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的視覺應(yīng)用?,F(xiàn)在,AMC又有了大模型應(yīng)用的加持,不依賴云端、不受網(wǎng)絡(luò)波動,即插即用,隨時推理。讓普通電腦秒變AI工作站,讓AI隨時待命,快速響應(yīng),成為你的專屬智能助手(Co-Pilot)!
小身材藏著大機(jī)會|“可用”到“好用”的進(jìn)行時
即插即用,無需服務(wù)器,USB接入,10秒完成部署。
3W超低功耗,計算性能表現(xiàn)與模型本身,都具備優(yōu)化潛力。
本地私有知識庫,保護(hù)數(shù)據(jù)隱私,隨身攜帶,安全可控。
網(wǎng)頁本地化訪問(測試版),相比云端排隊、等待響應(yīng),你的AI助手隨時在線。
*已經(jīng)實際部署運行成功的模型
UI 界面:設(shè)計簡潔直觀,用戶可快速上手,無需復(fù)雜配置,Less is More。
OTA + 場景化模型,開啟邊緣AI計算新范式!
在 AI 計算邁向多場景應(yīng)用的今天,開發(fā)者希望更靈活地訓(xùn)練和部署模型,用戶則期待AI能夠精準(zhǔn)適配個性化需求。然而,傳統(tǒng)AI計算依賴云端,高算力成本、網(wǎng)絡(luò)延遲、數(shù)據(jù)隱私等問題,使其難以真正落地到邊緣多樣化應(yīng)用場景。
部署DeepSeek到AMC的過程,也引發(fā)了我們更深層的思考并發(fā)現(xiàn):DeepSeek 的小型化、低成本、邊緣設(shè)備 OTA(Over the Air 空中升級) 特性,有機(jī)會成為邊緣AI計算全新的應(yīng)用落地方法,推動AI計算從云端走向邊緣,讓AI適配更精細(xì)、更靈活地適配本地化應(yīng)用。
“大而全”的模型并不適用于邊緣AI應(yīng)用,應(yīng)該按場景的需要做更適配、更精巧、更高效的模型
邊緣 AI 計算的核心在于精準(zhǔn)解決特定場景問題,那么合適的模型從何而來?我們認(rèn)為可以通過開放的場景化模型市場,吸引更多的開發(fā)者加入進(jìn)來,針對教育、工業(yè)、辦公、個人助手等不同需求,訓(xùn)練更精巧的 AI 模型,以適配本地場景化的應(yīng)用需求。
OTA有可能成為AI場景動態(tài)適配的標(biāo)準(zhǔn)方式
傳統(tǒng)OTA僅用于遠(yuǎn)程軟件升級,如果考慮邊緣AI基于場景化的應(yīng)用,則OTA就需要一個新增的按需拉取和部署AI模型的能力,使邊緣設(shè)備盡管在硬件資源限制條件下,仍可以通過動態(tài)的模型選擇,得到較好的AI交互體驗。
商業(yè)模式也將有革新機(jī)會,邊緣AI的生態(tài)將創(chuàng)造更高價值
“OTA + 場景化模型”這樣的新范式,將為邊緣AI計算構(gòu)建開放的,可訂閱、可迭代的模型市場提供可行性。用戶可以低成本試用AI模型,再按需訂閱,而開發(fā)者則可以通過市場提供AI模型,并接受用戶的反饋不斷優(yōu)化模型體驗,形成邊緣AI計算的正向循環(huán),加速AI在邊緣端的落地應(yīng)用。
我們認(rèn)為未來的AI計算,不應(yīng)該只存在于云端之上,更應(yīng)該真正地屬于個人!
而對于個人用戶來說,專屬AI 將可以變成個人成長的長期伙伴
每個人的知識、經(jīng)驗、決策方式都是獨一無二的,所以AI應(yīng)用也應(yīng)該能做到個性化的應(yīng)用。AMC的隨身攜帶可以讓AI在不同場景中適應(yīng)用戶需求,即時響應(yīng)、智能輔助。與此同時,AMC通過長期數(shù)據(jù)存儲與學(xué)習(xí),不斷沉淀、優(yōu)化,逐步構(gòu)建屬于個人的Digital Twins(數(shù)字孿生),讓AI計算真正理解,持續(xù)成長,成為個人的長期智慧資產(chǎn)。
離線運行,多場景隨時調(diào)用,無論辦公、學(xué)習(xí)還是工業(yè)應(yīng)用,AI即插即用,不依賴云端。
存儲與回傳,依托AMC本體32GB的存儲能力,使用過程中的數(shù)據(jù)可本地化存儲,也可主動同步到個人主機(jī),形成專屬AI記憶 。
讓AI模型個性化成長,成為“最懂你的聰明助手”并且隨時隨地即時響應(yīng)。
從 “大而全” 到 “小而精”,我們看到了AMC在AI計算領(lǐng)域的潛力,有望讓AI計算變得更精準(zhǔn)、更高效。場景化模型 OTA能讓開發(fā)者更快構(gòu)建AI,用戶更自由地使用AI,推動AI計算從通用向定制、從固定向靈活、從單一向多元發(fā)展,真正賦能千行百業(yè)。
躍昉科技,依托RISC-V計算架構(gòu),不斷探索芯片、邊緣AI計算與智能互聯(lián)的創(chuàng)新融合,加速推動國產(chǎn)AI計算自主化。我們相信,未來的AI計算不再是一種昂貴的資源,而是普惠的能力。個性化的智能,是一股驅(qū)動世界躍向更智能未來的核心動力!
廣東躍昉科技有限公司聚焦研發(fā)基于RISC-V架構(gòu)的SoC芯片產(chǎn)品及系統(tǒng)解決方案,并提供從操作系統(tǒng)到云平臺的全?;A(chǔ)智能軟件服務(wù),通過融合人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈等交叉領(lǐng)域技術(shù)為中國數(shù)字經(jīng)濟(jì)的創(chuàng)新應(yīng)用賦能。
躍昉科技作為RISC-V架構(gòu)SoC芯片設(shè)計及產(chǎn)業(yè)應(yīng)用的開拓者,已推出系列基于RISC-V架構(gòu)的高性能SoC芯片及產(chǎn)品,覆蓋AIoT邊端物聯(lián)、控制和計算等應(yīng)用領(lǐng)域,集高效能計算資源、豐富工業(yè)接口、穩(wěn)定可靠品質(zhì)等特性于一體。依托于全棧技術(shù)能力,躍昉科技正持續(xù)深耕于智慧能源、智慧物流、智慧城市、智慧工廠等領(lǐng)域,旨在為客戶帶來專業(yè)化、高品質(zhì)的產(chǎn)品和服務(wù)。
-
RISC-V
+關(guān)注
關(guān)注
47文章
2698瀏覽量
50869 -
躍昉科技
+關(guān)注
關(guān)注
0文章
80瀏覽量
2778 -
大模型
+關(guān)注
關(guān)注
2文章
3351瀏覽量
4723 -
DeepSeek
+關(guān)注
關(guān)注
2文章
821瀏覽量
2572
原文標(biāo)題:RISC-V計算新突破!躍昉AMC將DeepSeek大模型裝進(jìn)口袋
文章出處:【微信號:躍昉科技LeapFive,微信公眾號:躍昉科技LeapFive】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
SL1680 SoC本地運行DeepSeek R1 1.5B大模型

軟通動力助力黑龍江大學(xué)完成DeepSeek大模型本地化部署
博實結(jié)完成DeepSeek大模型本地化部署
RK3588開發(fā)板上部署DeepSeek-R1大模型的完整指南
行芯完成DeepSeek-R1大模型本地化部署
浪潮信息:元腦EPAI已接入DeepSeek,大幅提升DeepSeek企業(yè)應(yīng)用準(zhǔn)確率

曙光順利完成DeepSeek大模型本地化多點私有部署
紹興數(shù)據(jù)局率先實現(xiàn)政務(wù)環(huán)境下的DeepSeek模型部署

云天天書大模型訓(xùn)推一體機(jī)成功適配DeepSeek
了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應(yīng)用選擇
龍芯處理器與DeepSeek完成適配
烽火通信推動DeepSeek本地化部署,金融行業(yè)率先示范
英特爾酷睿Ultra處理器支持DeepSeek運行
龍芯處理器成功運行DeepSeek大模型

評論