chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

從零復(fù)現(xiàn),全面開(kāi)源:360 Light-R1-14B/7B帶來(lái)端側(cè)AI平權(quán)時(shí)刻

腦極體 ? 來(lái)源:腦極體 ? 作者:腦極體 ? 2025-03-16 10:47 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

wKgZO2fWO8WAYC_UAAogto1jFHY680.jpg

性能領(lǐng)先、開(kāi)源普惠、國(guó)產(chǎn)易獲取的三重勢(shì)能,造就了年初DeepSeek的技術(shù)平權(quán)狂熱,掀起AI普惠浪潮。

然而,當(dāng)很多人想在端側(cè)部署DeepSeek模型時(shí),卻遭遇了挑戰(zhàn):部署滿(mǎn)血版大模型需數(shù)萬(wàn)元硬件投入,退而求其次選擇蒸餾版14B版本,又會(huì)出現(xiàn)性能斷崖式下跌與響應(yīng)延遲。

就在AI用戶(hù)陷入“高成本部署”與“低質(zhì)量妥協(xié)”的兩難困境時(shí),端側(cè)AI的破局時(shí)刻,悄悄被360打開(kāi)了。

近期,360智腦團(tuán)隊(duì)發(fā)布了最強(qiáng)14B推理模型Light-R1-14B-DS,是業(yè)界首次在14B模型上復(fù)現(xiàn)強(qiáng)化學(xué)習(xí)效果。數(shù)學(xué)能力上,表現(xiàn)超過(guò)
DeepSeek-R1-Distill-Llama-70B和DeepSeek-R1-Distill-Qwen-32B。

wKgZPGfWO8WAVNmyAAEHGSxz9PY855.jpg

盡管只訓(xùn)練了MATH數(shù)據(jù),但在GPQA科學(xué)常識(shí)評(píng)測(cè)中,7B/14B雙版本均超越對(duì)標(biāo)產(chǎn)品,展現(xiàn)出“小參數(shù)大智慧”的泛化能力。

此外,配合360的全面開(kāi)源策略(模型/數(shù)據(jù)/代碼/技術(shù)報(bào)告全開(kāi)放),這場(chǎng)端側(cè)AI平權(quán)運(yùn)動(dòng),意味著14B模型能在手機(jī)端流暢運(yùn)行,意味著企業(yè)無(wú)需天價(jià)算力即可部署專(zhuān)業(yè)級(jí)AI。

AI端側(cè)民主化的風(fēng)暴眼,正在醞釀之中。

wKgZO2fWO8aAP4ByAAJ7Asry2bk783.jpg

我們第一時(shí)間研讀了360放出的技術(shù)報(bào)告,發(fā)現(xiàn)端側(cè)AI的技術(shù)拐點(diǎn)已經(jīng)出現(xiàn)。360開(kāi)源的Light-R1-14B-DS創(chuàng)造了三項(xiàng)行業(yè)紀(jì)錄:

一是能力復(fù)現(xiàn)。Light-R1-14B-DS首次在數(shù)學(xué)能力上,用14B 模型復(fù)現(xiàn)了強(qiáng)化學(xué)習(xí)效果,通過(guò)多階段課程學(xué)習(xí)SFT強(qiáng)化學(xué)習(xí),Light-R1-14B-DS的表現(xiàn)超過(guò)
DeepSeek-R1-Distill-Llama-70B和DeepSeek-R1-Distill-Qwen-32B,是目前最優(yōu)的14B模型,這驗(yàn)證了RL強(qiáng)化學(xué)習(xí)策略的有效性,RL對(duì)端側(cè)模型訓(xùn)練的收益很大,仍有進(jìn)一步挖掘潛力。

wKgZPGfWO8aALQOoAALWEtEOMxo029.jpg

(Light-R1 訓(xùn)練流程)

二是效率革命。Light-R1-14B-DS 經(jīng)過(guò)長(zhǎng)思維鏈強(qiáng)化學(xué)習(xí)后訓(xùn)練,在AIME 24和25上分別取得了74.0和60.2的成績(jī),數(shù)學(xué)部分表現(xiàn)超越DeepSeek的70B(72.6分)和32B(54.9分)蒸餾模型,取得了非常顯著的提升,這標(biāo)志著推理能耗進(jìn)一步降低。另一版本的Light-R1-7B-DS,無(wú)需量化即可端側(cè)部署。此次探索,在低成本復(fù)現(xiàn) DeepSeek-R1方面邁出了重要一步。

三是泛化能力增強(qiáng)。Light-R1-14B-DS在科學(xué)常識(shí)評(píng)測(cè)GPQA上漲,打破了模型“災(zāi)難性遺忘”的魔咒,具有較好的泛化性,開(kāi)辟模型優(yōu)化新路徑。

wKgZO2fWO8eAZ7PBAABk1prKIxE725.jpg

最強(qiáng)14B端側(cè)推理模型,撕開(kāi)了DeepSeek 70B的性能封鎖線,端側(cè)AI迎來(lái)了規(guī)?;占暗墓拯c(diǎn)。不過(guò),在AI與大眾之間,還差一個(gè)開(kāi)源。

wKgZPGfWO8eAc6bNAAI7XfjjE4w513.jpg

如果僅有技術(shù)突破,但沒(méi)有開(kāi)源機(jī)制,那么端側(cè)推理模型再好,也無(wú)法被大眾輕松獲得、低成本用起來(lái)。

此次,360采取了全棧式的開(kāi)源策略——模型權(quán)重、22萬(wàn)條數(shù)學(xué)數(shù)據(jù)集、RL訓(xùn)練代碼、技術(shù)報(bào)告等,都悉數(shù)公開(kāi)。這種開(kāi)源深度,遠(yuǎn)遠(yuǎn)超過(guò)了常規(guī)模型權(quán)重開(kāi)放。

也就是說(shuō),中小團(tuán)隊(duì)僅需極少算力,就能從數(shù)據(jù)清洗到強(qiáng)化學(xué)習(xí)全鏈路復(fù)現(xiàn),完成端側(cè)AI的后訓(xùn)練與部署。

端側(cè)AI的民主化,高度依賴(lài)于科技企業(yè)的開(kāi)源策略,為什么說(shuō)360此次開(kāi)放端側(cè)推理模型很重要?

對(duì)企業(yè)來(lái)說(shuō),傳統(tǒng)端側(cè)AI部署,會(huì)面臨閉源模型高昂的授權(quán)費(fèi)用(如OpenAI API調(diào)用成本)與硬件適配的邊際成本(需定制化芯片或服務(wù)器),成本難以承受。此前openai也發(fā)布過(guò)蒸餾版o1-mini,但高昂的訂閱費(fèi)依然讓大量開(kāi)發(fā)者望而卻步。此外,閉源模型存在不可解釋性風(fēng)險(xiǎn),醫(yī)療、法律等行業(yè)因合規(guī)要求無(wú)法接受“輸入-輸出”不透明的AI決策。因此,Light-R1-14B-DS這樣低成本、全開(kāi)源的國(guó)產(chǎn)端側(cè)推理模型,有望打消企業(yè)對(duì)AI的顧慮,輕松邁入智能化。

對(duì)個(gè)人來(lái)講,云端模型需要上傳數(shù)據(jù),這會(huì)引發(fā)隱私泄露的顧慮。而在端側(cè)離線運(yùn)行大模型,又對(duì)算力/內(nèi)存有更高的要求,傳統(tǒng)端側(cè)AI需要旗艦級(jí)設(shè)備,買(mǎi)不起旗艦機(jī),就用不到好AI,這形成了一種AI時(shí)代的“設(shè)備歧視”。

360開(kāi)源最強(qiáng)14B端側(cè)模型,讓端側(cè)AI能力不再是少數(shù)機(jī)型的特權(quán),也可以下沉到普惠機(jī)型上,為大眾所用。而用戶(hù)規(guī)模的擴(kuò)大,也會(huì)推動(dòng)AI應(yīng)用及大模型產(chǎn)品的增長(zhǎng)。

由此看到,360開(kāi)源策略所帶來(lái)的技術(shù)民主化,可以激活A(yù)I的長(zhǎng)尾需求,加速AI普惠的到來(lái)。

wKgZO2fWO8mALUrHAAKWDw3aeEE283.jpg

終端設(shè)備,是用好AI的載體。推理模型下沉到端側(cè),應(yīng)用空間也十分廣闊,打開(kāi)了端側(cè)AI的無(wú)限想象空間。

預(yù)測(cè)一下,目前這兩個(gè)最強(qiáng)端側(cè)14B/7B推理模型,可能會(huì)首先落地在商業(yè)價(jià)值高的場(chǎng)景,然后一步步滲透進(jìn)各行業(yè)。

首當(dāng)其沖的,就是消費(fèi)電子領(lǐng)域。智能手機(jī)、手表、平板、PC、眼鏡等終端設(shè)備,近兩年都在加速AI化。

但此前AI化有兩種方案:一是純端側(cè),保證本地隱私安全,但內(nèi)存要求高,功耗大;另一種是端云結(jié)合,部分任務(wù)上云處理。Light-R1-7B-DS無(wú)需量化即可部署于終端設(shè)備(如手機(jī)、IoT設(shè)備),標(biāo)志著消費(fèi)級(jí)硬件也能運(yùn)行復(fù)雜AI任務(wù)。對(duì)比傳統(tǒng)需要32B以上參數(shù)的端側(cè)模型,其7B規(guī)模大幅降低內(nèi)存占用和能耗。為AI終端帶來(lái)了更大的創(chuàng)新空間,比如在手機(jī)本地運(yùn)行復(fù)雜數(shù)學(xué)輔導(dǎo)、法律文書(shū)解析等任務(wù),解決隱私和延遲痛點(diǎn)。

360的技術(shù)突破與全棧開(kāi)源,可以為消費(fèi)電子領(lǐng)域的AI探索帶來(lái)非常有益的借鑒。

下一個(gè)就是重點(diǎn)行業(yè)、垂直領(lǐng)域。金融、政務(wù)、醫(yī)療、法律等數(shù)字化基礎(chǔ)較好的行業(yè),積極擁抱AI,又希望在本地化運(yùn)行專(zhuān)業(yè)級(jí)AI,避免敏感數(shù)據(jù)上傳云端,這就需要專(zhuān)有模型+后訓(xùn)練,最強(qiáng)端側(cè)14B/7B推理模型可以大幅降低端側(cè)專(zhuān)有模型的訓(xùn)練、推理等硬件門(mén)檻,加速行業(yè)智能化探索。

更進(jìn)一步,傳統(tǒng)行業(yè)壁壘也將被端側(cè)普惠AI撕開(kāi)。比如智慧城市治理,通過(guò)部署端側(cè)AI的邊緣智能計(jì)算,可以極大減少智能化的建設(shè)和升級(jí)運(yùn)維成本;農(nóng)業(yè)智能化,搭載14B模型的農(nóng)業(yè)無(wú)人機(jī),路線自動(dòng)避障、精準(zhǔn)識(shí)別地面等能力,都會(huì)隨著推理能力的增強(qiáng)而大幅提升。

通過(guò)端側(cè)AI的普惠路線圖,來(lái)進(jìn)行推演,不難看到,360的技術(shù)突破與開(kāi)源策略,一定會(huì)吸引大量行業(yè)開(kāi)發(fā)者或個(gè)人開(kāi)發(fā)者前來(lái)試用,與豐富的場(chǎng)景相結(jié)合,催生大量智能化的長(zhǎng)尾應(yīng)用。

也就是說(shuō),通過(guò)開(kāi)源輕量級(jí)推理模型,360有望規(guī)避AI六小強(qiáng)在千億參數(shù)級(jí)的競(jìng)爭(zhēng)?;陂_(kāi)源開(kāi)放的技術(shù)公信力,構(gòu)建開(kāi)發(fā)者生態(tài)護(hù)城河。從這個(gè)角度看,360掀起的端側(cè)AI颶風(fēng),也將卷出一個(gè)大模型競(jìng)爭(zhēng)的新格局。

端側(cè)推理模型的平權(quán)時(shí)刻已到,萬(wàn)億級(jí)邊緣智能市場(chǎng)正蓄勢(shì)待發(fā)、乘風(fēng)遠(yuǎn)航。

wKgZPGfWO8qAFVSvAAHtprMJuTM793.jpg

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    35164

    瀏覽量

    279999
  • 開(kāi)源
    +關(guān)注

    關(guān)注

    3

    文章

    3689

    瀏覽量

    43834
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    太強(qiáng)了!AI PC搭載70B大模型,算力狂飆,內(nèi)存開(kāi)掛

    DeepSeek-R1不同模型。相對(duì)來(lái)說(shuō),DeepSeek-R1 70B大模型或許是日常AI功能的頂格需求,它也是當(dāng)前高性能AI PC的著力
    的頭像 發(fā)表于 03-24 08:52 ?2167次閱讀
    太強(qiáng)了!<b class='flag-5'>AI</b> PC搭載70<b class='flag-5'>B</b>大模型,算力狂飆,內(nèi)存開(kāi)掛

    華為宣布開(kāi)源盤(pán)古7B稠密和72B混合專(zhuān)家模型

    關(guān)鍵一步,為全球開(kāi)發(fā)者、企業(yè)及研究人員提供了強(qiáng)大的技術(shù)支撐。 ? 華為此次開(kāi)源行動(dòng)涵蓋三大核心板塊:盤(pán)古Pro MoE 72B模型權(quán)重與基礎(chǔ)推理代碼已率先上線開(kāi)源平臺(tái);基于昇騰的超大規(guī)模MoE模型推理代碼同步開(kāi)放;盤(pán)古
    的頭像 發(fā)表于 07-06 05:51 ?6132次閱讀

    華為正式開(kāi)源盤(pán)古7B稠密和72B混合專(zhuān)家模型

    關(guān)鍵舉措,推動(dòng)大模型技術(shù)的研究與創(chuàng)新發(fā)展,加速推進(jìn)人工智能在千行百業(yè)的應(yīng)用與價(jià)值創(chuàng)造。 盤(pán)古Pro MoE 72B模型權(quán)重、基礎(chǔ)推理代碼,已正式上線開(kāi)源平臺(tái)。 基于昇騰的超大規(guī)模MoE模型推理代碼,已正式上線開(kāi)源平臺(tái)。 盤(pán)古
    的頭像 發(fā)表于 06-30 11:19 ?480次閱讀

    【幸狐Omni3576邊緣計(jì)算套件試用體驗(yàn)】CPU部署DeekSeek-R1模型(1B7B

    :7b 和前面類(lèi)似的,可以通過(guò) ollama 命令拉取 deepseek-r1:7b 模型,命令為: ollama pull deepseek-r1:
    發(fā)表于 04-21 00:39

    首創(chuàng)開(kāi)源架構(gòu),天璣AI開(kāi)發(fā)套件讓側(cè)AI模型接入得心應(yīng)手

    側(cè)AI應(yīng)用開(kāi)發(fā)往往需要調(diào)用各種各樣的大模型能力,需要更豐富、類(lèi)型更多的模型適配。為此,Gen-AI Model Hub全面擴(kuò)容,模型
    發(fā)表于 04-13 19:52

    如何基于Android 14在i.MX95 EVK上運(yùn)行Deepseek-R1-1.5B和性能

    本文檔總結(jié)了如何基于 Android 14 在 i.MX95 EVK 上運(yùn)行 Deepseek-R1-1.5B 和性能。 1. Install Android 14 on i.MX95
    發(fā)表于 04-04 06:59

    兆芯全面部署DeepSeek R1大模型

    近日,基于兆芯高性能通用處理器的PC終端、工作站以及服務(wù)器成功實(shí)現(xiàn)DeepSeek-R1-Distill模型(1.5B/7B/32B/70B
    的頭像 發(fā)表于 02-25 13:45 ?530次閱讀

    ATK-DLRK3588開(kāi)發(fā)板deepseek-r1-1.5b/7b部署指南

    本帖最后由 jf_85110202 于 2025-2-14 16:41 編輯 ATK-DLRK3588開(kāi)發(fā)板deepseek-r1-1.5b/7b部署指南 最近deepseek爆火,當(dāng)
    發(fā)表于 02-14 16:33

    部署DeepSeek R1于AX650N與AX630C平臺(tái)

    背景 春節(jié)前,國(guó)產(chǎn)大模型 DeepSeek 橫空出世,迅速成為AI領(lǐng)域的焦點(diǎn)。作為側(cè)AI能效比優(yōu)異的 AX650N、AX630C 芯片平臺(tái)早已在節(jié)前完成 DeepSeek
    的頭像 發(fā)表于 02-09 09:32 ?1106次閱讀
    部署DeepSeek <b class='flag-5'>R1</b>于AX650N與AX630C平臺(tái)

    壁仞科技順利部署DeepSeek R1千問(wèn)蒸餾模型

    DeepSeek 的國(guó)內(nèi)算力支持隊(duì)伍進(jìn)一步壯大:來(lái)自上海的壁仞科技順利部署DeepSeek-R1-Distill千問(wèn)蒸餾模型(1.5B/7B/14B/32
    的頭像 發(fā)表于 02-08 16:56 ?1830次閱讀

    后摩漫界M30芯片成功適配DeepSeek-R1系列模型

    DeepSeek-R1-Distill-Qwen系列模型,包括1.5B、7B14B等。這一成果不僅證明了存算一體芯片架構(gòu)在大模型高效部署中的顯著優(yōu)勢(shì),也為
    的頭像 發(fā)表于 02-08 10:42 ?995次閱讀

    獵戶(hù)星空發(fā)布Orion-MoE 8×7B大模型及AI數(shù)據(jù)寶AirDS

    近日,獵戶(hù)星空攜手聚云科技在北京共同舉辦了一場(chǎng)發(fā)布會(huì)。會(huì)上,獵戶(hù)星空正式揭曉了其自主研發(fā)的Orion-MoE 8×7B大模型,并與聚云科技聯(lián)合推出了基于該大模型的數(shù)據(jù)服務(wù)——AI數(shù)據(jù)寶AirDS
    的頭像 發(fā)表于 11-29 13:57 ?674次閱讀

    PerfXCloud重磅升級(jí) 阿里開(kāi)源最強(qiáng)視覺(jué)語(yǔ)言模型Qwen2-VL-7B強(qiáng)勢(shì)上線!

    「重磅通知」 :PerfXCloud 再度華麗升級(jí),現(xiàn)已全面支持迄今為止 最為卓越的開(kāi)源視覺(jué)模型 Qwen2-VL-7B 。這一重大突破將為用戶(hù)帶來(lái)更加震撼的視覺(jué)體驗(yàn),進(jìn)一步拓展創(chuàng)意的
    的頭像 發(fā)表于 10-23 11:07 ?774次閱讀
    PerfXCloud重磅升級(jí)  阿里<b class='flag-5'>開(kāi)源</b>最強(qiáng)視覺(jué)語(yǔ)言模型Qwen2-VL-<b class='flag-5'>7B</b>強(qiáng)勢(shì)上線!

    TAS5805的I2C地址配置的是7b:2D,8b:5A怎么出來(lái)是7b:2F,8b:5E?這個(gè)是什么原因?

    我們5805的I2C地址配置的是7b:2D,8b:5A,怎么出來(lái)是7b:2F,8b:5E?這個(gè)是什么原因? DVDD: 1.8V
    發(fā)表于 10-18 07:41

    Q1和非Q1器件的TPS54340/360/540/560和TPS54340B/360B/540B/560B之間的差異

    電子發(fā)燒友網(wǎng)站提供《Q1和非Q1器件的TPS54340/360/540/560和TPS54340B/360B/540
    發(fā)表于 09-13 09:45 ?0次下載
    Q<b class='flag-5'>1</b>和非Q<b class='flag-5'>1</b>器件的TPS54340/<b class='flag-5'>360</b>/540/560和TPS54340<b class='flag-5'>B</b>/<b class='flag-5'>360B</b>/540<b class='flag-5'>B</b>/560<b class='flag-5'>B</b>之間的差異