chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AI大模型網(wǎng)絡(luò)如何搭建

鮮棗課堂 ? 來(lái)源:鮮棗課堂 ? 2023-06-27 11:28 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

2023年,以ChatGPT為代表的AIGC大模型全面崛起,成為了整個(gè)社會(huì)關(guān)注的焦點(diǎn)。 大模型表現(xiàn)出了強(qiáng)悍的自然語(yǔ)言理解能力,刷新了人們對(duì)AI的認(rèn)知,也掀起了新一輪的“算力軍備競(jìng)賽”。 大家都知道,AIGC大模型的入局門檻是很高的。玩AI的三大必備要素——算力、算法和數(shù)據(jù),每一個(gè)都意味著巨大的投入。 以算力為例。ChatGPT的技術(shù)底座,是基于微調(diào)后的GPT3.5大模型,參數(shù)量多達(dá)1750億個(gè)。為了完成這個(gè)大模型的訓(xùn)練,微軟專門建設(shè)了一個(gè)AI超算系統(tǒng),投入了1萬(wàn)個(gè)V100 GPU,總算力消耗約3640 PF-days(即假如每秒計(jì)算一千萬(wàn)億次,需要計(jì)算3640天)。 業(yè)內(nèi)頭部廠商近期推出的大模型,參數(shù)量規(guī)模更是達(dá)到萬(wàn)億級(jí)別,需要的GPU更多,消耗的算力更大。 這些數(shù)量龐大的GPU,一定需要通過(guò)算力集群的方式,協(xié)同完成計(jì)算任務(wù)。這就意味著,需要一張超高性能、超強(qiáng)可靠的網(wǎng)絡(luò),才能把海量GPU聯(lián)接起來(lái),形成超級(jí)計(jì)算集群。 那么,問(wèn)題來(lái)了,這張網(wǎng)絡(luò),到底該如何搭建呢?


高性能網(wǎng)絡(luò)的挑戰(zhàn) 想要建設(shè)一張承載AIGC大模型的網(wǎng)絡(luò),需要考慮的因素非常多。 首先,是網(wǎng)絡(luò)規(guī)模。 剛才我們也提到,AI訓(xùn)練都是10000個(gè)GPU起步,也有的達(dá)到十萬(wàn)級(jí)。從架構(gòu)上,目標(biāo)網(wǎng)絡(luò)就必須hold得住這么多的計(jì)算節(jié)點(diǎn)。而且,在節(jié)點(diǎn)增加的同時(shí),集群算力盡量線性提升,不能引入過(guò)高的通信開(kāi)銷,損失算力。 其次,是網(wǎng)絡(luò)帶寬。 超高性能的GPU,加上千億、萬(wàn)億參數(shù)的訓(xùn)練規(guī)模,使得計(jì)算節(jié)點(diǎn)之間的通信量,達(dá)到了百GB量級(jí)。再加上各種并行模式、加速框架的引入,節(jié)點(diǎn)之間的通道帶寬需求會(huì)更高。 傳統(tǒng)數(shù)據(jù)中心通用的100Gbps帶寬接入,根本滿足不了這個(gè)需求。我們的目標(biāo)網(wǎng)絡(luò),接入帶寬必須升級(jí)到800Gbps、1.6Tbps,甚至更高。 第三,流量調(diào)控。 傳統(tǒng)的網(wǎng)絡(luò)架構(gòu),在應(yīng)對(duì)AI大模型訓(xùn)練產(chǎn)生的數(shù)據(jù)流時(shí),存在缺陷。所以,目標(biāo)網(wǎng)絡(luò)需要在架構(gòu)上做文章,更好地控制數(shù)據(jù)流路徑,讓節(jié)點(diǎn)和通道的流量更均衡,避免發(fā)生擁塞。 第四,協(xié)議升級(jí)。 網(wǎng)絡(luò)協(xié)議是網(wǎng)絡(luò)工作的行為準(zhǔn)則。它的好壞,直接決定了網(wǎng)絡(luò)的性能、效率和延遲。 傳統(tǒng)數(shù)據(jù)中心的TCP/IP協(xié)議,早已已無(wú)法滿足高性能網(wǎng)絡(luò)的大帶寬、低時(shí)延需求。性能更強(qiáng)的IB(InfiniBand)協(xié)議、RDMA協(xié)議,已然成為主流。有實(shí)力的廠家,還會(huì)基于自家硬件設(shè)備,自研更高效的協(xié)議。 第五,運(yùn)維簡(jiǎn)化。 這就不用多說(shuō)了。超大規(guī)模的網(wǎng)絡(luò),如果還是采用傳統(tǒng)運(yùn)維,不僅效率跟不上,還會(huì)導(dǎo)致更長(zhǎng)的故障恢復(fù)周期,損失算力,損失資金。 目前,行業(yè)里的“大模頭”們,都會(huì)根據(jù)自己技術(shù)和資金實(shí)力,選擇商用網(wǎng)絡(luò)組網(wǎng),或者自研網(wǎng)絡(luò)協(xié)議。 大家心里很清楚,想要贏得這場(chǎng)比賽,除了算力芯片足夠強(qiáng)之外,網(wǎng)絡(luò)的性能表現(xiàn)是至關(guān)重要的。網(wǎng)絡(luò)越強(qiáng),集群的算力提升就越大,完成模型訓(xùn)練的時(shí)間就越短,成本也就越低。


星脈網(wǎng)絡(luò),鵝廠的算力集群殺手锏 對(duì)于AI大模型這場(chǎng)熱潮,騰訊當(dāng)然不會(huì)缺席。他們推出了業(yè)界領(lǐng)先的高性能計(jì)算網(wǎng)絡(luò)架構(gòu)——星脈。 騰訊深耕互聯(lián)網(wǎng)行業(yè)20多年,從QQ到微信,他們的超大規(guī)模業(yè)務(wù)承載能力,可以說(shuō)是行業(yè)頂尖的。在網(wǎng)絡(luò)技術(shù)的理解和駕馭能力上,也是世界領(lǐng)先水平。而星脈,則是他們多年技術(shù)研究的精髓,是真正的殺手锏。 根據(jù)實(shí)測(cè),星脈實(shí)現(xiàn)了AI大模型通信性能的10倍提升、GPU利用率提升40%、通信時(shí)延降低40%。 基于全自研的網(wǎng)絡(luò)硬件平臺(tái),星脈可以實(shí)現(xiàn)網(wǎng)絡(luò)建設(shè)成本降低30%,模型訓(xùn)練成本節(jié)省30%~60%。 d3c3f47e-1419-11ee-962d-dac502259ad0.png 星脈網(wǎng)絡(luò)的算力效率,遠(yuǎn)高于業(yè)界主流值 ? 接下來(lái),我們不妨深入解讀一下,星脈到底采用了哪些黑科技。在前面所提到的幾項(xiàng)挑戰(zhàn)上,騰訊團(tuán)隊(duì)又是如何應(yīng)對(duì)的。 ?

網(wǎng)絡(luò)規(guī)模

在組網(wǎng)架構(gòu)上,星脈網(wǎng)絡(luò)采用無(wú)阻塞胖樹(shù)(Fat-Tree)拓?fù)?,分為Block-Pod-Cluster三級(jí)。 d3e95bd8-1419-11ee-962d-dac502259ad0.png 星脈網(wǎng)絡(luò)的架構(gòu) ? Block是最小單元,包括256個(gè)GPU。 ? Pod是典型集群規(guī)模,包括16~64個(gè)Block,也就是4096~16384個(gè)GPU。 ? 多個(gè)Block可以組成Cluster。1個(gè)Cluster最大支持16個(gè)Pod,也就是65536~262144個(gè)GPU。 ? 26萬(wàn)個(gè)GPU,這個(gè)規(guī)模完全能夠滿足目前的訓(xùn)練需求。 ?

網(wǎng)絡(luò)帶寬

騰訊星脈網(wǎng)絡(luò)為每個(gè)計(jì)算節(jié)點(diǎn)提供了3.2T的超高通信帶寬。 單個(gè)服務(wù)器(帶有8個(gè)GPU)就是一個(gè)計(jì)算節(jié)點(diǎn)。每個(gè)服務(wù)器有8塊RoCE網(wǎng)卡。每塊網(wǎng)卡的接口速率是400Gbps。 RoCE,是RDMA over Converged Ethernet(基于聚合以太網(wǎng)的RDMA)。RDMA(遠(yuǎn)程直接GPU通信訪問(wèn))我們以前介紹過(guò)很多次。它允許計(jì)算節(jié)點(diǎn)之間直接通過(guò)內(nèi)存進(jìn)行數(shù)據(jù)傳輸,無(wú)需操作系統(tǒng)內(nèi)核和CPU的參與,能夠大幅減小CPU負(fù)荷,降低延遲,提高吞吐量。 d4010b48-1419-11ee-962d-dac502259ad0.png ? 大帶寬帶來(lái)的優(yōu)勢(shì)是非常顯著的。對(duì)于AllReduce和All-to-All這兩種典型通信模式,在不同集群規(guī)模下,1.6Tbps超帶寬都會(huì)帶來(lái)10倍以上的通信性能提升(相比100Gbps帶寬)。 ? 以AllReduce模式、64 GPU規(guī)模為例,采用1.6Tbps超帶寬網(wǎng)絡(luò),將使得AllReduce的耗時(shí)大幅縮短14倍,通信占比從35%減少到3.7%,最終使得單次迭代的訓(xùn)練耗時(shí)減少32%。從集群算力的角度來(lái)看,相當(dāng)于用同樣的計(jì)算資源,系統(tǒng)算力卻提升48%。 ?

流量調(diào)控

為了提升集群的通信效率,星脈網(wǎng)絡(luò)對(duì)通信流量路徑進(jìn)行了優(yōu)化,引入了“多軌道流量聚合架構(gòu)”。 該架構(gòu)將不同服務(wù)器上位于相同位置的網(wǎng)卡,都?xì)w屬于同一個(gè)ToR switch(機(jī)柜頂部的匯聚交換機(jī))。整個(gè)計(jì)算網(wǎng)絡(luò)平面,從物理上被劃分為8個(gè)獨(dú)立并行的軌道平面。 d415d3e8-1419-11ee-962d-dac502259ad0.png ? 在工作時(shí),GPU之間的數(shù)據(jù),可以用多個(gè)軌道并行傳輸加速。并且,大部分流量,都聚合在軌道平面內(nèi)傳輸(只經(jīng)過(guò)一級(jí) ToR switch)。只有小部分流量,會(huì)跨軌道平面?zhèn)鬏敚ㄐ枰?jīng)過(guò)二級(jí) switch)。這大幅減輕了網(wǎng)絡(luò)壓力。 ? 星脈網(wǎng)絡(luò)還采用了“異構(gòu)網(wǎng)絡(luò)自適應(yīng)通信技術(shù)。 在集群中,GPU之間的通信包括機(jī)間網(wǎng)絡(luò)(網(wǎng)卡+交換機(jī))與機(jī)內(nèi)網(wǎng)絡(luò)( NVLink/NVSwitch 網(wǎng)絡(luò)、PCIe 總線網(wǎng)絡(luò))。 星脈網(wǎng)絡(luò)將機(jī)間、機(jī)內(nèi)兩種網(wǎng)絡(luò)同時(shí)利用起來(lái),實(shí)現(xiàn)了異構(gòu)網(wǎng)絡(luò)之間的聯(lián)合通信優(yōu)化。 例如,在All-to-All通信模式時(shí),每個(gè)GPU都會(huì)和其它服務(wù)器的不同GPU通信。 d44bee10-1419-11ee-962d-dac502259ad0.png ? 基于異構(gòu)網(wǎng)絡(luò)自適應(yīng)通信技術(shù),不同服務(wù)器上相同位置的GPU,在同一軌道平面,仍然走機(jī)間網(wǎng)絡(luò)通信。 ? 但是,要去往不同位置的GPU(比如host1上的GPU1,需要向其它host上的GPU8 送數(shù)據(jù)),則先通過(guò)機(jī)內(nèi)網(wǎng)絡(luò),轉(zhuǎn)發(fā)到host1上的GPU8上,然后通過(guò)機(jī)間網(wǎng)絡(luò),來(lái)完成通信。 ? 這樣一來(lái),機(jī)間網(wǎng)絡(luò)的流量,大部分都聚合在軌道內(nèi)傳輸(只經(jīng)過(guò)一級(jí) ToR switch)。機(jī)間網(wǎng)絡(luò)的流量大幅減少,沖擊概率也明顯下降,從而提供了整網(wǎng)性能。 ? 根據(jù)實(shí)測(cè),異構(gòu)網(wǎng)絡(luò)通信在大規(guī)模All-to-All場(chǎng)景下,對(duì)中小數(shù)據(jù)包的傳輸性能提升在30%左右。 ?

協(xié)議升級(jí)

星脈網(wǎng)絡(luò)采用的“自研端網(wǎng)協(xié)同協(xié)議TiTa”,可以提供更高的網(wǎng)絡(luò)通信性能,非常適合大規(guī)模參數(shù)模型訓(xùn)練。 TiTa協(xié)議內(nèi)嵌擁塞控制算法,可以實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)狀態(tài)并進(jìn)行通信優(yōu)化。它就好比是一個(gè)智能交通管理系統(tǒng),可以讓網(wǎng)絡(luò)上的數(shù)據(jù)傳輸更加通暢。 d462af2e-1419-11ee-962d-dac502259ad0.png TiTa協(xié)議的處理方式 ? 面對(duì)定制設(shè)計(jì)的高性能組網(wǎng)架構(gòu),業(yè)界開(kāi)源的GPU集合通信庫(kù)(例如NCCL)并不能將網(wǎng)絡(luò)的通信性能發(fā)揮到極致。為此,騰訊推出了“高性能集合通信庫(kù)TCCL(Tencent Collective Communication Library)”。 TCCL就像一個(gè)智能導(dǎo)航系統(tǒng)。它在網(wǎng)卡設(shè)備管理、全局網(wǎng)絡(luò)路由、拓?fù)涓兄H和性調(diào)度、網(wǎng)絡(luò)故障自動(dòng)告警等方面進(jìn)行了深度定制,對(duì)網(wǎng)絡(luò)了如指掌,讓流量路徑更加合理。 例如,從GPU A到GPU B,原來(lái)需要經(jīng)過(guò)9個(gè)路口。有了TCCL導(dǎo)航之后,只需要走4個(gè)路口,提升了效率。 根據(jù)實(shí)測(cè),在AllReduce/AllGather/ReduceScatter等常用通信模式下,TCCL能給星脈網(wǎng)絡(luò)帶來(lái)40%左右的通信性能提升。

部署和運(yùn)維簡(jiǎn)化

算力集群網(wǎng)絡(luò)越龐大,它的部署和維護(hù)難度也就越大。 為了提升星脈網(wǎng)絡(luò)的可靠性,騰訊自研了一套全棧網(wǎng)絡(luò)運(yùn)營(yíng)系統(tǒng),實(shí)現(xiàn)了“端網(wǎng)部署一體化”、“一鍵故障定位”、“業(yè)務(wù)無(wú)感秒級(jí)網(wǎng)絡(luò)自愈”,對(duì)網(wǎng)絡(luò)進(jìn)行全方位保駕護(hù)航。 先看看“端網(wǎng)部署一體化”。 部署一直都是高性能網(wǎng)絡(luò)的痛點(diǎn)。在星脈網(wǎng)絡(luò)之前,根據(jù)統(tǒng)計(jì),90%的高性能網(wǎng)絡(luò)故障問(wèn)題,是因?yàn)榕渲缅e(cuò)誤導(dǎo)致。原因很簡(jiǎn)單,網(wǎng)卡的配置套餐太多(取決于架構(gòu)版本、業(yè)務(wù)類型和網(wǎng)卡類型),人為操作很難保證不出錯(cuò)。 騰訊的解決方法,是將配置過(guò)程自動(dòng)化。 他們通過(guò)API的方式,實(shí)現(xiàn)單臺(tái)/多臺(tái)交換機(jī)的并行部署能力。 在正式部署前,系統(tǒng)會(huì)自動(dòng)對(duì)基礎(chǔ)網(wǎng)絡(luò)環(huán)境進(jìn)行校驗(yàn),看看上級(jí)交換機(jī)的配置是否合理等。 然后,識(shí)別外部因素,自動(dòng)選擇配置模板。 配置完成后,為了保證交付質(zhì)量,運(yùn)營(yíng)平臺(tái)還會(huì)進(jìn)行自動(dòng)化驗(yàn)收,包括一系列的性能和可靠性測(cè)試。 d47b9b1a-1419-11ee-962d-dac502259ad0.png ? 所有工作完成后,系統(tǒng)才會(huì)進(jìn)入交付狀態(tài)。 ? 根據(jù)數(shù)據(jù)統(tǒng)計(jì),基于端網(wǎng)一體部署能力,大模型訓(xùn)練系統(tǒng)的整體部署時(shí)間從19天縮減到4.5天,并保證了基礎(chǔ)配置100%準(zhǔn)確。 ? 再看看運(yùn)維階段的“一鍵故障定位”。 星脈網(wǎng)絡(luò)具有端網(wǎng)高度協(xié)同的特點(diǎn),增加了端側(cè)的運(yùn)營(yíng)能力。運(yùn)營(yíng)平臺(tái)通過(guò)數(shù)據(jù)采集模塊,獲取端側(cè)服務(wù)器和網(wǎng)絡(luò)側(cè)交換機(jī)的數(shù)據(jù),聯(lián)動(dòng)網(wǎng)管拓?fù)湫畔ⅲ梢宰龅娇焖僭\斷與自動(dòng)化檢查。 一鍵故障定位,可以快速定界問(wèn)題方向,精準(zhǔn)推送到對(duì)應(yīng)團(tuán)隊(duì)的運(yùn)營(yíng)人員(網(wǎng)絡(luò)or業(yè)務(wù)),減少溝通成本,劃分責(zé)任界限。而且,它還有利于快速定位問(wèn)題根因,并給出解決方案。 最后,是“業(yè)務(wù)無(wú)感秒級(jí)網(wǎng)絡(luò)自愈”。 在網(wǎng)絡(luò)運(yùn)行的過(guò)程中,故障是無(wú)法避免的。 為了將故障自愈時(shí)間縮短到極致,騰訊推出了秒級(jí)故障自愈產(chǎn)品——“HASH DODGING”。 這是一種基于Hash偏移算法的網(wǎng)絡(luò)相對(duì)路徑控制方法。即,終端僅需修改數(shù)據(jù)包頭特定字段(如IP頭TOS字段)的值,即可使得修改后的包傳輸路徑與修改前路徑無(wú)公共節(jié)點(diǎn)。 在網(wǎng)絡(luò)數(shù)據(jù)平面發(fā)生故障(如靜默丟包、路由黑洞)時(shí),該方案可以幫助TCP快速繞過(guò)故障點(diǎn),不會(huì)產(chǎn)生對(duì)標(biāo)準(zhǔn)拓?fù)浼疤囟ㄔ?a target="_blank">端口號(hào)的依賴。 d4a572d2-1419-11ee-962d-dac502259ad0.png 單路徑傳輸協(xié)議下,使用本方案,實(shí)現(xiàn)確定性換路 ? ? 結(jié)語(yǔ) 以上,就是對(duì)騰訊星脈高性能計(jì)算網(wǎng)絡(luò)的關(guān)鍵技術(shù)分析。 這些關(guān)鍵技術(shù),揭示了高性能網(wǎng)絡(luò)的發(fā)展思路和演進(jìn)方向。隨著AI大模型的深入發(fā)展,人類對(duì)AI算力的需求會(huì)不斷增加。 日前,騰訊云發(fā)布的新一代HCC高性能計(jì)算集群,正是基于星脈高性能網(wǎng)絡(luò)打造,算力性能較前代提升3倍,為AI大模型訓(xùn)練構(gòu)筑可靠的高性能網(wǎng)絡(luò)底座。 未來(lái)已來(lái),這場(chǎng)圍繞算力和連接力的角逐已經(jīng)開(kāi)始。更多的精彩還在后面,讓我們拭目以待吧!

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 網(wǎng)絡(luò)
    +關(guān)注

    關(guān)注

    14

    文章

    8026

    瀏覽量

    92245
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    37065

    瀏覽量

    290421
  • TCP
    TCP
    +關(guān)注

    關(guān)注

    8

    文章

    1413

    瀏覽量

    82641

原文標(biāo)題:死磕AI大模型網(wǎng)絡(luò),鵝廠出招了!

文章出處:【微信號(hào):鮮棗課堂,微信公眾號(hào):鮮棗課堂】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    用TINA如何搭建仿真模型

    使用TINA仿真單極運(yùn)放的環(huán)路,仿真模型知道怎么搭建,現(xiàn)在要仿真由兩級(jí)TL082搭建的兩級(jí)運(yùn)放的環(huán)路穩(wěn)定性,請(qǐng)教,用TINA如何搭建仿真模型
    發(fā)表于 08-15 08:10

    AI模型的配置AI模型該怎么做?

    STM32可以跑AI,這個(gè)AI模型怎么搞,知識(shí)盲區(qū)
    發(fā)表于 10-14 07:14

    AI模型可以設(shè)計(jì)電路嗎?

    AI模型
    電子發(fā)燒友網(wǎng)官方
    發(fā)布于 :2024年01月02日 15:09:29

    AI模型怎么解決芯片過(guò)剩?

    AI模型
    電子發(fā)燒友網(wǎng)官方
    發(fā)布于 :2024年01月02日 15:42:05

    Firefly支持AI引擎Tengine,性能提升,輕松搭建AI計(jì)算框架

    的計(jì)算圖表示。ARM專用AI引擎 Tengine支持了Firefly平臺(tái),可以輕松搭建AI計(jì)算框架,性能大幅度提升,助力AI開(kāi)發(fā)。在Firefly-RK3399平臺(tái)上,安裝Tengin
    發(fā)表于 08-13 15:58

    AI學(xué)習(xí)】第3篇--人工神經(jīng)網(wǎng)絡(luò)

    `本篇主要介紹:人工神經(jīng)網(wǎng)絡(luò)的起源、簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)模型、更多神經(jīng)網(wǎng)絡(luò)模型、機(jī)器學(xué)習(xí)的步驟:訓(xùn)練與預(yù)測(cè)、訓(xùn)練的兩階段:正向推演與反向傳播、以Te
    發(fā)表于 11-05 17:48

    使用STM32CubeMX和X-CUBE-AI生成代碼

    神經(jīng)網(wǎng)絡(luò)模型部署到MCU 之 環(huán)境搭建教程前提工作:已經(jīng)搭建好了神經(jīng)網(wǎng)絡(luò)模型(tensorflo
    發(fā)表于 11-01 06:17

    輕量化神經(jīng)網(wǎng)絡(luò)的相關(guān)資料下載

    視覺(jué)任務(wù)中,并取得了巨大成功。然而,由于存儲(chǔ)空間和功耗的限制,神經(jīng)網(wǎng)絡(luò)模型在嵌入式設(shè)備上的存儲(chǔ)與計(jì)算仍然是一個(gè)巨大的挑戰(zhàn)。前面幾篇介紹了如何在嵌入式AI芯片上部署神經(jīng)網(wǎng)絡(luò):【嵌入式
    發(fā)表于 12-14 07:35

    介紹在STM32cubeIDE上部署AI模型的系列教程

    介紹在STM32cubeIDE上部署AI模型的系列教程,開(kāi)發(fā)板型號(hào)STM32H747I-disco,值得一看。MCUAI原文鏈接:【嵌入式AI開(kāi)發(fā)】篇四|部署篇:STM32cubeIDE上部署神經(jīng)
    發(fā)表于 12-14 09:05

    神經(jīng)網(wǎng)絡(luò)模型部署到MCU 之 環(huán)境搭建教程

    神經(jīng)網(wǎng)絡(luò)模型部署到MCU 之 環(huán)境搭建教程前提工作:已經(jīng)搭建好了神經(jīng)網(wǎng)絡(luò)模型(tensorflo
    發(fā)表于 10-26 18:36 ?5次下載
    神經(jīng)<b class='flag-5'>網(wǎng)絡(luò)</b><b class='flag-5'>模型</b>部署到MCU 之 環(huán)境<b class='flag-5'>搭建</b>教程

    simulink搭建的摩擦模型

    永磁同步電機(jī)simulink模型搭建 1、總搭建模型2、各搭建模塊2.1永磁電機(jī)模塊 一共六個(gè)輸出,分別是轉(zhuǎn)速,位置(角度),轉(zhuǎn)矩,三相電流。 2.2AC-DC-AC模塊2.3反饋顯示
    發(fā)表于 03-14 09:33 ?0次下載
    simulink<b class='flag-5'>搭建</b>的摩擦<b class='flag-5'>模型</b>

    卷積神經(jīng)網(wǎng)絡(luò)模型搭建

    卷積神經(jīng)網(wǎng)絡(luò)模型搭建 卷積神經(jīng)網(wǎng)絡(luò)模型是一種深度學(xué)習(xí)算法。它已經(jīng)成為了計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等各種領(lǐng)域的主流算法,具有很大的應(yīng)用前景。本篇
    的頭像 發(fā)表于 08-21 17:11 ?1439次閱讀

    虹科分享 | 谷歌Vertex AI平臺(tái)使用Redis搭建大語(yǔ)言模型

    基礎(chǔ)模型和高性能數(shù)據(jù)層這兩個(gè)基本組件始終是創(chuàng)建高效、可擴(kuò)展語(yǔ)言模型應(yīng)用的關(guān)鍵,利用Redis搭建大語(yǔ)言模型,能夠?qū)崿F(xiàn)高效可擴(kuò)展的語(yǔ)義搜索、檢索增強(qiáng)生成、LLM 緩存機(jī)制、LLM記憶和持
    的頭像 發(fā)表于 09-18 11:26 ?1247次閱讀
    虹科分享 | 谷歌Vertex <b class='flag-5'>AI</b>平臺(tái)使用Redis<b class='flag-5'>搭建</b>大語(yǔ)言<b class='flag-5'>模型</b>

    小米加速布局AI模型,搭建GPU萬(wàn)卡集群

    近日,有消息稱小米正在緊鑼密鼓地搭建自己的GPU萬(wàn)卡集群,旨在加大對(duì)AI模型的投入力度。據(jù)悉,小米的大模型團(tuán)隊(duì)在成立之初就已經(jīng)擁有了6500張GPU資源,而現(xiàn)在他們正在進(jìn)一步擴(kuò)大這一
    的頭像 發(fā)表于 12-28 14:25 ?694次閱讀

    AI開(kāi)發(fā)平臺(tái)模型怎么用

    AI開(kāi)發(fā)平臺(tái)極大地簡(jiǎn)化了AI應(yīng)用的開(kāi)發(fā)流程,從環(huán)境搭建、模型訓(xùn)練到部署集成,每一步都提供了豐富的工具和資源。那么,AI開(kāi)發(fā)平臺(tái)
    的頭像 發(fā)表于 02-11 09:53 ?491次閱讀