chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評論與回復(fù)
      VIP于 到期 續(xù)費(fèi)
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動(dòng)

      完善資料讓更多小伙伴認(rèn)識你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示

      AI訓(xùn)練勢起，GPU要讓位了？

      聶 ? 來源：電子發(fā)燒友網(wǎng) ? 作者：周凱揚(yáng) ? 2021-12-18 06:51 ? 次閱讀
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

      電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）人工智能在進(jìn)化的過程中，最不可或缺的便是模型和算力。訓(xùn)練出來的通用大模型省去了重復(fù)的開發(fā)工作，目前不少大模型都為學(xué)術(shù)研究和AI開發(fā)提供了方便，比如華為的盤古、搜狗的BERTSG、北京智源人工智能研究院的悟道2.0等等。

      那么訓(xùn)練出這樣一個(gè)大模型需要怎樣的硬件前提？如何以較低的成本完成自己模型訓(xùn)練工作？這些都是不少AI初創(chuàng)企業(yè)需要考慮的問題，那么如今市面上有哪些訓(xùn)練芯片是經(jīng)得起考驗(yàn)的呢？我們先從國外的幾款產(chǎn)品開始看起。

      英偉達(dá)A100

      英偉達(dá)的A100可以說是目前AI訓(xùn)練界的明星產(chǎn)品，A100剛面世之際可以說是世界上最快的深度學(xué)習(xí)GPU。盡管近來有無數(shù)的GPU或其他AI加速器試圖在性能上撼動(dòng)它的地位，但綜合實(shí)力來看，A100依然穩(wěn)坐頭把交椅。

      A100 GPU / 英偉達(dá)A100可是英偉達(dá)特推出的首個(gè)7nm GPU，在826mm2的芯片大小上鋪滿了542億個(gè)晶體管。要知道，其消費(fèi)級GPU雖然同樣采用安培架構(gòu)，但仍在使用三星的8nm制程。至于算力什么的，GPU在單個(gè)或多個(gè)處理器配置上都有著不俗的優(yōu)勢，甚至還能憑借英偉達(dá)自己的互聯(lián)技術(shù)實(shí)現(xiàn)更高的帶寬。具體的算力數(shù)據(jù)我們也已提過多次，我們這次講的是AI訓(xùn)練，自然是要比訓(xùn)練上的表現(xiàn)，這里先留個(gè)懸念。 性能雖高，但使用A100的成本可并不便宜。今年10月，微軟和英偉達(dá)推出了迄今為止訓(xùn)練最強(qiáng)大的生成語言模型Megatron-Turing Natural Language Generation（MT-NLG），擁有5300億個(gè)參數(shù)。如此強(qiáng)大的模型究竟是如何訓(xùn)練出來的呢？答案是560個(gè)英偉達(dá)DGX A100服務(wù)器，每個(gè)服務(wù)器都內(nèi)置了8 x A100 80GB GPU，訓(xùn)練出這個(gè)模型的造價(jià)最低也要在百萬美元以上。 如此看來，難不成這些模型只能靠購置昂貴的GPU，或是靠花錢如流水一般的GPU服務(wù)器來訓(xùn)練了？并非如此。

      英特爾Gaudi和Ponte Vecchio

      19年12月，英特爾收購了以色列的Habana Labs，將其旗下的AI加速器產(chǎn)品線納入囊中。Habana Labs目前推出了用于推理的Goya處理器和用于訓(xùn)練的Gaudi處理器。盡管Habana Labs已經(jīng)隸屬英特爾，但現(xiàn)有的產(chǎn)品仍然基于臺積電的16nm制程，傳言稱其正在開發(fā)的Gaudi2將用上臺積電的7nm制程。 目前Gaudi已經(jīng)用于亞馬遜云服務(wù)AWS的EC2 DL1訓(xùn)練實(shí)例中，該實(shí)例選用了AWS定制的英特爾第二代Xeon可擴(kuò)展處理器，最多可配置8個(gè)Gaudi處理器，每個(gè)處理器配有32GB的HBM內(nèi)存，400Gbps的網(wǎng)絡(luò)架構(gòu)加上100Gbps的互聯(lián)帶寬，并支持4TB的NVMe存儲。

      Gaudi與A100在ResNet-50和BERT訓(xùn)練成本上的對比 / Habana Labs Habana Labs和AWS共同宣稱，Gaudi的方案可以提供云端深度學(xué)習(xí)模型訓(xùn)練的最佳性價(jià)比，與最新的GPU實(shí)例相比性價(jià)比高出40%。Habana Labs給出了直接的價(jià)格對比，在對比AWS EC2 P4d實(shí)例（8個(gè)英偉達(dá)A100 GPU）時(shí)，8個(gè)Gaudi處理器的每小時(shí)價(jià)格為13.11美元，比前者低了60%。針對特定的模型，Habana Labs也對A100和V100方案進(jìn)行了對比，比如利用Tensorflow實(shí)現(xiàn)ResNet50圖像處理（BF16/FP16）時(shí)，Gaudi處理每張圖片的成本要比A100低46%，更是比V100低了61%。 Habana Labs為Gaudi定義的用例主要在物體識別/分割、圖像分類和自然語言處理器方面的深度學(xué)習(xí)模型訓(xùn)練。比如生產(chǎn)中的故障檢測、醫(yī)療中的2D/3D掃描和醫(yī)學(xué)成像、自動(dòng)駕駛中的物體分割以及文本情感分析等等。 我們都知道在超算領(lǐng)域中，英特爾在主要處理器上的份額與出場率都比較高，加速器上則依舊是英偉達(dá)和AMD的GPU占優(yōu)，不過Habana Labs的Gaudi其實(shí)已經(jīng)開始發(fā)力，比如圣地亞哥超級計(jì)算中心（SDSC）打造的AI超算Voyager。這里的Voyager可不是TOP500新晉第十名的Voyager-EUS2，而是SDSC打造的一款試驗(yàn)性超算，專注于高性能高效率的AI運(yùn)算，該超算集成了336個(gè)Gaudi訓(xùn)練處理器和16個(gè)Goya推理處理器。

      A100與Ponte Vecchio在ResNet-50 v1.5上的訓(xùn)練表現(xiàn)對比 / 英特爾 不過英特爾似乎也不打算放棄GPU這條路，甚至打算走的更遠(yuǎn)一點(diǎn)。今年的架構(gòu)日上，英特爾為其Ponte Vecchio Xe HPC GPU透露了更多的細(xì)節(jié)。英特爾拿出了ResNet-50單個(gè)GPU處理圖像的訓(xùn)練結(jié)果對比，Ponte Vecchio獲得了超過3400張圖片每秒的成績，而英偉達(dá)單張A100 GPU的成績?yōu)?963張圖片每秒。根據(jù)Habana Labs于19年六月公布的數(shù)據(jù)，單個(gè)Gaudi處理器的成績?yōu)?650張圖片每秒。 單從結(jié)果來看，英特爾和英偉達(dá)兩者打造的旗艦GPU在模型訓(xùn)練上還是很有優(yōu)勢的，而且還能承擔(dān)推理工作負(fù)載，Gaudi的性能確實(shí)更適合高性價(jià)比的專用訓(xùn)練場景。依小編的觀點(diǎn)來看，Ponte Vecchio更像是英特爾為HPC+AI準(zhǔn)備的一張GPU，明年開始出貨后我們說不定會在超算上看到更多應(yīng)用。而Gaudi更像是為云服務(wù)和數(shù)據(jù)中心準(zhǔn)備的訓(xùn)練處理器，讓開發(fā)者在可負(fù)擔(dān)的價(jià)格下享受到優(yōu)秀的性能。更不用說英特爾也開始為FPGA（Stratix 10 NX）在相同的方向上鋪路，英特爾可以說是為AI開發(fā)者提供了多個(gè)選擇。

      亞馬遜Trainium

      最后我們以亞馬遜的訓(xùn)練芯片收尾，亞馬遜提供的服務(wù)器實(shí)例可以說是最多樣化的，也包含了以上提到的A100和Gaudi。亞馬遜作為云服務(wù)巨頭，早已開始部署自己的服務(wù)器芯片生態(tài)，不僅在今年推出了第三代Graviton服務(wù)器處理器，也正式發(fā)布了去年公開的訓(xùn)練芯片Trainium，并推出了基于該芯片的Trn1實(shí)例。

      Trn1實(shí)例的參數(shù) / 亞馬遜 Trn1的計(jì)算引擎頻率達(dá)到了3GHz，峰值內(nèi)存帶寬為13.1TB/s，F(xiàn)P32的算力為840TFLOPS，最出色的數(shù)據(jù)還是800Gbps的網(wǎng)絡(luò)帶寬，亞馬遜甚至還提供了一個(gè)1.6TB。再次重申，這些都只是紙面參數(shù)而已，實(shí)際表現(xiàn)才是最重要的。

      亞馬遜訓(xùn)練實(shí)例對比 / 亞馬遜 據(jù)亞馬遜發(fā)布的數(shù)據(jù)，同樣是在兩周內(nèi)完成GPT-3模型的訓(xùn)練，需要600個(gè)8 x V100 GPU的實(shí)例，或是128個(gè)8xA100 GPU的實(shí)例，但若用上16 x Trainium的實(shí)例，則只要96個(gè)。亞馬遜稱Trn1為云端成本效率最高的實(shí)例，這一點(diǎn)還真沒說錯(cuò)。

      小結(jié)

      GPU一時(shí)半會不會跌落AI訓(xùn)練的神壇，但其他訓(xùn)練芯片的推陳出新證明了他們面對A100和Ponte Vecchio這種大規(guī)模芯片同樣不懼，甚至還有自己獨(dú)到的優(yōu)勢。
      聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。 舉報(bào)投訴
      • gpu
        gpu
        +關(guān)注

        關(guān)注

        28

        文章

        4949

        瀏覽量

        131279
      • AI
        AI
        +關(guān)注

        關(guān)注

        88

        文章

        35168

        瀏覽量

        280118
      收藏 人收藏
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

        評論

        相關(guān)推薦
        熱點(diǎn)推薦

        提升AI訓(xùn)練性能：GPU資源優(yōu)化的12個(gè)實(shí)戰(zhàn)技巧

        在人工智能與機(jī)器學(xué)習(xí)技術(shù)迅速發(fā)展的背景下，GPU計(jì)算資源的高效利用已成為關(guān)鍵技術(shù)指標(biāo)。優(yōu)化的GPU資源分配不僅能顯著提升模型訓(xùn)練速度，還能實(shí)現(xiàn)計(jì)算成本的有效控制。根據(jù)AI基礎(chǔ)設(shè)施聯(lián)盟2
        的頭像 發(fā)表于 05-06 11:17 ?519次閱讀
        提升<b class='flag-5'>AI</b><b class='flag-5'>訓(xùn)練</b>性能：<b class='flag-5'>GPU</b>資源優(yōu)化的12個(gè)實(shí)戰(zhàn)技巧

        海思SD3403邊緣計(jì)算AI數(shù)據(jù)訓(xùn)練概述

        AI數(shù)據(jù)訓(xùn)練：基于用戶特定應(yīng)用場景，用戶采集照片或視頻，通過AI數(shù)據(jù)訓(xùn)練工程師**（用戶公司****員工）** ，進(jìn)行特征標(biāo)定后，將標(biāo)定好的訓(xùn)練
        發(fā)表于 04-28 11:11

        摩爾線程GPU原生FP8計(jì)算助力AI訓(xùn)練

        近日，摩爾線程正式開源MT-MegatronLM與MT-TransformerEngine兩大AI框架。通過深度融合FP8混合訓(xùn)練策略和高性能算子庫，這兩大框架在國產(chǎn)全功能GPU上實(shí)現(xiàn)了
        的頭像 發(fā)表于 03-17 17:05 ?623次閱讀
        摩爾線程<b class='flag-5'>GPU</b>原生FP8計(jì)算助力<b class='flag-5'>AI</b><b class='flag-5'>訓(xùn)練</b>

        訓(xùn)練好的ai模型導(dǎo)入cubemx不成功怎么處理？

        訓(xùn)練好的ai模型導(dǎo)入cubemx不成功咋辦，試了好幾個(gè)模型壓縮了也不行，ram占用過大，有無解決方案？
        發(fā)表于 03-11 07:18

        GPU是如何訓(xùn)練AI大模型的

        在AI模型的訓(xùn)練過程中，大量的計(jì)算工作集中在矩陣乘法、向量加法和激活函數(shù)等運(yùn)算上。這些運(yùn)算正是GPU所擅長的。接下來，AI部落小編帶您了解GPU
        的頭像 發(fā)表于 12-19 17:54 ?753次閱讀

        訓(xùn)練AI大模型需要什么樣的gpu

        訓(xùn)練AI大模型需要選擇具有強(qiáng)大計(jì)算能力、足夠顯存、高效帶寬、良好散熱和能效比以及良好兼容性和擴(kuò)展性的GPU。在選擇時(shí)，需要根據(jù)具體需求進(jìn)行權(quán)衡和選擇。
        的頭像 發(fā)表于 12-03 10:10 ?655次閱讀

        《算力芯片 高性能 CPUGPUNPU 微架構(gòu)分析》第3篇閱讀心得：GPU革命：從圖形引擎到AI加速器的蛻變

        在數(shù)據(jù)挖掘工作中，我經(jīng)常需要處理海量數(shù)據(jù)的深度學(xué)習(xí)任務(wù)，這讓我對GPU架構(gòu)和張量運(yùn)算充滿好奇。閱讀《算力芯片》第7-9章，讓我對這些關(guān)鍵技術(shù)有了全新認(rèn)識。 GPU架構(gòu)從早期的固定功能流水線，到現(xiàn)代
        發(fā)表于 11-24 17:12

        PyTorch GPU 加速訓(xùn)練模型方法

        在深度學(xué)習(xí)領(lǐng)域，GPU加速訓(xùn)練模型已經(jīng)成為提高訓(xùn)練效率和縮短訓(xùn)練時(shí)間的重要手段。PyTorch作為一個(gè)流行的深度學(xué)習(xí)框架，提供了豐富的工具和
        的頭像 發(fā)表于 11-05 17:43 ?1415次閱讀

        GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

        眾所周知，在大型模型訓(xùn)練中，通常采用每臺服務(wù)器配備多個(gè)GPU的集群架構(gòu)。在上一篇文章《高性能GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)（上篇）》中，我們對GPU
        的頭像 發(fā)表于 11-05 16:20 ?1249次閱讀
        <b class='flag-5'>GPU</b>服務(wù)器<b class='flag-5'>AI</b>網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

        為什么ai模型訓(xùn)練要用gpu

        GPU憑借其強(qiáng)大的并行處理能力和高效的內(nèi)存系統(tǒng)，已成為AI模型訓(xùn)練不可或缺的重要工具。
        的頭像 發(fā)表于 10-24 09:39 ?980次閱讀

        AI大模型的訓(xùn)練數(shù)據(jù)來源分析

        AI大模型的訓(xùn)練數(shù)據(jù)來源廣泛且多元化，這些數(shù)據(jù)源對于構(gòu)建和優(yōu)化AI模型至關(guān)重要。以下是對AI大模型訓(xùn)練數(shù)據(jù)來源的分析： 一、公開數(shù)據(jù)集 公開
        的頭像 發(fā)表于 10-23 15:32 ?3690次閱讀

        如何訓(xùn)練自己的AI大模型

        訓(xùn)練自己的AI大模型是一個(gè)復(fù)雜且耗時(shí)的過程，涉及多個(gè)關(guān)鍵步驟。以下是一個(gè)詳細(xì)的訓(xùn)練流程： 一、明確需求和目標(biāo) 首先，需要明確自己的需求和目標(biāo)。不同的任務(wù)和應(yīng)用領(lǐng)域需要不同類型的AI模型
        的頭像 發(fā)表于 10-23 15:07 ?5005次閱讀

        GPU服務(wù)器在AI訓(xùn)練中的優(yōu)勢具體體現(xiàn)在哪些方面？

        GPU服務(wù)器在AI訓(xùn)練中的優(yōu)勢主要體現(xiàn)在以下幾個(gè)方面： 1、并行處理能力：GPU服務(wù)器擁有大量的并行處理核心，這使得它們能夠同時(shí)處理成千上萬個(gè)計(jì)算任務(wù)，極大地加速
        的頭像 發(fā)表于 09-11 13:24 ?1014次閱讀

        蘋果AI模型訓(xùn)練新動(dòng)向：攜手谷歌，未選英偉達(dá)

        近日，蘋果公司發(fā)布的最新研究報(bào)告揭示了其在人工智能領(lǐng)域的又一重要戰(zhàn)略選擇——采用谷歌設(shè)計(jì)的芯片來訓(xùn)練其AI模型，而非行業(yè)巨頭英偉達(dá)的產(chǎn)品。這一決定在業(yè)界引起了廣泛關(guān)注，尤其是在當(dāng)前英偉達(dá)GPU
        的頭像 發(fā)表于 08-01 18:11 ?1148次閱讀

        蘋果承認(rèn)使用谷歌芯片來訓(xùn)練AI

        蘋果公司最近在一篇技術(shù)論文中披露，其先進(jìn)的人工智能系統(tǒng)Apple Intelligence背后的兩個(gè)關(guān)鍵AI模型，是在谷歌設(shè)計(jì)的云端芯片上完成預(yù)訓(xùn)練的。這一消息標(biāo)志著在尖端AI訓(xùn)練領(lǐng)域
        的頭像 發(fā)表于 07-30 17:03 ?921次閱讀