AMD推出MI300X，可運行多達800億參數(shù)模型
6月13日（星期二），AMD舉行新品發(fā)布會，最重磅的新品當屬于具有大模型訓練功能的GPU Instinct MI300。
該芯片是針對LLM的優(yōu)化版，擁有192gb的hbm3內(nèi)存、5.2 tb/s的帶寬和896gb/s的Infinity Fabric帶寬。amd將1530億個晶體管集成在12個5納米芯片內(nèi)。使用cdna 3 gpu結構、24個zen 4 cpu核心、128gb hbm3內(nèi)存。與前作mi250、mi300相比，性能和效率分別提高了8倍和5倍。
mi300x提供的hbm與英偉達ai芯片h100的密度相比，最大2.4倍，帶寬最大1.6倍。amd的芯片將可以運行比英偉達更大的模型。
amd首席執(zhí)行官蘇姿豐表示，mi300x支持400億個hugging face ai模型運行，并演示llm可以寫關于舊金山的詩。單一mi300x最多可運行一個參數(shù)800億個模型，這是世界上第一次在單一gpu上執(zhí)行如此大的模型。
審核編輯：郭婷
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
芯片
+關注
關注
462文章
53227瀏覽量
454850 -
amd
+關注
關注
25文章
5626瀏覽量
138613 -
cpu
+關注
關注
68文章
11192瀏覽量
221694
發(fā)布評論請先 登錄
相關推薦
熱點推薦
請問InDTU IHDMP協(xié)議使用的CRC校驗使用的什么參數(shù)模型？
InDTU IHDMP協(xié)議使用的CRC校驗使用的什么參數(shù)模型？
發(fā)表于 08-06 07:57
重磅！AMD將恢復向中國出口MI308芯片！
電子發(fā)燒友網(wǎng)獲悉，AMD向中國出口的MI308芯片將恢復出貨。AMD方面表示，“我們最近收到特朗普政府的通知，向中國出口MI308產(chǎn)品的許可證申請將被推進至審核流程。我們計劃在許可證獲
華為助力中國石油發(fā)布3000億參數(shù)昆侖大模型
5月28日，中國石油發(fā)布3000億參數(shù)昆侖大模型，標志著中國石油在人工智能領域又邁出關鍵一步，全力推動“人工智能+”行動走深走實。 ? 中國石油發(fā)布3000億
技嘉推出 STEALTH ICE 系列 AMD X870/B850 背插主板
的高度需求，技嘉正式推出新一代 STEALTH ICE 系列，涵蓋 AMD X870 與 B850 主板搭配 GIGABYTE C500 PANORAMIC STEALTH ICE 機箱，打造純白外觀
中科曙光推出DeepSeek人工智能一體機
SothisAI3.0，支持從10億級參數(shù)模型推理到1000億級參數(shù)模型訓練的AI全場景需求，為科研機構、企業(yè)、政府等用戶提供一站式、開箱即用的 AI 解決方案。
AMD將DeepSeek-V3模型集成至Instinct MI300X GPU
AMD近日宣布了一項重要進展，成功將全新的DeepSeek-V3模型集成到其Instinct MI300X GPU上。這一舉措標志著AMD在AI推理優(yōu)化方面邁出了重要一步。 據(jù)了解
消息稱AMD Instinct MI400 AI加速器將配備8個計算芯片
近日，據(jù)外媒 videocardz 報道，參考 AMD 最新推出的 AMD - GFX 補丁程序，其中暗示 AMD 旗下的 Instinct MI
AMD集成DeepSeek-V3模型至Instinct MI300X GPU
AMD近日宣布了一項重要的技術進展，即將全新的DeepSeek-V3模型成功集成到其旗艦級GPU產(chǎn)品——Instinct MI300X上。這一舉措標志著AMD在人工智能推理領域邁出了堅
AMD MI300X AI芯片面臨挑戰(zhàn)
力不從心。 Semianalysis的報告詳細闡述了AMD所面臨的問題。報告指出，由于AMD的軟件存在顯著缺陷，若未經(jīng)過大量的調(diào)試和優(yōu)化，使用MI300X進行AI模型的訓練幾乎是不可能
中國移動與中國石油發(fā)布700億參數(shù)昆侖大模型
近日，中國移動與中國石油在北京聯(lián)合舉辦了700億參數(shù)昆侖大模型建設成果發(fā)布會，正式推出了這一行業(yè)重量級的大模型。 據(jù)悉，700
IBM與AMD攜手部署MI300X加速器，強化AI與HPC能力
舉措預計將于2025年上半年正式推出。 此次合作的核心目標是提升通用人工智能(AI)模型的性能與能效，并為企業(yè)客戶提供高性能計算(HPC)應用的強大支持。AMD的Instinct MI300X
IBM將在云平臺部署AMD加速器
IBM與AMD近期宣布了一項重要合作協(xié)議，根據(jù)協(xié)議，IBM將在其云平臺上部署AMD Instinct MI300X加速器。這一舉措旨在提升企業(yè)客戶在生成式AI模型方面的性能和能效，進一
IBM與AMD攜手將在IBM云上部署AMD Instinct MI300X加速器
近日，全球領先的科技企業(yè)IBM與AMD共同宣布了一項重要合作。雙方計劃在IBM云上部署AMD的Instinct MI300X加速器服務，以滿足企業(yè)客戶對于高性能和高效能AI模型的需求。
AMD發(fā)布10億參數(shù)開源AI模型OLMo
AMD公司近日宣布了一項重大進展，推出了首個完全開放的10億參數(shù)語言模型系列——AMD OLMo
工商網(wǎng)監(jiān)
評論