針對ChatGPT等大型語言模型的推理,我們宣布推出一款新的Hopper GPU配備雙GPU NVLINK的PCIE H100
同時還可支持商用PCIE服務器輕松擴展
目前在云上唯一可以實際處理ChatGPT的GPU是HGX A100與適用于GPT-3處理的HGX A100相比,一臺搭載四對H100及雙GPU NVLINK的標準服務器的速度
H100可將大型語言模型的處理成本,降低一個數(shù)量級
Grace Hopper非常適合處理大型數(shù)據(jù)集,例如適用于推薦系統(tǒng)和大型語言模型的AI數(shù)據(jù)庫。
如今,利用大容量內存,CPU會存儲和查詢巨型嵌入表,然后將結果傳輸?shù)紾PU進行推理,借助Grace-Hopper, Grace可以查詢嵌入表,并將結果直接傳輸?shù)紿opper速度比PCIE快7倍
GTC 2023主題直播地址:https://t.elecfans.com/live/2302.html
-
cpu
+關注
關注
68文章
11192瀏覽量
221708 -
服務器
+關注
關注
13文章
10009瀏覽量
90300 -
gtc
+關注
關注
0文章
73瀏覽量
4707 -
ChatGPT
+關注
關注
29文章
1595瀏覽量
9900
發(fā)布評論請先 登錄
今日看點:蘋果認證中國快充品牌遭美調查;英偉達擬向OpenAI投資最高1000億美元
傳英偉達自研HBM基礎裸片
aicube的n卡gpu索引該如何添加?
英偉達獲美批準恢復H20在華銷售,同步推出全新兼容GPU
英偉達擬再推中國特供GPU,今年6月量產(chǎn)!
立訊技術亮相英偉達GTC 2025大會

英偉達GTC25亮點:NVIDIA Blackwell Ultra 開啟 AI 推理新時代
新思科技攜手英偉達加速芯片設計,提升芯片電子設計自動化效率
新思科技亮相英偉達GTC 2025大會
英偉達或3月發(fā)布CPO交換機新品
微軟大手筆采購英偉達AI芯片

評論