GPU 性能原理拆解

「迷思」是指經(jīng)由人們口口相傳，但又難以證明證偽的現(xiàn)象。由于GPU硬件實現(xiàn)、驅(qū)動實現(xiàn)是一個黑盒，我們只能通過廠商提供的API、經(jīng)過抽象的架構(gòu)來了解并猜測其...

2025-02-08 標(biāo)簽：gpu蘋果硬件 452 0

FP8在大模型訓(xùn)練中的應(yīng)用

越來越多的技術(shù)團(tuán)隊開始使用 FP8 進(jìn)行大模型訓(xùn)練，這主要因為 FP8 有很多技術(shù)優(yōu)勢。比如在新一代的 GPU 上，F(xiàn)P8 相對于 BF16 對矩陣乘算...

2025-01-23 標(biāo)簽：NVIDIAgpu大模型 931 0

集合通信與AI基礎(chǔ)架構(gòu)

人工智能集群的性能，尤其是機(jī)器學(xué)習(xí)訓(xùn)練集群，受到神經(jīng)網(wǎng)絡(luò)處理單元NPUs（即GPU或TPU）之間并行計算能力的顯著影響。在我們稱為縱向擴(kuò)展scale-u...

2025-01-08 標(biāo)簽：通信gpuAI 943 0

ASIC和GPU的原理和優(yōu)勢

? 本文介紹了ASIC和GPU兩種能夠用于AI計算的半導(dǎo)體芯片各自的原理和優(yōu)勢。 ASIC和GPU是什么 ASIC和GPU，都是用于計算功能的半導(dǎo)體芯片...

2025-01-06 標(biāo)簽：asicgpu 1300 0

深度學(xué)習(xí)工作負(fù)載中GPU與LPU的主要差異

當(dāng)前，生成式AI模型的參數(shù)規(guī)模已躍升至數(shù)十億乃至數(shù)萬億之巨，遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)CPU的處理范疇。在此背景下，GPU憑借其出色的并行處理能力，已成為人工智能加...

2024-12-09 標(biāo)簽：gpu深度學(xué)習(xí) 3150 0

【一文看懂】什么是異構(gòu)計算？

隨著人工智能、深度學(xué)習(xí)、大數(shù)據(jù)處理等技術(shù)的快速發(fā)展，計算需求的復(fù)雜性不斷提升。傳統(tǒng)的單一計算架構(gòu)已難以滿足高效處理復(fù)雜任務(wù)的要求，異構(gòu)計算因此應(yīng)運而生，...

2024-12-04 標(biāo)簽：cpugpu異構(gòu)計算 2328 0

分布式通信的原理和實現(xiàn)高效分布式通信背后的技術(shù)NVLink的演進(jìn)

在進(jìn)入大模型時代后，大模型發(fā)展已是人工智能的核心，但訓(xùn)練大模型實際上是一項比較復(fù)雜的工作，因為它需要大量的 GPU 資源和較長的訓(xùn)練時間。 此外，由于單...

2024-11-18 標(biāo)簽：通信gpuAI 1020 0

全流程演示：如何從0到1構(gòu)建分布式GPU計算環(huán)境

本文將從硬件選型，到服務(wù)器側(cè)的基礎(chǔ)配置、GPU驅(qū)動安裝和集合通訊庫配置，以及無損以太網(wǎng)的啟用，直至大模型導(dǎo)入和訓(xùn)練測試，帶您跑通搭建分布式計算環(huán)境的全流程。

2024-11-15 標(biāo)簽：gpuAI分布式計算 1892 0

浪潮信息分布式存儲平臺AS13000G7的優(yōu)越性能

近年來，人工智能相關(guān)技術(shù)在社會發(fā)展中扮演著日漸重要的角色。特別是在廣告、影視等多個行業(yè)，AIGC將內(nèi)容生產(chǎn)效率提升數(shù)倍甚至數(shù)十倍，降低人力成本50%以上...

2024-11-12 標(biāo)簽：gpu人工智能分布式存儲 722 0

GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)設(shè)計

眾所周知，在大型模型訓(xùn)練中，通常采用每臺服務(wù)器配備多個GPU的集群架構(gòu)。在上一篇文章《高性能GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)（上篇）》中，我們對GPU網(wǎng)絡(luò)中的核...

2024-11-05 標(biāo)簽：gpu服務(wù)器AI 960 0

談?wù)凣PU的使用壽命

上文結(jié)合論文談一談，三年壽命的GPU [上]說到，電路腐蝕導(dǎo)致橡樹嶺實驗室的GPU壽命只有3年，更換了11,000塊GPU。

2024-11-01 標(biāo)簽：電路存儲gpu 681 0

為什么GPU的壽命如此之短

最近外面總在討論GPU的壽命只有三年。

2024-10-29 標(biāo)簽：gpu實驗室ECC 923 0

【一文看懂】大白話解釋“GPU與GPU算力”

隨著大模型的興起，“GPU算力”這個詞正頻繁出現(xiàn)在人工智能、游戲、圖形設(shè)計等工作場景中，什么是GPU，它與CPU的區(qū)別是什么？以及到底什么是GPU算力？...

2024-10-29 標(biāo)簽：cpugpu算力 2075 0

Pytorch深度學(xué)習(xí)訓(xùn)練的方法

掌握這 17 種方法，用最省力的方式，加速你的 Pytorch 深度學(xué)習(xí)訓(xùn)練。

2024-10-28 標(biāo)簽：gpu模型深度學(xué)習(xí) 506 0