瘋狂的H100：現(xiàn)代GPU體系結(jié)構(gòu)淺析，從算力焦慮開(kāi)始聊起

昂貴 H100 的一時(shí)洛陽(yáng)紙貴，供不應(yīng)求，大模型訓(xùn)練究竟需要多少?gòu)埧?？GPT-4 很有可能是在 10000 到 20000 張 A100 的基礎(chǔ)上訓(xùn)練...

2023-10-29 標(biāo)簽：gpuAI芯片算力 1.2萬(wàn) 0

深度解讀各種人工智能加速器和GPU上的LLM性能特征

在不同的硬件平臺(tái)上評(píng)估LLM對(duì)于理解傳統(tǒng)和非傳統(tǒng)體系結(jié)構(gòu)的能力和局限性至關(guān)重要。先前的工作已經(jīng)在超級(jí)計(jì)算機(jī)上研究了LLM，并使用傳統(tǒng)的深度學(xué)習(xí)基準(zhǔn)來(lái)提供...

2023-10-25 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpu人工智能 1099 0

Google的TPU芯片的發(fā)展歷史和硬件架構(gòu)

Google在高性能處理器與AI芯片主要有兩個(gè)系列：1)針對(duì)服務(wù)器端AI模型訓(xùn)練和推理的TPU系列，主要用于Goggle云計(jì)算和數(shù)據(jù)中心；2)針對(duì)手機(jī)端...

2023-10-18 標(biāo)簽：處理器云計(jì)算服務(wù)器 3890 0

AI芯片設(shè)計(jì)DNN加速器buffer管理策略

如前所述，數(shù)據(jù)緩存是創(chuàng)建高效DNN加速器的關(guān)鍵組件之一。因此，除了選擇適當(dāng)?shù)臄?shù)據(jù)流(控制數(shù)據(jù)緩存的位置和時(shí)間)外，DNN加速器還需要一個(gè)緩存方案

2023-10-17 標(biāo)簽：加速器緩沖器FIFO存儲(chǔ) 1804 0

MI300X能否與H100一較高下？

市場(chǎng)研究公司Omdia近日發(fā)布報(bào)告稱(chēng)，預(yù)計(jì)英偉達(dá)二季度用于AI和高性能計(jì)算應(yīng)用的H100 GPU的出貨量超過(guò)了900噸。并且預(yù)計(jì)其在未來(lái)幾個(gè)季度的GPU...

2023-09-28 標(biāo)簽：gpu英偉達(dá)AI芯片 1905 0

先進(jìn)封裝演進(jìn)，ic載板的種類(lèi)有哪些？

先進(jìn)封裝增速高于整體封裝，將成為全球封裝市場(chǎng)主要增量。根據(jù)Yole的數(shù)據(jù)，全球封裝市場(chǎng)規(guī)模穩(wěn)步增長(zhǎng)，2021 年全球封裝 市場(chǎng)規(guī)模 約達(dá) 777 億美元...

2023-09-22 標(biāo)簽：集成電路pcbIC封裝 3795 0

晶圓代工各家的優(yōu)勢(shì)與劣勢(shì)分別是什么？

在實(shí)際應(yīng)用中，由于其穩(wěn)定的良率也使其收獲了多筆來(lái)自三星等其他代工廠的訂單。比如在10nm和7nm制程剛剛量產(chǎn)的時(shí)候，高通和英偉達(dá)就分別把驍龍855、86...

2023-09-21 標(biāo)簽：處理器高通晶圓代工 1331 0

傳統(tǒng)封測(cè)廠的先進(jìn)封裝有哪些

2023年以來(lái)，AIGC迅速發(fā)展，帶動(dòng)AI芯片與AI服務(wù)器熱潮，而由臺(tái)積電推出、被稱(chēng)為CoWoS的2.5D先進(jìn)封裝技術(shù)更是扮演關(guān)鍵角色。然而，突如其來(lái)的...

2023-09-18 標(biāo)簽：臺(tái)積電電子元件gpu 768 0

AI芯片之xPU技術(shù)架構(gòu)分析

CPU 和GPU 均具有通用性，但以頻繁的內(nèi)存訪問(wèn)導(dǎo)致資源消耗為代價(jià)。CPU 和 GPU 都是通用處理器，可以支持?jǐn)?shù)百萬(wàn)種不同的應(yīng)用程序和軟件。

2023-09-05 標(biāo)簽：fpgacpugpu 2988 0

CPU+xPU的異構(gòu)方案解析 cpu和gpu有啥區(qū)別

CPU+xPU 的異構(gòu)方案成為大算力場(chǎng)景標(biāo)配，GPU為應(yīng)用最廣泛的 AI 芯片。目前業(yè)內(nèi)廣泛認(rèn)同的AI 芯片類(lèi)型包括GPU、FPGA、NPU 等。由于 ...

2023-09-03 標(biāo)簽：cpugpuAI芯片 2649 0

離線(xiàn)語(yǔ)音風(fēng)扇設(shè)計(jì)應(yīng)用案例

?1概述?隨著人們生活水平的提高，對(duì)產(chǎn)品的功能要求也越來(lái)越高，追求舒適的體驗(yàn)感，特別是對(duì)操控性的要求越來(lái)越高。目前風(fēng)扇產(chǎn)品的控制方式有以下幾類(lèi)：按鍵控制...

2022-02-11 標(biāo)簽：風(fēng)扇AI芯片 1797 0

AI芯片 CPU+xPU的異構(gòu)方案全面解析

CPU+xPU 的異構(gòu)方案成為大算力場(chǎng)景標(biāo)配，GPU為應(yīng)用最廣泛的 AI 芯片。目前業(yè)內(nèi)廣泛認(rèn)同的AI 芯片類(lèi)型包括GPU、FPGA、NPU 等。由于 ...

2023-08-22 標(biāo)簽：fpgacpugpu 1691 0

汽車(chē)領(lǐng)域擁抱Transformer需要多少AI算力？

Transformer在汽車(chē)領(lǐng)域應(yīng)用自然是針對(duì)視覺(jué)的，ChatGPT3這種至少需要八張英偉達(dá)A100顯卡的大模型是絕對(duì)無(wú)法出現(xiàn)在汽車(chē)上的。

2023-08-17 標(biāo)簽：處理器FSDTransformer 1126 0

如何設(shè)計(jì)一顆AI芯片？AI芯片設(shè)計(jì)入門(mén)方案

機(jī)器學(xué)習(xí)（ML）已經(jīng)在在線(xiàn)活動(dòng)中變得無(wú)處不在。近年來(lái)，這些模型的規(guī)模和復(fù)雜性大幅增長(zhǎng)，這有助于提高預(yù)測(cè)的準(zhǔn)確性和有效性。然而，與此同時(shí)，這種增長(zhǎng)給用于大...

2023-08-10 標(biāo)簽：內(nèi)存Meta機(jī)器學(xué)習(xí) 4519 0