如何提供光計(jì)算與電子信號(hào)計(jì)算的高效接口

如何提供光計(jì)算與電子信號(hào)計(jì)算的高效接口。當(dāng)前常見(jiàn)的模數(shù)轉(zhuǎn)換功耗，較光計(jì)算每步乘加運(yùn)算高出多個(gè)數(shù)量級(jí)，掩蓋了光計(jì)算本身的性能優(yōu)勢(shì)，導(dǎo)致光芯片難以在實(shí)際應(yīng)用...

2023-11-02 標(biāo)簽：芯片神經(jīng)網(wǎng)絡(luò)gpu 1k 0

如何定義一款新的AI處理器？AI芯片案例分析

采用Wormhole芯片，Tenstorrent設(shè)計(jì)了nebula（星云）服務(wù)器，一個(gè)4U服務(wù)器包含32個(gè)Wormhole芯片。

2023-11-02 標(biāo)簽：gpu服務(wù)器人工智能 1.3k 0

蘋(píng)果發(fā)布業(yè)界首款3納米工藝M3系列計(jì)算機(jī)芯片

M3 系列芯片配備了下一代 GPU，代表了 Apple 芯片圖形架構(gòu)史上最大的飛躍。GPU 更快、更高效，并引入了稱為動(dòng)態(tài)緩存的新技術(shù)，同時(shí)首次為 Ma...

2023-11-01 標(biāo)簽：gpu蘋(píng)果晶體管 1.2k 0

FlashAttenion-V3: Flash Decoding詳解

因此，本文提出了Flash-Decoding，可以推理過(guò)程中顯著加速attention操作（例如長(zhǎng)序列生成速度提高8倍）。其主要思想是最大化并行加載ke...

2023-10-31 標(biāo)簽：gpu模型LLM 2.1k 0

基于BERT算法搭建一個(gè)問(wèn)答搜索引擎

鼎鼎大名的 Bert 算法相信大部分同學(xué)都聽(tīng)說(shuō)過(guò)，它是Google推出的NLP領(lǐng)域“王炸級(jí)”預(yù)訓(xùn)練模型，其在NLP任務(wù)中刷新了多項(xiàng)記錄，并取得state...

2023-10-30 標(biāo)簽：gpu算法搜索引擎 1.1k 0

深度學(xué)習(xí)框架DeepSpeed使用指南

最常見(jiàn)的深度學(xué)習(xí)框架應(yīng)該是TensorFlow、Pytorch、Keras，但是這些框架在面向大規(guī)模模型的時(shí)候都不是很方便。 比如Pytorch的分布式...

2023-10-30 標(biāo)簽：gpu顯存模型 6.6k 0

瘋狂的H100：現(xiàn)代GPU體系結(jié)構(gòu)淺析，從算力焦慮開(kāi)始聊起

昂貴 H100 的一時(shí)洛陽(yáng)紙貴，供不應(yīng)求，大模型訓(xùn)練究竟需要多少?gòu)埧?？GPT-4 很有可能是在 10000 到 20000 張 A100 的基礎(chǔ)上訓(xùn)練...

2023-10-29 標(biāo)簽：gpuAI芯片算力 1.4萬(wàn) 0

高通驍龍8 Gen 3處理器基礎(chǔ)規(guī)格參數(shù)

新款 8 Gen 3 的性能比前代產(chǎn)品提高了 30%，能效提高了 20%。它還提供了 25% 的 GPU 性能提升和 20% 的能效提升。Adreno ...

2023-10-27 標(biāo)簽：處理器cpugpu 1.4萬(wàn) 0

芯片封裝：向上堆疊，翻越內(nèi)存墻

AMD 在代號(hào) Milan-X 的 EPYC 7003X 系列處理器上應(yīng)用了第一代 3D V-Cache 技術(shù)。這些處理器采用 Zen 3 架構(gòu)核心，每...

2023-10-27 標(biāo)簽：處理器amdgpu 1.5k 0

一文詳解多模態(tài)大模型發(fā)展及高頻因子計(jì)算加速GPU算力 | 英偉達(dá)顯卡被限，華為如何力挽狂瀾？

近年來(lái)，全球范圍內(nèi)的芯片禁令不斷升級(jí)，給許多企業(yè)和科研機(jī)構(gòu)帶來(lái)了很大的困擾，需要在技術(shù)層面進(jìn)行創(chuàng)新和突破。一方面，可以探索使用國(guó)產(chǎn)芯片和其他不受限制的芯...

2023-10-26 標(biāo)簽：gpuAI算力 2.2k 0

大語(yǔ)言模型Fine-tuning踩坑經(jīng)驗(yàn)分享

當(dāng)然 MPT-7B-StoryWriter-65k+ [5] 模型也有較長(zhǎng)的外推能力，主要在于，注意力這塊使用了 ALIBI [6]。要擁有什么樣的長(zhǎng)度...

2023-10-26 標(biāo)簽：gpu數(shù)據(jù)處理ChatGPT 880 0

集成顯卡、核芯顯卡和獨(dú)立顯卡的區(qū)別分析

顯卡行業(yè)是計(jì)算機(jī)硬件產(chǎn)業(yè)中的一個(gè)重要分支，主要涉及圖形處理器（GPU）的研發(fā)、生產(chǎn)和銷(xiāo)售。顯卡行業(yè)的競(jìng)爭(zhēng)極為激烈，主要廠商包括英偉達(dá)、AMD、英特爾等。

2023-10-26 標(biāo)簽：英特爾gpu顯卡 2.8k 0

深度解讀各種人工智能加速器和GPU上的LLM性能特征

在不同的硬件平臺(tái)上評(píng)估LLM對(duì)于理解傳統(tǒng)和非傳統(tǒng)體系結(jié)構(gòu)的能力和局限性至關(guān)重要。先前的工作已經(jīng)在超級(jí)計(jì)算機(jī)上研究了LLM，并使用傳統(tǒng)的深度學(xué)習(xí)基準(zhǔn)來(lái)提供...

2023-10-25 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpu人工智能 1.4k 0

如何使用Rust創(chuàng)建一個(gè)基于ChatGPT的RAG助手

如今，ChatGPT 已經(jīng)成為家喻戶曉的名字，每個(gè)開(kāi)發(fā)者都主動(dòng)或被動(dòng)地使用過(guò) ChatGPT 或者是基于 ChatGPT 的產(chǎn)品。ChatGPT 很好，...

2023-10-24 標(biāo)簽：機(jī)器人gpupython 1.8k 0

智算中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)及組網(wǎng)實(shí)踐案例

智算服務(wù)器可以滿配 8 張 GPU 卡，并預(yù)留 8 個(gè) PCIe 網(wǎng)卡插槽。在多機(jī)組建 GPU 集群時(shí)，兩個(gè) GPU 跨機(jī)互通的突發(fā)帶寬有可能會(huì)大于 5...

2023-10-20 標(biāo)簽：gpu數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu) 8.8k 0

銳龍7000G APU實(shí)現(xiàn)跨越三代的飛躍式升級(jí)

AMD APU處理器是很多追求高性價(jià)比的主流和入門(mén)用戶的首選，但是近幾年，AMD APU的發(fā)展重心放在了筆記本上，對(duì)于桌面平臺(tái)意興闌珊，產(chǎn)品換代速度很慢...

2023-10-19 標(biāo)簽：cpugpuAPU 1.1k 0

AI網(wǎng)絡(luò)未來(lái)十年以太網(wǎng)交換機(jī)市場(chǎng)的增長(zhǎng)動(dòng)力嗎？

根據(jù) IDC 的數(shù)據(jù)，2022 年，AI 網(wǎng)絡(luò)市場(chǎng)已達(dá)到 20億美元，其中 InfiniBand 貢獻(xiàn)了 75% 的收入。

2023-10-19 標(biāo)簽：以太網(wǎng)gpu交換機(jī) 1.7k 0

AR/VR熱管理方案

VR/AR一體機(jī)是將獨(dú)立運(yùn)算系統(tǒng)、光學(xué)顯示系統(tǒng)、音頻系統(tǒng)、感知交互系統(tǒng)高度集成在一體空間的頭戴式智能裝備。在逐漸智能化發(fā)展的同時(shí)，也在向輕薄化、高性能和...

2023-10-17 標(biāo)簽：gpuAr石墨烯 7.8k 0

GPU在雷達(dá)信號(hào)處理算法中的優(yōu)勢(shì)

雷達(dá)信號(hào)處理算法對(duì)計(jì)算機(jī)架構(gòu)提出了很高的實(shí)時(shí)性要求。好在這些算法具有數(shù)據(jù)并行性，可以在大規(guī)模并行架構(gòu)（如圖形處理單元（GPU））上獲得出色的性能。

2023-10-17 標(biāo)簽：gpu算法雷達(dá)信號(hào) 2.2k 0