借助PerfXCloud和dify開發(fā)代碼轉(zhuǎn)換器

隨著深度學(xué)習(xí)與高性能計算的迅速發(fā)展，GPU計算的廣泛應(yīng)用已成為推動技術(shù)革新的一股重要力量。對于GPU編程語言的選擇，CUDA和HIP是目前最為流行的兩種...

2025-02-25 標(biāo)簽：轉(zhuǎn)換器amd代碼 799 0

一文詳解GPU硬件與CUDA開發(fā)工具

CPU 和 GPU 的顯著區(qū)別是：一個典型的 CPU 擁有少數(shù)幾個快速的計算核心，而一個典型的 GPU 擁有幾百到幾千個不那么快速的計算核心。

2024-03-21 標(biāo)簽：gpuC語言編程語言 1841 0

GPU CUDA 編程的基本原理是什么

神經(jīng)網(wǎng)絡(luò)能加速的有很多，當(dāng)然使用硬件加速是最可觀的了，而目前除了專用的NPU（神經(jīng)網(wǎng)絡(luò)加速單元），就屬于GPU對神經(jīng)網(wǎng)絡(luò)加速效果最好了

2024-03-05 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpusram 1101 0

LayerNorm/RMSNorm的重計算實現(xiàn)

我去實測了一下，單機8卡A100訓(xùn)練LLama7B，純數(shù)據(jù)并行的情況下打開memory_efficient開關(guān)相比于不打開節(jié)省了大約2個G的顯存，如果模...

2024-01-16 標(biāo)簽：NVIDIARMSpython 3830 0

銘瑄RTX 4070關(guān)鍵參數(shù)介紹

銘瑄這款RTX 4070 MGG OC12G S0的設(shè)計和幾位師兄如出一轍，搭載了Mega Freeze VC散熱系統(tǒng)，正面三個10厘米風(fēng)扇，均有11片...

2023-12-06 標(biāo)簽：華碩PWM散熱器 1632 0

英偉達(dá)三大AI法寶：CUDA、Nvlink、InfiniBand

以太網(wǎng)是一種廣泛使用的網(wǎng)絡(luò)協(xié)議，但其傳輸速率和延遲無法滿足大型模型訓(xùn)練的需求。相比之下，端到端IB（InfiniBand）網(wǎng)絡(luò)是一種高性能計算網(wǎng)絡(luò)，能夠...

2023-12-05 標(biāo)簽：cpu交換機AI 6919 0

OpenCV4.8 CUDA編程代碼教程

OpenCV4支持通過GPU實現(xiàn)CUDA加速執(zhí)行，實現(xiàn)對OpenCV圖像處理程序的加速運行，當(dāng)前支持加速的模塊包括如下。

2023-12-05 標(biāo)簽：編程代碼opencv 1293 0

OpenCV4.8+CUDA+擴展模塊支持編譯指南

OpenCV4.8+CUDA+擴展模塊支持編譯指南

2023-11-30 標(biāo)簽：源碼編譯opencv 1273 0

llama.cpp代碼結(jié)構(gòu)&調(diào)用流程分析

llama.cpp 的代碼結(jié)構(gòu)比較直觀，如下所示，為整體代碼結(jié)構(gòu)中的比較核心的部分的代碼結(jié)構(gòu)

2023-11-07 標(biāo)簽：RMSCUDA 3214 0

CUDA核心是什么？CUDA核心的工作原理

CUDA核心（Compute Unified Device Architecture Core）是NVIDIA圖形處理器（GPU）上的計算單元，用于執(zhí)行...

2023-09-27 標(biāo)簽：存儲器NVIDIAgpu 1.0萬 0

基于BEV的視覺3D目標(biāo)檢測器

根據(jù)我們的實驗分析，我們認(rèn)為實現(xiàn)這一目標(biāo)的關(guān)鍵在于提升檢測器在 BEV 空間和 2D 空間的適應(yīng)性。這種適應(yīng)性是針對 query 而言的，即對于不同的 ...

2023-09-16 標(biāo)簽：檢測器CUDANDS 1005 0

算力芯片的cuda有何難點和優(yōu)點

CUDA之所以會成為算力芯片硬件廠商必須要認(rèn)真考慮的一個選擇，最直接的原因，是其已經(jīng)實現(xiàn)了與算法客戶的強綁定。眾多算法工程師已經(jīng)習(xí)慣了CUDA提供的工具...

2023-08-16 標(biāo)簽：gpu芯片設(shè)計CUDA 1421 0

GPU Microarch學(xué)習(xí)筆記

GPU的線程從thread grid 到thread block，一個thread block在CUDA Core上執(zhí)行時，會分成warp執(zhí)行，warp...

2023-08-14 標(biāo)簽：寄存器編譯器CUDA 1081 0

Poly基本原理及卷積分析示例

考慮到許多讀者可能對Poly并不了解，而且許多Poly文獻(xiàn)讀起來也比較抽象，我們先簡單介紹一下Poly的工作原理。我們力圖用最簡單的代數(shù)與幾何描述來解釋...

2023-07-17 標(biāo)簽：存儲器生成器CUDA 2142 0

NVIDIA DOCA GPUNetIO庫如何克服以前DPDK解決方案中的一些限制

網(wǎng)絡(luò)數(shù)據(jù)包的實時 GPU 處理是一種適用于幾個不同應(yīng)用領(lǐng)域的技術(shù)，包括信號處理、網(wǎng)絡(luò)安全、信息收集和輸入重建。

2023-06-21 標(biāo)簽：處理器存儲器NVIDIA技術(shù) 1037 0

GPU平臺生態(tài)：英偉達(dá)CUDA和AMD ROCm對比分析

成熟且完善的平臺生態(tài)是 GPU 廠商的護城河。相較于持續(xù)迭代的微架構(gòu)帶來的技術(shù)壁壘硬實力，成熟的軟件生態(tài)形成的強大用戶粘性將在長時間內(nèi)塑造 GPU廠商的...

2023-06-06 標(biāo)簽：amdgpuC語言 2836 0

總結(jié)FasterTransformer Encoder優(yōu)化技巧

FasterTransformer BERT 包含優(yōu)化的 BERT 模型、高效的 FasterTransformer 和 INT8 量化推理。

2023-05-30 標(biāo)簽：編碼器gpuCUDA 1510 0

CUDA編程共享內(nèi)存

共享內(nèi)存是使用__shared__內(nèi)存空間說明符分配的。

2023-05-19 標(biāo)簽：寄存器存儲器CUDA 1323 0

CUDA Runtime和L2 Cache簡析

運行時在cudart庫中實現(xiàn)，該庫通過cudart靜態(tài)地鏈接到應(yīng)用程序。

2023-05-19 標(biāo)簽：MPSCUDAcache技術(shù) 1779 0