什么是隨機(jī)森林？隨機(jī)森林的工作原理

隨機(jī)森林使用名為“bagging”的技術(shù)，通過數(shù)據(jù)集和特征的隨機(jī)自助抽樣樣本并行構(gòu)建完整的決策樹。雖然決策樹基于一組固定的特征，而且經(jīng)常過擬合，但隨機(jī)性...

2024-03-18 標(biāo)簽：cpugpuAI 4983 0

Nvidia芯片工藝先進(jìn)封裝演進(jìn)洞察

根據(jù)IRDS的樂觀預(yù)測(cè)，未來5年，邏輯器件的制造工藝仍將快速演進(jìn)，2025年會(huì)初步實(shí)現(xiàn)Logic器件的3D集成。TSMC和Samsung將在2025年左...

2024-03-15 標(biāo)簽：cpuNVIDIAgpu 2546 0

大算力時(shí)代，關(guān)于內(nèi)存墻的應(yīng)對(duì)方法

以Transformer架構(gòu)為基礎(chǔ)的AI大模型導(dǎo)致了模型參數(shù)量激增，短短兩年間模型大小擴(kuò)大了驚人的410倍，運(yùn)算量更是激增了高達(dá)750倍。

2024-03-14 標(biāo)簽：gpu內(nèi)存AI 602 0

聊一聊Transformer中的FFN

NLP上估計(jì)會(huì)幫助reduce overfitting, improve generalization，但是與其花時(shí)間改這個(gè)地方不如好好clean da...

2024-03-13 標(biāo)簽：gpuTransformernlp 2545 0

深度解讀Nvidia AI芯片路線圖

Nvidia是一個(gè)同時(shí)擁有 GPU、CPU和DPU的計(jì)算芯片和系統(tǒng)公司。Nvidia通過NVLink、NVSwitch和NVLink C2C技術(shù)將CPU...

2024-03-13 標(biāo)簽：cpuNVIDIAgpu 1414 0

為何GPU在AI訓(xùn)練中不可或缺？

人工智能在早期誕生了一個(gè)“不甚成功”的流派，叫做“人工神經(jīng)網(wǎng)絡(luò)”。這個(gè)技術(shù)的思路是，人腦的智慧無與倫比，要實(shí)現(xiàn)高級(jí)的人工智能，模仿人腦就是不二法門。

2024-03-12 標(biāo)簽：gpuAI人工智能 839 0

GPU CUDA 編程的基本原理是什么

神經(jīng)網(wǎng)絡(luò)能加速的有很多，當(dāng)然使用硬件加速是最可觀的了，而目前除了專用的NPU（神經(jīng)網(wǎng)絡(luò)加速單元），就屬于GPU對(duì)神經(jīng)網(wǎng)絡(luò)加速效果最好了

2024-03-05 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpusram 1193 0

AI芯片架構(gòu)誰將問鼎江湖？

Al算力對(duì)高效電源提出新需求，背面供電技術(shù)蓄勢(shì)待發(fā)：越來越高度化的集成會(huì)造成針對(duì)加速芯片的電源解決方案越來越復(fù)雜，方案需要不同電壓、不同路的多路輸入，這...

2024-03-05 標(biāo)簽：gpu深度學(xué)習(xí)AI芯片 495 0

先進(jìn)半導(dǎo)體封裝技術(shù)的革新與演進(jìn)之路

基于熱壓鍵合（TCB）工藝的微泵技術(shù)已經(jīng)比較成熟，在各種產(chǎn)品中都一直在用。其技術(shù)路線在于不斷擴(kuò)大凸點(diǎn)間距。

2024-03-04 標(biāo)簽：處理器gpu半導(dǎo)體封裝 1987 0

什么是自動(dòng)語音識(shí)別（ASR）？如何使用深度學(xué)習(xí)和GPU加速ASR

ASR 是自然語言中一項(xiàng)頗具挑戰(zhàn)性的任務(wù)，它由語音分割、聲學(xué)建模和語言建模等一系列子任務(wù)組成，根據(jù)噪聲和未分割的輸入數(shù)據(jù)形成預(yù)測(cè)（標(biāo)簽序列）。

2024-02-28 標(biāo)簽：NVIDIAgpuAI 7723 0

從基本原理到應(yīng)用的SLAM技術(shù)深度解析

LSD-SLAM 即 Large-Scale Direct SLAM，兼容單目相機(jī)和雙目相機(jī)。LSD-SLAM是一種基于光流跟蹤的直接法SLAM，但是實(shí)...

2024-02-26 標(biāo)簽：傳感器gpuSLAM 1.2萬 0

在AMD GPU上如何安裝和配置triton？

最近在整理python-based的benchmark代碼，反過來在NV的GPU上又把Triton裝了一遍，發(fā)現(xiàn)Triton的github repo已經(jīng)...

2024-02-22 標(biāo)簽：amdgpuTriton 3531 0

FPGA與GPU在神經(jīng)網(wǎng)絡(luò)構(gòu)建中的對(duì)比研究

嵌入式工程師常見的情況是在硬件加速器（如FPGA）和主機(jī)CPU之間建立通信。這項(xiàng)工作因其繁瑣和容易出錯(cuò)而臭名昭著。

2024-02-22 標(biāo)簽：fpgacpu神經(jīng)網(wǎng)絡(luò) 1121 0

基于Transformer模型的壓縮方法

基于Transformer架構(gòu)的大型模型在人工智能領(lǐng)域中發(fā)揮著日益重要的作用，特別是在自然語言處理（NLP）和計(jì)算機(jī)視覺（CV）領(lǐng)域。

2024-02-22 標(biāo)簽：變壓器編碼器gpu 1024 0

應(yīng)用大模型提升研發(fā)效率的實(shí)踐與探索

對(duì)于模型訓(xùn)練，我們可以采用 3D 并行訓(xùn)練的方式來實(shí)現(xiàn)。將模型參數(shù)和梯度張量劃分為多個(gè)分區(qū)，分配到不同 GPU 卡上進(jìn)行計(jì)算。每張卡負(fù)責(zé)自己分區(qū)的梯度和...

2024-02-22 標(biāo)簽：gpu大模型 950 0

2023年工業(yè)視覺缺陷檢測(cè)經(jīng)驗(yàn)分享

表面缺陷檢測(cè)任務(wù)是指通過對(duì)產(chǎn)品表面進(jìn)行仔細(xì)的檢查和評(píng)估，以發(fā)現(xiàn)和識(shí)別任何不符合質(zhì)量標(biāo)準(zhǔn)或設(shè)計(jì)要求的表面缺陷。這項(xiàng)任務(wù)的目的是確保產(chǎn)品的外觀質(zhì)量和功能性滿...

2024-02-21 標(biāo)簽：CMOSgpuNPU 1505 0

大模型系列：Flash Attention V2整體運(yùn)作流程

基于1.1中的思想，我們?cè)赩2中將原本的內(nèi)外循環(huán)置換了位置（示意圖就不畫了，基本可以對(duì)比V1示意圖想象出來）。我們直接來看V2的偽代碼（如果對(duì)以下偽代碼...

2024-02-21 標(biāo)簽：gpu并行計(jì)算大模型 2963 0