英偉達推出歸一化Transformer，革命性提升LLM訓練速度
英偉達團隊近日在AI領域投下了一枚震撼彈，他們提出了一種全新的神經(jīng)網(wǎng)絡架構——歸一化Transformer(nGPT)。這一創(chuàng)新架構基于超球面(hypersphere)進行表示學習，為AI領域帶來了新的突破。
相較于傳統(tǒng)的Transformer架構，nGPT在保持原有精度的同時，直接將大型語言模型(LLM)的訓練速度提升了高達20倍。這一顯著的性能提升，無疑將極大地推動AI技術的發(fā)展和應用。
在nGPT中，所有的向量(包括嵌入向量、多層感知機(MLP)向量、注意力矩陣向量以及隱藏狀態(tài)向量)都被歸一化為單位范數(shù)(unit norm)。這一設計不僅簡化了模型訓練過程，還提高了模型的穩(wěn)定性和泛化能力。
英偉達團隊的這一創(chuàng)新成果，無疑為AI領域注入了新的活力。nGPT架構的提出，不僅將推動AI技術的進一步發(fā)展，還將為各種應用場景提供更加高效、準確的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
神經(jīng)網(wǎng)絡
+關注
關注
42文章
4838瀏覽量
107864 -
英偉達
+關注
關注
23文章
4091瀏覽量
99241 -
Transformer
+關注
關注
0文章
156瀏覽量
6939 -
LLM
+關注
關注
1文章
346瀏覽量
1338
發(fā)布評論請先 登錄
相關推薦
熱點推薦
邁向吉瓦級AI工廠的能源變革：英偉達Rubin平臺電源架構解析
轉變。英偉達(NVIDIA)推出的Rubin平臺，作為Blackwell架構的繼任者，不僅是算力密度的又一次飛躍，更是對數(shù)據(jù)中心能源基礎設施的一
傳統(tǒng)檢漏VS紅外熱成像：一場效率與安全的革命性跨越
在工業(yè)生產(chǎn)、能源輸送、環(huán)境監(jiān)測等眾多領域，氣體泄漏檢測是保障安全、控制成本、保護環(huán)境的關鍵環(huán)節(jié)。傳統(tǒng)檢漏方法與紅外熱成像檢漏技術作為兩大主流手段，在效率與安全性上呈現(xiàn)出天壤之別，紅外熱成像技術的出現(xiàn)，無疑是一場革命性的跨越。
NVIDIA新聞：英偉達10億美元入股諾基亞 英偉達推出全新量子設備
研發(fā)并推出相關產(chǎn)品。 英偉達CEO黃仁勛出現(xiàn)在美國華盛頓的GTC DC大會上的演講中表示；“今天我們宣布與諾基亞建立了合作關系，諾基亞是世界第二大電信制造商，這是一個價值3萬億美元的產(chǎn)
無刷吸塵器在吸塵器領域帶來了革命性的提升，其優(yōu)勢是全方位的【其利天下】
無刷電機相對于傳統(tǒng)有刷電機，在吸塵器領域帶來了革命性的提升，其優(yōu)勢是全方位的。從研發(fā)的角度來剖析無刷電機相對于有刷電機的優(yōu)勢，我們會發(fā)現(xiàn)這遠不止是性能參數(shù)的提升，而是一場從“模擬機械”
發(fā)表于 10-28 09:35
第四次工業(yè)革命AI將實現(xiàn)十億倍增長 | 中國AI芯片與英偉達的角色
內(nèi)容提要:黃仁勛BG2專訪：英偉達、OpenAI、算力未來與美國夢AI規(guī)模定律與推理的革命：在傳統(tǒng)的AI規(guī)模定律（預訓練、后訓練）之上，引入
愛立信推出革命性OSS/BSS產(chǎn)品組合
愛立信近日推出革命性OSS/BSS產(chǎn)品組合，賦能運營商在AI意圖驅(qū)動及自智網(wǎng)絡時代實現(xiàn)全方位創(chuàng)新突破！告別傳統(tǒng)模式，擁抱敏捷、智能服務的新時代。
革命性神經(jīng)形態(tài)微控制器 ?**Pulsar**? 的深度技術解讀
以下是對荷蘭公司Innatera推出的革命性神經(jīng)形態(tài)微控制器 ? Pulsar ? 的深度技術解讀，結合其架構設計、性能突破、應用場景及產(chǎn)業(yè)意義進行綜合分析： 一、核心技術原理：神經(jīng)形態(tài)架構的突破
SiC MOSFET模塊在英偉達800V HVDC電源系統(tǒng)中的技術優(yōu)勢與應用價值
大、功率密度不足等問題已難以滿足需求。英偉達推出的800V高壓直流（HVDC）架構通過集中式配電和高效功率轉換技術，為數(shù)據(jù)中心提供了革命性的能源解決方案。而基本半導體BMF240R12
特朗普要叫停英偉達對華特供版 英偉達H20出口限制 或損失55億美元
是“中國特供版”人工智能芯片；是英偉達公司為符合美國出口規(guī)定專門為中國市場開發(fā)的定制芯片，H20芯片在訓練AI模型方面不如英偉達其他芯片
Melexis推出革命性熱成像傳感器芯片MLX90642
Melexis推出革命性熱成像傳感器芯片MLX90642。該芯片搭載32x24像素紅外（IR）陣列，樹立行業(yè)新標桿。其通過顯著提升信噪比，和全局快門讀取以及板載溫度計算功能，在實現(xiàn)性能突破的同時
NVIDIA Isaac 是英偉達推出的綜合性機器人開發(fā)平臺
NVIDIA Isaac 是英偉達推出的綜合性機器人開發(fā)平臺，旨在通過 GPU 加速、物理仿真和生成式 AI 技術，加速自主移動機器人（AMR）、機械臂及人形機器人的開發(fā)與部署。以下從
新思科技攜手英偉達加速芯片設計，提升芯片電子設計自動化效率
宣布在英偉達 Grace Blackwell 平臺上實現(xiàn)高達 30 倍的預期性能提升，加速下一代半導體的電路仿真 ? 摘要： 在今年GTC主題演講中，新思科技作為生態(tài)系統(tǒng)的
發(fā)表于 03-19 17:59
?499次閱讀
新思科技亮相英偉達GTC 2025大會
為了實現(xiàn)這一速度提升，新思科技在GTC全球AI大會上宣布，正在使用英偉達 CUDA-X庫優(yōu)化其下一
工商網(wǎng)監(jiān)
評論