英偉達(dá)推出歸一化Transformer，革命性提升LLM訓(xùn)練速度
英偉達(dá)團(tuán)隊(duì)近日在AI領(lǐng)域投下了一枚震撼彈，他們提出了一種全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)——?dú)w一化Transformer(nGPT)。這一創(chuàng)新架構(gòu)基于超球面(hypersphere)進(jìn)行表示學(xué)習(xí)，為AI領(lǐng)域帶來了新的突破。
相較于傳統(tǒng)的Transformer架構(gòu)，nGPT在保持原有精度的同時(shí)，直接將大型語言模型(LLM)的訓(xùn)練速度提升了高達(dá)20倍。這一顯著的性能提升，無疑將極大地推動(dòng)AI技術(shù)的發(fā)展和應(yīng)用。
在nGPT中，所有的向量(包括嵌入向量、多層感知機(jī)(MLP)向量、注意力矩陣向量以及隱藏狀態(tài)向量)都被歸一化為單位范數(shù)(unit norm)。這一設(shè)計(jì)不僅簡化了模型訓(xùn)練過程，還提高了模型的穩(wěn)定性和泛化能力。
英偉達(dá)團(tuán)隊(duì)的這一創(chuàng)新成果，無疑為AI領(lǐng)域注入了新的活力。nGPT架構(gòu)的提出，不僅將推動(dòng)AI技術(shù)的進(jìn)一步發(fā)展，還將為各種應(yīng)用場(chǎng)景提供更加高效、準(zhǔn)確的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4819瀏覽量
106066 -
英偉達(dá)
+關(guān)注
關(guān)注
23文章
4014瀏覽量
96792 -
Transformer
+關(guān)注
關(guān)注
0文章
153瀏覽量
6719 -
LLM
+關(guān)注
關(guān)注
1文章
337瀏覽量
1143
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
第四次工業(yè)革命AI將實(shí)現(xiàn)十億倍增長 | 中國AI芯片與英偉達(dá)的角色
內(nèi)容提要:黃仁勛BG2專訪：英偉達(dá)、OpenAI、算力未來與美國夢(mèng)AI規(guī)模定律與推理的革命：在傳統(tǒng)的AI規(guī)模定律（預(yù)訓(xùn)練、后訓(xùn)練）之上，引入
愛立信推出革命性OSS/BSS產(chǎn)品組合
愛立信近日推出革命性OSS/BSS產(chǎn)品組合，賦能運(yùn)營商在AI意圖驅(qū)動(dòng)及自智網(wǎng)絡(luò)時(shí)代實(shí)現(xiàn)全方位創(chuàng)新突破！告別傳統(tǒng)模式，擁抱敏捷、智能服務(wù)的新時(shí)代。
特朗普要叫停英偉達(dá)對(duì)華特供版 英偉達(dá)H20出口限制 或損失55億美元
是“中國特供版”人工智能芯片；是英偉達(dá)公司為符合美國出口規(guī)定專門為中國市場(chǎng)開發(fā)的定制芯片，H20芯片在訓(xùn)練AI模型方面不如英偉達(dá)其他芯片
Melexis推出革命性熱成像傳感器芯片MLX90642
Melexis推出革命性熱成像傳感器芯片MLX90642。該芯片搭載32x24像素紅外（IR）陣列，樹立行業(yè)新標(biāo)桿。其通過顯著提升信噪比，和全局快門讀取以及板載溫度計(jì)算功能，在實(shí)現(xiàn)性能突破的同時(shí)
新思科技攜手英偉達(dá)加速芯片設(shè)計(jì)，提升芯片電子設(shè)計(jì)自動(dòng)化效率
宣布在英偉達(dá) Grace Blackwell 平臺(tái)上實(shí)現(xiàn)高達(dá) 30 倍的預(yù)期性能提升，加速下一代半導(dǎo)體的電路仿真 ? 摘要： 在今年GTC主題演講中，新思科技作為生態(tài)系統(tǒng)的
發(fā)表于 03-19 17:59
?358次閱讀
新思科技亮相英偉達(dá)GTC 2025大會(huì)
為了實(shí)現(xiàn)這一速度提升，新思科技在GTC全球AI大會(huì)上宣布，正在使用英偉達(dá) CUDA-X庫優(yōu)化其下一
英偉達(dá)市值一夜蒸發(fā)近2萬億 英偉達(dá)股價(jià)下跌超8%
在美東時(shí)間周一，美股三大指數(shù)集體收跌，截至收盤，英偉達(dá)股價(jià)下跌超8%，英偉達(dá)市值一夜蒸發(fā)2650
格瑞普推出革命性半固態(tài)電池，為行業(yè)無人機(jī)續(xù)航注入未來動(dòng)力
瑞普重磅推出一款革命性的半固態(tài)電池，以350Wh/kg的高能量密度和多項(xiàng)尖端技術(shù)突破，為行業(yè)無人機(jī)行業(yè)帶來前所未有的性能提升。這不僅是技術(shù)的革新，更是對(duì)行業(yè)未來的
英偉達(dá)發(fā)布Nemotron-CC大型AI訓(xùn)練數(shù)據(jù)庫
近日，英偉達(dá)在其官方博客上宣布了一項(xiàng)重大進(jìn)展，推出了一款名為Nemotron-CC的大型英文AI訓(xùn)練
英偉達(dá)推出基石世界模型Cosmos,解決智駕與機(jī)器人具身智能訓(xùn)練數(shù)據(jù)問題
CES 2025展會(huì)上，英偉達(dá)推出了基石世界模型Cosmos，World Foundation Model基石世界模型，簡稱WFM。 物理 AI 模型的開發(fā)成本很高并且需要大量真實(shí)數(shù)據(jù)和測(cè)試
加速拋棄英偉達(dá)，微軟又發(fā)布一顆芯片 #微軟 #英偉達(dá) #半導(dǎo)體 #芯片 #電路知識(shí)
英偉達(dá)
jf_15747056
發(fā)布于 :2024年11月21日 17:31:05
什么是LLM？LLM在自然語言處理中的應(yīng)用
隨著人工智能技術(shù)的飛速發(fā)展，自然語言處理（NLP）領(lǐng)域迎來了革命性的進(jìn)步。其中，大型語言模型（LLM）的出現(xiàn)，標(biāo)志著我們對(duì)語言理解能力的一次飛躍。LLM通過深度學(xué)習(xí)和海量數(shù)據(jù)
如何訓(xùn)練自己的LLM模型
訓(xùn)練自己的大型語言模型（LLM）是一個(gè)復(fù)雜且資源密集的過程，涉及到大量的數(shù)據(jù)、計(jì)算資源和專業(yè)知識(shí)。以下是訓(xùn)練LLM模型的
LLM和傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別
和訓(xùn)練方法 LLM： 預(yù)訓(xùn)練和微調(diào)： LLM通常采用預(yù)訓(xùn)練（Pre-training）和微調(diào)（Fine-tuning）的方法。預(yù)
端到端InfiniBand網(wǎng)絡(luò)解決LLM訓(xùn)練瓶頸
ChatGPT對(duì)技術(shù)的影響引發(fā)了對(duì)人工智能未來的預(yù)測(cè)，尤其是多模態(tài)技術(shù)的關(guān)注。OpenAI推出了具有突破性的多模態(tài)模型GPT-4，使各個(gè)領(lǐng)域取得了顯著的發(fā)展。 這些AI進(jìn)步是通過大規(guī)模模型訓(xùn)練實(shí)現(xiàn)
工商網(wǎng)監(jiān)
評(píng)論