英偉達(dá)團(tuán)隊(duì)近日在AI領(lǐng)域投下了一枚震撼彈，他們提出了一種全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)——?dú)w一化Transformer(nGPT)。這一創(chuàng)新架構(gòu)基于超球面(hypersphere)進(jìn)行表示學(xué)習(xí)，為AI領(lǐng)域帶來了新的突破。

相較于傳統(tǒng)的Transformer架構(gòu)，nGPT在保持原有精度的同時(shí)，直接將大型語言模型(LLM)的訓(xùn)練速度提升了高達(dá)20倍。這一顯著的性能提升，無疑將極大地推動(dòng)AI技術(shù)的發(fā)展和應(yīng)用。

在nGPT中，所有的向量(包括嵌入向量、多層感知機(jī)(MLP)向量、注意力矩陣向量以及隱藏狀態(tài)向量)都被歸一化為單位范數(shù)(unit norm)。這一設(shè)計(jì)不僅簡化了模型訓(xùn)練過程，還提高了模型的穩(wěn)定性和泛化能力。

英偉達(dá)團(tuán)隊(duì)的這一創(chuàng)新成果，無疑為AI領(lǐng)域注入了新的活力。nGPT架構(gòu)的提出，不僅將推動(dòng)AI技術(shù)的進(jìn)一步發(fā)展，還將為各種應(yīng)用場景提供更加高效、準(zhǔn)確的解決方案。