谷歌人工智能(Google Ai)和芝加哥豐田技術(shù)研究所(Toyota technology institute of Chicago)的研究人員創(chuàng)建了一種人工智能模型ALBERT，它在主要的NLP性能排行榜上，GLUE和SQuAD 2.0等基準(zhǔn)測(cè)試以及高RACE性能得分方面，均名列第一。

在斯坦福問(wèn)答數(shù)據(jù)集基準(zhǔn)(SQUAD)上，ALBERT得分為92.2，在通用語(yǔ)言理解評(píng)估(GLUE)基準(zhǔn)上，ALBERT得分為89.4，在通過(guò)英語(yǔ)考試獲得的理解(RACE)基準(zhǔn)上，ALBERT分?jǐn)?shù)為89.4%。

ALBERT是基于BERT的轉(zhuǎn)換衍生版本，根據(jù)OpenReview.net周三發(fā)表的一篇論文介紹，它可以“使用參數(shù)約簡(jiǎn)技術(shù)，來(lái)降低內(nèi)存的消耗，提高BERT的訓(xùn)練速度”。據(jù)可靠消息，該論文將于2020年的4月份，與其他被接受發(fā)表的論文一起，在埃塞俄比亞亞的斯亞貝巴舉行的國(guó)際學(xué)習(xí)表征會(huì)議上，供各國(guó)代表參考。

論文中寫(xiě)道，“我們提出的方法使模型的規(guī)模比原來(lái)好得多。此外，我們還使用了一種自我監(jiān)督的模式，該模式側(cè)重于對(duì)句子間的連貫性進(jìn)行建模，并表明它始終有助于下游任務(wù)的多句輸入?！?/p>

ALBERT是BERT的最新衍生品，在主要的基準(zhǔn)測(cè)試中全都名列前茅。5月，微軟的人工智能研究人員引入了多任務(wù)深度神經(jīng)網(wǎng)絡(luò)(MT-DNN)，該模型在9個(gè)GLUE基準(zhǔn)測(cè)試中有7個(gè)取得了高分;7月底，F(xiàn)acebook的人工智能研究引入了RoBERTa模型，效果顯著。

每個(gè)模型的性能都超過(guò)了人類的平均水平。在其他與變壓器相關(guān)的新聞中，初創(chuàng)公司Hug Face的PyTorch庫(kù)可以很方便地使用像BERT這樣的主流變壓器模型，Open AI的GPT-2和谷歌的XLNet通過(guò)長(zhǎng)時(shí)間的研究，使該庫(kù)可用于TensorFlow。該公司首席執(zhí)行官克萊門特·德蘭古告訴VentureBeat網(wǎng)站，自今年年初以來(lái)，PyTorch-Transformers已經(jīng)安裝了超過(guò)50萬(wàn)臺(tái)Pip，實(shí)際效果令人非常滿意。