針對文本生成任務(wù)提出一種基于提示的遷移學(xué)習(xí)方法

理解是一個復(fù)雜且多面的能力，包括對文本詞匯、背景知識、語言結(jié)構(gòu)的理解。因此，我們采用GLUE, SuperGLUE, SQuAD v1.1, SQuAD...

2022-09-23 標簽：語言模型數(shù)據(jù)集遷移學(xué)習(xí) 1814 0

預(yù)先訓(xùn)練的語言模型能像人類一樣聰明地解釋明喻嗎？

明喻主要分為兩類：封閉式明喻(ClosedSimile)，以及開放式明喻(OpenSimile)。如圖2所示，二者區(qū)別在于是否顯式地指明本體、喻體的共同...

2022-09-23 標簽：模型語言模型數(shù)據(jù)集 1062 0

NVIDIA NeMo最新語言模型服務(wù)幫助開發(fā)者定制大規(guī)模語言模型

NVIDIA NeMo 大型語言模型（LLM）服務(wù)幫助開發(fā)者定制大規(guī)模語言模型；NVIDIA BioNeMo 服務(wù)幫助研究人員生成和預(yù)測分子、蛋白質(zhì)及 DNA

2022-09-22 標簽：NVIDIAAI語言模型 1035 0

一種將知識圖譜與語言模型結(jié)合的具體方式分享

知識嵌入（Knowledge Embedding）將知識圖譜中的關(guān)系和實體嵌入向量空間進行表示。

2022-09-05 標簽：編碼CLS語言模型 1982 0

計算語言學(xué)的發(fā)展趨勢、不足與挑戰(zhàn)

NAACL 會議是 ACL 的北美分會，每年舉辦一次，也是 NLP 領(lǐng)域備受關(guān)注的頂會之一。NAACL 主要涉及對話、信息抽取、信息檢索、語言生成、機器...

2022-08-18 標簽：神經(jīng)網(wǎng)絡(luò)計算語言模型 2118 0

如何進行MLM訓(xùn)練

Bert的MLM是靜態(tài)mask，而在后續(xù)的其他預(yù)訓(xùn)練模型中，這一策略通常被替換成了動態(tài)mask。除此之外還有 whole word mask 的模型，這...

2022-08-13 標簽：模型語言模型mask 3042 0

基于對抗自注意力機制的預(yù)訓(xùn)練語言模型

表示輸入的特征，在傳統(tǒng)的對抗訓(xùn)練中， 通常是 token 序列或者是 token 的 embedding， 表示 ground truth. 對于由 參...

2022-07-08 標簽：自動化語言模型 1592 0

匯總在事件抽取方向的相關(guān)廠商調(diào)研結(jié)果

值得關(guān)注的是在論元提?。ㄒ爻槿。╇A段，除了CRF外，他們也嘗試了MRC（閱讀理解范式）、Biaffine。其中Biaffine思想來自論文Named ...

2022-07-07 標簽：事件語言模型 1255 0

Zero-shot-CoT是multi-task的方法

大規(guī)模預(yù)訓(xùn)練語言模型借助于針對特定任務(wù)設(shè)計的prompt（無論是few shot還是zero shot），在單步驟的system-1任務(wù)上有著出色表現(xiàn)，...

2022-06-15 標簽：自動化語言模型 2885 0

一種緩解負采樣偏差的對比學(xué)習(xí)句表示框架DCLR

近年來，預(yù)訓(xùn)練語言模型在各種 NLP 任務(wù)上取得了令人矚目的表現(xiàn)。然而，一些研究發(fā)現(xiàn)，由預(yù)訓(xùn)練模型得出的原始句表示相似度都很高，在向量空間中并不是均勻分...

2022-06-07 標簽：框架語言模型nlp 2151 0

一種基于亂序語言模型的預(yù)訓(xùn)練模型-PERT

由于亂序語言模型不使用[MASK]標記，減輕了預(yù)訓(xùn)練任務(wù)與微調(diào)任務(wù)之間的gap，并由于預(yù)測空間大小為輸入序列長度，使得計算效率高于掩碼語言模型。PERT...

2022-05-10 標簽：語言模型自然語言處理 1815 0

Multilingual多語言預(yù)訓(xùn)練語言模型的套路

Facebook在Crosslingual language model pretraining（NIPS 2019）一文中提出XLM預(yù)訓(xùn)練多語言模型，...

2022-05-05 標簽：語言模型數(shù)據(jù)集nlp 3372 0

基于神經(jīng)轉(zhuǎn)移模型的論辯挖掘任務(wù)

論文提出了一種針對論辯挖掘任務(wù)的新方法，該方法通過產(chǎn)生一系列的動作來逐步構(gòu)建出一個論證圖，從而有效地避免了枚舉操作；此外，該方法還可以在不引入任何新的結(jié)...

2022-03-30 標簽：模型語言模型 1333 0

谷歌開發(fā)出一個新的語言模型，包含了超過1．6萬億個參數(shù)

開發(fā)人工智能的語言模型，一直是人工智能的重要細分領(lǐng)域。人工智能語言模型應(yīng)用包括搜索引擎、文字生成、個性化的對話工具以及軟件生成等。 2020年5月，Op...

2021-01-19 標簽：AI人工智能語言模型 2011 0

Google科學(xué)家設(shè)計簡化稀疏架構(gòu)Switch Transformer，語言模型的參數(shù)量可擴展至 1.6 萬億

剛剛，Google Brain 高級研究科學(xué)家 Barret Zoph 發(fā)帖表示，他們設(shè)計了一個名叫「Switch Transformer」的簡化稀疏架...

2021-01-13 標簽：Google架構(gòu)語言模型 3398 0

如何使用較小的語言模型，并用少量樣本來微調(diào)語言模型的權(quán)重

2020年，GPT-3可謂火出了圈。 不僅講故事的本職工作做得風(fēng)生水起，還跨界玩起了網(wǎng)頁設(shè)計、運維、下象棋…… 不過，盡管表現(xiàn)驚艷，GPT-3背后到底是...

2021-01-07 標簽：語言模型GPT自然語言 2304 0

AI領(lǐng)域頂會EMNLP 2020落下帷幕

自18年谷歌BERT橫空出世以來，預(yù)訓(xùn)練語言模型一躍成為自然語言處理領(lǐng)域的研究熱點，“Pre-training + Fine-tune”也成為NLP任務(wù)...

2020-12-15 標簽：AI語言模型數(shù)據(jù)集 2050 0

什么是XLNet，它為什么比BERT效果好

介紹最基本的XLNet的原理，理解XLNet和BERT的直覺上的不同點。作者：Xu LIANG編譯：ronghuaiyang首發(fā)：AI公園公眾號

2020-12-10 標簽：人工智能語言模型 884 0