一種新穎的標簽驅(qū)動去噪框架(LDF)
然后,查詢集利用原型生成相應(yīng)的查詢表示。最后,通過測量每個原型表示與相應(yīng)查詢表示之間的距離來進行類別....
基于VLP模型的語義對齊機制
在本文中,我們利用圖像描述模型提出一個新穎的探針方法。通過這個方法,我們從文本角度分析了VLP模型的....
用于學(xué)習(xí)對象級、語言感知和語義豐富視覺表征的GLIP模型
Visual recognition 模型通常只能預(yù)測一組固定的預(yù)先確定的目標類別,這限制了在現(xiàn)實世....
Transformer常用的輕量化方法
引言:近年來,Transformer模型在人工智能的各個領(lǐng)域得到了廣泛應(yīng)用,成為了包括計算機視覺,自....
MRC和QA中使用的思想方法在信息抽取任務(wù)中的應(yīng)用
主要的評測標準有常見的準確率P、召回率R和F1值。在上述四個任務(wù)的前三個中,使用P、R、F1可以滿足....
用于模型評估和選擇的常見方法
機器學(xué)習(xí)已經(jīng)成為我們生活的中心,無論是作為消費者、客戶、研究者還是從業(yè)人員。
一種基于prompt和對比學(xué)習(xí)的句子表征學(xué)習(xí)模型
我們發(fā)現(xiàn)prompt,再給定不同的template時可以生成不同方面的positive pair,且....
基于BIO序列標注的方法和基于片段的圖解析方法
該論文的出發(fā)點是將端到端基于片段的(span-based)語義角色標注(SRL)轉(zhuǎn)換為基于詞的(wo....
一個全新的文本到視頻跨模態(tài)檢索子任務(wù)
PRVR任務(wù)旨在從大量未剪輯的長視頻中檢索出與查詢文本部分相關(guān)的對應(yīng)視頻。若一個未經(jīng)剪輯的長視頻中存....
分享微博在特征Embedding建模方向做的一些工作
首先我們對比自然語言處理和圖像處理:NLP 最基本的數(shù)據(jù)元素是單詞,每個單詞有一定的含義,可能指代某....
面向社交媒體的多模態(tài)屬性級情感分析
另一方面,相比于單一的文本數(shù)據(jù),多模態(tài)數(shù)據(jù)包含了多種不同信息,這些信息之間往往一一對應(yīng)、互為補充,如....
半監(jiān)督學(xué)習(xí)代碼庫存在的問題與挑戰(zhàn)
當(dāng)使用監(jiān)督學(xué)習(xí)(Supervised Learning)對大量高質(zhì)量的標記數(shù)據(jù)(Labeled Da....
擴散模型應(yīng)用在自然語言處理中的應(yīng)用
對該證據(jù)下界的變形的形式,我們可以直觀地這么理解:證據(jù)下界等價于這么一個過程,我們用編碼器將輸入 x....
GAT模型如何來編碼依存關(guān)系
? 本文貢獻有如下兩點: 提出了一個面向方面的樹結(jié)構(gòu),通過重塑和修剪普通的依存樹來關(guān)注目標方面。 提....
基于用于自然語言生成的“語境調(diào)優(yōu)”技術(shù)
自然語言生成(又稱為文本生成)旨在基于輸入數(shù)據(jù)用人類語言生成合理且可讀的文本。隨著預(yù)訓(xùn)練語言模型的發(fā)....
借助機器翻譯來生成偽視覺-目標語言對進行跨語言遷移
然而之前的基于機器翻譯的CCR工作大多忽略了這個問題,它們通常使用大規(guī)模的預(yù)訓(xùn)練模型在通過機器翻譯得....
文本噪聲標簽在預(yù)訓(xùn)練語言模型(PLMs)上的特性
數(shù)據(jù)的標簽錯誤隨處可見,如何在噪聲數(shù)據(jù)集上學(xué)習(xí)到一個好的分類器,是很多研究者探索的話題。在 Lear....
CLarET:實現(xiàn)上下文到事件相關(guān)感知的預(yù)訓(xùn)練模型
自然語言文本里描述的“事件”,通常是由一個謂詞及其論點組成的一個文本片段(span),是一個細粒度的....
文本分類中處理樣本不均衡和提升模型魯棒性的trick
文本分類看似簡單,但實則里面有好多門道。作者水平有限,只能將平時用到的方法和trick在此做個記錄和....
基于訓(xùn)練階段使用知識庫+KNN檢索相關(guān)信息輔助學(xué)習(xí)方法
上面收的引入知識庫+KNN的方法,緩解了模型參數(shù)需要強記憶訓(xùn)練樣本的問題。此外,文中還通過KNN檢索....
關(guān)于AE、OE、SC的序列標注問題
首先從中利用CNN編碼上下文特征,然后將共享向量視為query方面,并用注意力機制計算query和上....
基于重疊和嵌套事件抽取領(lǐng)域的主流方法
具體的詞對關(guān)系分類示例如圖2所示。其中S-T表示兩個詞是某個觸發(fā)詞的頭部和尾部,S-A表示兩個詞是某....
什么是嵌套實體識別
嵌套命名實體識別是命名實體識別中的一個頗具挑戰(zhàn)的子問題。我們在《實體識別LEAR論文閱讀筆記》與《實....
如何計算模型對預(yù)測結(jié)果的信心
在很多問題中,獲取標注準確的大量數(shù)據(jù)需要很高的成本,這也往往限制了深度學(xué)習(xí)的應(yīng)用。主動學(xué)習(xí)通過對未標....
研究人員為多模態(tài)NER任務(wù)提出新穎的關(guān)系增強圖卷積網(wǎng)絡(luò)
命名實體識別(NER)是信息抽取的一項基本任務(wù),它的目的是識別文本片段中的實體及類型,如人名(PER....
一個基于參數(shù)更新的遷移學(xué)習(xí)的統(tǒng)一框架
它提出一個基于參數(shù)更新的遷移學(xué)習(xí)的統(tǒng)一框架,建立多種參數(shù)優(yōu)化方法之間的聯(lián)系,從而方便理解不同方法背后....
針對文本生成任務(wù)提出一種基于提示的遷移學(xué)習(xí)方法
理解是一個復(fù)雜且多面的能力,包括對文本詞匯、背景知識、語言結(jié)構(gòu)的理解。因此,我們采用GLUE, Su....
預(yù)先訓(xùn)練的語言模型能像人類一樣聰明地解釋明喻嗎?
明喻主要分為兩類:封閉式明喻(ClosedSimile),以及開放式明喻(OpenSimile)。如....
NLP中的神經(jīng)網(wǎng)絡(luò)設(shè)計與學(xué)習(xí)
近些年來,人工神經(jīng)網(wǎng)絡(luò)方法已經(jīng)成為了自然語言處理中最重要的范式之一。但是,大量依賴人工設(shè)計的神經(jīng)網(wǎng)絡(luò)....
基于“結(jié)構(gòu)決定性質(zhì)”零樣本三維藥物設(shè)計方法
藥物設(shè)計(Drug Design)旨在針對給定的生物靶點(通常為蛋白質(zhì)口袋)提供符合設(shè)計要求的候選分....