面向中文搜索的開放域文檔視覺問答任務(wù)解決方案
現(xiàn)有開放域問答系統(tǒng)主要以文本集合作為信息來源回答用戶提問，如圖1所示，現(xiàn)有系統(tǒng)通常需要花費(fèi)大量成本根....
通過Token實(shí)現(xiàn)多視角文檔向量表征的構(gòu)建
該篇論文與前兩天分享的DCSR-面向開放域段落檢索的句子感知的對(duì)比學(xué)習(xí)一文有異曲同工之妙，都是在檢索....
對(duì)比學(xué)習(xí)中的4種典型范式的應(yīng)用分析
對(duì)比學(xué)習(xí)是無監(jiān)督表示學(xué)習(xí)中一種非常有效的方法，核心思路是訓(xùn)練query和key的Encoder，讓這....
雙塔模型擴(kuò)量負(fù)樣本的方法比較
雙塔模型在訓(xùn)練時(shí)是對(duì)一個(gè)batch內(nèi)樣本訓(xùn)練。一個(gè)batch內(nèi)每個(gè)樣本 (user和item對(duì))為正....
基于Zero-Shot的多語(yǔ)言抽取式文本摘要模型
抽取式文本摘要目前在英文上已經(jīng)取得了很好的性能，這主要得益于大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型和豐富的標(biāo)注語(yǔ)料。但....
采用雙塔BERT模型對(duì)文本字符和label進(jìn)行編碼
這是一篇來自于 ACL 2022 的文章，總體思想就是在 meta-learning 的基礎(chǔ)上，....
匯總在事件抽取方向的相關(guān)廠商調(diào)研結(jié)果
值得關(guān)注的是在論元提?。ㄒ爻槿。╇A段，除了CRF外，他們也嘗試了MRC（閱讀理解范式）、Biaff....
基于pipeline的文本糾錯(cuò)系統(tǒng)框架分析
這是比較早期的一個(gè)中文文本糾錯(cuò)系統(tǒng)，該系統(tǒng)結(jié)合了規(guī)則模版和統(tǒng)計(jì)的方法，很大程度的解決了同期糾錯(cuò)系統(tǒng)誤....
面向?qū)嶓w對(duì)象的文本描述情感極性及色彩強(qiáng)度分析
在做這題的時(shí)候我就會(huì)思考如何做得優(yōu)雅，最好方法是simple yet effective的。最好就是....
用于少數(shù)鏡頭命名實(shí)體識(shí)別的分解元學(xué)習(xí)
我們?cè)谝恍?benchmark 上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)表明我們提出的框架比之前的 SOTA 模型表現(xiàn)更好....
文本預(yù)訓(xùn)練的模型架構(gòu)及相關(guān)數(shù)據(jù)集
多模態(tài)預(yù)訓(xùn)練的數(shù)據(jù)通常來源于大規(guī)模的模態(tài)間對(duì)齊樣本對(duì)。由于時(shí)序維度的存在，視頻當(dāng)中包含了比圖片更加豐....
在檢索任務(wù)中訓(xùn)練數(shù)據(jù)在推理時(shí)也大有用處
有點(diǎn)類似 Prompt 學(xué)習(xí)，但本文主要關(guān)注有監(jiān)督學(xué)習(xí)的設(shè)置。結(jié)果不僅效果很好，而且很容易擴(kuò)展（只要....
Zero-shot-CoT是multi-task的方法
大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型借助于針對(duì)特定任務(wù)設(shè)計(jì)的prompt（無論是few shot還是zero sho....
事件模式歸納的歷史以及相關(guān)概念
一個(gè)典型的原子事件類型歸納的研究是Nathanael Chambers和Dan Jurafsky在2....
幾種基于深度學(xué)習(xí)的中文糾錯(cuò)模型
Confusionset-guided Pointer Network看起來跟之前提及的CopyNe....
微調(diào)前給預(yù)訓(xùn)練模型參數(shù)增加噪音提高效果的方法
為了減輕上述問題，提出了NoisyTune方法，即，在finetune前加入給預(yù)訓(xùn)練模型的參數(shù)增加少....
一種緩解負(fù)采樣偏差的對(duì)比學(xué)習(xí)句表示框架DCLR
近年來，預(yù)訓(xùn)練語(yǔ)言模型在各種 NLP 任務(wù)上取得了令人矚目的表現(xiàn)。然而，一些研究發(fā)現(xiàn)，由預(yù)訓(xùn)練模型得....
SemEval 2022: 多語(yǔ)種慣用語(yǔ)識(shí)別評(píng)測(cè)冠軍系統(tǒng)簡(jiǎn)介
提交的系統(tǒng)使用XLM-RoBERTa作為編碼器，在預(yù)處理過程中對(duì)訓(xùn)練數(shù)據(jù)的慣用語(yǔ)短語(yǔ)（MWE）進(jìn)行特....
關(guān)于Prompt在NER場(chǎng)景的應(yīng)用總結(jié)
將序列標(biāo)注任務(wù)轉(zhuǎn)換成一個(gè)生成任務(wù)，在Encoder端輸入為原始文本，Decoder端輸入的是一個(gè)已填....
如何顯著提升Vision Transformer的訓(xùn)練效率
為了降低門檻，讓更多人能夠應(yīng)用ViT，我們開發(fā)一系列方法來加速整個(gè)訓(xùn)練。我們基于MetaAI的圖像分....
基于e-CARE的因果推理相關(guān)任務(wù)
因果推理是人類的一項(xiàng)核心認(rèn)知能力。借助因果推理能力，人類得以理解已觀測(cè)到的各種現(xiàn)象，并預(yù)測(cè)將來可能發(fā)....
PaddleNLP v2.3帶來兩大重磅能力
針對(duì)以上難題，中科院軟件所和百度共同提出了一個(gè)大一統(tǒng)諸多任務(wù)的通用信息抽取技術(shù)UIE（Univers....
稠密檢索模型在zero-shot場(chǎng)景下的泛化能力
稠密檢索任務(wù)旨在通過給定的query，在一個(gè)龐大的document語(yǔ)料庫(kù)中召回與query高度相關(guān)的....
若干蒸餾方法之間的細(xì)節(jié)以及差異
以往的知識(shí)蒸餾雖然可以有效的壓縮模型尺寸，但很難將teacher模型的能力蒸餾到一個(gè)更小詞表的stu....
基于k近鄰與高斯噪聲的虛擬困難樣本增強(qiáng)方法
然而在無監(jiān)督SimCSE中，作者僅使用dropout的方式進(jìn)行了正樣本增強(qiáng)，沒有額外引入困難樣本，這....
緩解模型訓(xùn)練成本過高的問題
模型壓縮可以分為模型剪枝（pruning）和模型蒸餾（distillation）。由于模型中的參數(shù)對(duì)....
一種基于亂序語(yǔ)言模型的預(yù)訓(xùn)練模型-PERT
由于亂序語(yǔ)言模型不使用[MASK]標(biāo)記，減輕了預(yù)訓(xùn)練任務(wù)與微調(diào)任務(wù)之間的gap，并由于預(yù)測(cè)空間大小為....
Multilingual多語(yǔ)言預(yù)訓(xùn)練語(yǔ)言模型的套路
Facebook在Crosslingual language model pretraining（N....
結(jié)合句子間差異的無監(jiān)督句子嵌入對(duì)比學(xué)習(xí)方法-DiffCSE
句向量表征技術(shù)目前已經(jīng)通過對(duì)比學(xué)習(xí)獲取了很好的效果。而對(duì)比學(xué)習(xí)的宗旨就是拉近相似數(shù)據(jù)，推開不相似數(shù)據(jù)....
機(jī)器翻譯中細(xì)粒度領(lǐng)域自適應(yīng)的數(shù)據(jù)集和基準(zhǔn)實(shí)驗(yàn)
細(xì)粒度領(lǐng)域自適應(yīng)問題是一個(gè)重要的實(shí)際應(yīng)用問題。當(dāng)研發(fā)人員需要為某個(gè)特定主題提供翻譯服務(wù)（比如為某個(gè)主....
工商網(wǎng)監(jiān)