擴(kuò)散模型和其在文本生成圖像任務(wù)上的應(yīng)用
擴(kuò)散過(guò)程有一個(gè)顯著特性，我們可以對(duì)任意 進(jìn)行采樣。為了證明該性質(zhì)需要使用參數(shù)重整化技巧：假設(shè)要從....
一份NLP算法方向的社招面經(jīng)
這里有一個(gè)提高通過(guò)率的小trick：可以和1個(gè)或者多個(gè)靠譜小伙伴一起，讓大家看對(duì)方的簡(jiǎn)歷，假設(shè)自己是....
meta reweighting 策略來(lái)增強(qiáng)偽樣本的效果
本文的 basic 模型使用 BERT+BiLSTM+CRF 進(jìn)行 NER 任務(wù)。首先給定輸入序列 ....
ERNIE-Search模型結(jié)構(gòu)
這個(gè)損失的內(nèi)容非常多，我把他分為兩個(gè)部分，一個(gè)是獨(dú)立訓(xùn)練的部分（不帶箭頭的），另一個(gè)是蒸餾部分（帶箭....
利用對(duì)比前綴控制文本生成以及長(zhǎng)文本生成的動(dòng)態(tài)內(nèi)容規(guī)劃
一些最新的研究表明，預(yù)訓(xùn)練語(yǔ)言模型（PLM）可以通過(guò)自我監(jiān)督的預(yù)訓(xùn)練從大規(guī)模語(yǔ)料庫(kù)中自動(dòng)獲取知識(shí)，然....
利用算法開(kāi)發(fā)了一種新的自然語(yǔ)言生成解碼方式
這樣的前向啟發(fā)函數(shù)有兩個(gè)好處，如果是滿足多Token約束的一個(gè)Token，前向啟發(fā)函數(shù)包含了全部約束....
詞義消歧與實(shí)體消歧
在詞義消歧中，同一詞語(yǔ)的不同義項(xiàng)會(huì)作為候選詞。我們需要在所有候選詞中找到與文本中目標(biāo)詞語(yǔ)最接近的那個(gè)....
基于序列標(biāo)注的實(shí)體識(shí)別所存在的問(wèn)題
實(shí)體識(shí)別通常被當(dāng)作序列標(biāo)注任務(wù)來(lái)做，序列標(biāo)注模型需要對(duì)實(shí)體邊界和實(shí)體類別進(jìn)行預(yù)測(cè)，從而識(shí)別和提取出相....
大模型技術(shù)發(fā)展背景
我們今天看到了一個(gè)明顯的趨勢(shì)就是 AI 正從感知智能快速向認(rèn)知智能邁進(jìn)。AI 正從“能聽(tīng)、會(huì)說(shuō)、會(huì)看....
怎么構(gòu)建命名實(shí)體識(shí)別（NER）任務(wù)的標(biāo)注數(shù)據(jù)
用自己平臺(tái)的商品標(biāo)題去請(qǐng)求一些開(kāi)放 NER 的 api，比如阿里云、騰訊云、百度 ai 等，有些平臺(tái)....
中文文本糾錯(cuò)任務(wù)
公文糾錯(cuò)：針對(duì)公文寫(xiě)作場(chǎng)景，提供字詞、標(biāo)點(diǎn)、專名、數(shù)值內(nèi)容糾錯(cuò)，包含領(lǐng)導(dǎo)人姓名、領(lǐng)導(dǎo)人職位、數(shù)值一致....
實(shí)體關(guān)系抽取模型CasRel
許多實(shí)驗(yàn)證明聯(lián)合學(xué)習(xí)方法由于考慮了兩個(gè)子任務(wù)之間的信息交互，大大提升了實(shí)體關(guān)系抽取的效果，所以目前針....
跨語(yǔ)言命名實(shí)體識(shí)別：無(wú)監(jiān)督多任務(wù)多教師蒸餾模型
另外一個(gè)任務(wù)輸入的為序列標(biāo)注的句對(duì)數(shù)據(jù)，分別采用兩個(gè)獨(dú)立的Encoder編碼器進(jìn)行編碼，得到的對(duì)應(yīng)的....
Meta開(kāi)源NLLB翻譯模型，支持200種語(yǔ)言互譯
除了AI業(yè)內(nèi)關(guān)心他們?nèi)绾沃С终Z(yǔ)料稀缺的冷門(mén)語(yǔ)言，以及如何在BLEU基準(zhǔn)測(cè)試上提高7個(gè)點(diǎn)以外。也有來(lái)自....
JMEE利用句法樹(shù)以及GCN來(lái)建模多事件之間的關(guān)聯(lián)
今天要跟大家分享的是發(fā)表在EMNLP的一篇事件抽取的工作JMEE。JMEE針對(duì)的是多事件觸發(fā)詞及角色....
融合Image-Text和Image-Label兩種數(shù)據(jù)的多模態(tài)訓(xùn)練新方式
目前CV領(lǐng)域中包括兩種典型的訓(xùn)練模式，第一種是傳統(tǒng)的圖像分類訓(xùn)練，以離散的label為目標(biāo)，人工標(biāo)注....
馬爾可夫與語(yǔ)言模型
有限狀態(tài)語(yǔ)法或正則語(yǔ)法，是指能夠生成有限狀態(tài)機(jī)可以接受的句子的語(yǔ)法。而能夠生成非確定性下推自動(dòng)機(jī)（n....
如何實(shí)現(xiàn)更高效的VLN算法
視覺(jué)-語(yǔ)言導(dǎo)航任務(wù)（Vision-Language Navigation， VLN）是指在陌生環(huán)境中....
如何對(duì)typo 進(jìn)行檢測(cè)和糾正
自然語(yǔ)言文本中經(jīng)常會(huì)出現(xiàn)一些拼寫(xiě)錯(cuò)誤（typo），在中文文本里即所謂的錯(cuò)別字，中文拼寫(xiě)糾錯(cuò)（Chin....
在Token中加入你感興趣的詞的邊界標(biāo)記
首先分詞，在詞中間插入特殊標(biāo)記，這些標(biāo)記也會(huì)被當(dāng)做普通的字符處理。有位置，也會(huì)被 MASK，這樣編碼....
基于Entity-Linking及基于Retreval的方法
NLP預(yù)訓(xùn)練模型需要非常大的參數(shù)量以及非常多的語(yǔ)料信息，這些都是希望能盡可能多的記住文本中的知識(shí)，以....
基于GAN-inversion的圖像重構(gòu)過(guò)程
筆者最近在集中時(shí)間學(xué)習(xí)對(duì)抗生成網(wǎng)絡(luò)（GAN），特別是深度生成先驗(yàn)進(jìn)行多用途圖像修復(fù)與處理，需要對(duì)圖像....
生成式摘要的經(jīng)典模型
以往的標(biāo)題模型產(chǎn)生的都是平實(shí)性標(biāo)題，即簡(jiǎn)單語(yǔ)言描述的事實(shí)性標(biāo)題。但是，實(shí)際上我們可能更需要有記憶點(diǎn)的....
基于對(duì)抗自注意力機(jī)制的預(yù)訓(xùn)練語(yǔ)言模型
表示輸入的特征，在傳統(tǒng)的對(duì)抗訓(xùn)練中， 通常是 token 序列或者是 token 的 embeddi....
數(shù)據(jù)類別不均衡問(wèn)題的分類及解決方式
數(shù)據(jù)類別不均衡問(wèn)題應(yīng)該是一個(gè)極常見(jiàn)又頭疼的的問(wèn)題了。最近在工作中也是碰到這個(gè)問(wèn)題，花了些時(shí)間梳理....
基于RoBERTa的語(yǔ)義理解模型的構(gòu)建
美團(tuán)技術(shù)團(tuán)隊(duì) 近日，美團(tuán)搜索與NLP部NLP中心語(yǔ)義理解團(tuán)隊(duì)的小樣本學(xué)習(xí)模型FSL++在中文小樣本語(yǔ)....
表示學(xué)習(xí)中7大損失函數(shù)的發(fā)展歷程及設(shè)計(jì)思路
表示學(xué)習(xí)的目的是將原始數(shù)據(jù)轉(zhuǎn)換成更好的表達(dá)，以提升下游任務(wù)的效果。在表示學(xué)習(xí)中，損失函數(shù)的設(shè)計(jì)一直是....
邏輯推理MRC的兩個(gè)數(shù)據(jù)集和對(duì)應(yīng)方法
AdaLoGN的整體結(jié)構(gòu)如圖6所示，可以看到自適應(yīng)地?cái)U(kuò)展TLG、消息傳遞過(guò)程通過(guò)迭代多輪來(lái)使得符號(hào)推....
如何在Prompt Learning下引入外部知識(shí)達(dá)到好文本分類效果
手工定義或自動(dòng)搜索得到的verbalizer有主觀性強(qiáng)覆蓋面小等缺點(diǎn)，我們使用了知識(shí)庫(kù)來(lái)進(jìn)行標(biāo)簽詞的....
如何更高效地使用預(yù)訓(xùn)練語(yǔ)言模型
本文對(duì)任務(wù)低維本征子空間的探索是基于 prompt tuning, 而不是fine-tuning。原....
工商網(wǎng)監(jiān)