如何用語言模型（LM）實現(xiàn)建模能力
當(dāng)初筆者進入 NLP 的大門，就是相信：由于語言強大的表達能力以及語言模型強大的建模能力，Reaso....
最適合小白入門的NLP項目
數(shù)據(jù)集?；陬^條新聞標(biāo)題數(shù)據(jù)集，質(zhì)量相對較高。
基于有效樣本數(shù)的類平衡損失
本文綜述了康奈爾大學(xué)、康奈爾科技、谷歌Brain和Alphabet公司的基于有效樣本數(shù)的類平衡損失(....
Adapter在finetune全模型參數(shù)的效果
目前在大規(guī)模預(yù)訓(xùn)練模型上進行finetune是NLP中一種高效的遷移方法，但是對于眾多的下游任務(wù)而言....
Few-shot NER的三階段
Few-shot NER的三階段：Train、Adapt、Recognize，即在source域訓(xùn)練....
介紹兩個few-shot NER中的challenge
此部分著重介紹了兩個few-shot NER中的challenge：limited informat....
詳細介紹算法效果調(diào)優(yōu)的流程
效果調(diào)優(yōu)應(yīng)該是算法工程師最基礎(chǔ)的工作了我們需要對當(dāng)前的現(xiàn)狀有一定了解后，提出有效的效果優(yōu)化方案，為指....
NLP技術(shù)在司法領(lǐng)域的應(yīng)用
這個AI背后的主要技術(shù)，其實就是自然語言處理，它可以提取出當(dāng)前案件中的諸多要素，將其和其他類似案件的....
PiCO核心點—對比學(xué)習(xí)引入PLL
有監(jiān)督學(xué)習(xí)是最常見的一種機器學(xué)習(xí)問題，給定一個輸入樣本，預(yù)測該樣本的label是什么。Partial....
README不同庫的分布式訓(xùn)練方式
測試結(jié)果發(fā)現(xiàn) Apex 的加速效果最好，但與 Horovod/Distributed 差別不大，平時....
RAKE算法原理介紹
RAKE英文全稱為Rapid Automatic keyword extraction，中文稱為快速....
DocumentAI的模型、任務(wù)和基準數(shù)據(jù)集
隨著最近幾年多模態(tài)大火的，越來越多的任務(wù)都被推陳出新為多模態(tài)版本。譬如，傳統(tǒng)對話任務(wù)，推出了考慮視覺....
基于中文數(shù)據(jù)的標(biāo)簽詞構(gòu)造過程
生成方法對于長實體來說更加困難。但是隨著UIE的出現(xiàn)，中文小樣本NER 的效果得到了突破。
FLAT的一種改進方案
許久沒有更新，今天來水一篇之前在arXiv上看到的論文，這篇NFLAT是對FLAT的改進（其實也是對....
project復(fù)現(xiàn)過程踩到坑對應(yīng)的解決方案
最近做的一個 project 需要復(fù)現(xiàn) EMNLP 2020 Findings 的 TinyBERT....
稠密向量檢索的Query深度交互的文檔多視角表征
今天給大家?guī)硪黄焙胶臀④洺銎返某砻芟蛄繖z索模型Dual-Cross-Encoder，結(jié)合Quer....
計算語言學(xué)的發(fā)展趨勢、不足與挑戰(zhàn)
NAACL 會議是 ACL 的北美分會，每年舉辦一次，也是 NLP 領(lǐng)域備受關(guān)注的頂會之一。NAAC....
如何在PyTorch中使用交叉熵損失函數(shù)
Keras有一個簡潔的API來查看模型的每一層輸出尺寸，這在調(diào)試網(wǎng)絡(luò)時非常有用?，F(xiàn)在在PyTorch....
對比學(xué)習(xí)在開放域段落檢索和主題挖掘中的應(yīng)用
開放域段落檢索是給定一個由數(shù)百萬個段落組成的超大文本語料庫，其目的是檢索一個最相關(guān)的段落集合，作為一....
各種梯度下降法是如何工作的
導(dǎo)讀一圖勝千言，什么？還是動畫，那就更棒啦！本文用了大量的資源來解釋各種梯度下降法（gradient....
快速了解文本語義相似度領(lǐng)域的研究脈絡(luò)和進展
文本表示：當(dāng)數(shù)據(jù)被預(yù)處理完成后，就可以送入模型了。在文本相似度任務(wù)中，需要有一個模塊用于對文本的向量....
三篇基于遷移學(xué)習(xí)的論元關(guān)系提取
該篇文章為了使論辯中繁瑣的過程自動化，提出了一個大規(guī)模數(shù)據(jù)集IAM，該數(shù)據(jù)集可用于一系列論辯挖掘任務(wù)....
FS-NER 的關(guān)鍵挑戰(zhàn)
小樣本 NER 需要從很少的實例和外部資源中獲取有效信息。本文提出了一個自描述機制，可以通過使用全局....
PyTorch 的 Autograd 機制和使用
PyTorch 作為一個深度學(xué)習(xí)平臺，在深度學(xué)習(xí)任務(wù)中比 NumPy 這個科學(xué)計算庫強在哪里呢？我覺....
如何進行MLM訓(xùn)練
Bert的MLM是靜態(tài)mask，而在后續(xù)的其他預(yù)訓(xùn)練模型中，這一策略通常被替換成了動態(tài)mask。除此....
基于基本圖像處理技術(shù)的數(shù)據(jù)增強方法
深度神經(jīng)網(wǎng)絡(luò)在許多任務(wù)中表現(xiàn)良好，但這些網(wǎng)絡(luò)通常需要大量數(shù)據(jù)才能避免過度擬合。遺憾的是，許多場景無法....
基于填表方式的NER方法
現(xiàn)在很多基于填表方式的NER方法，在構(gòu)造表中元素的時候，一般用的都是由相應(yīng)span的head字和ta....
怎么評估算法的性能
我在很多文章里都有吐槽大規(guī)模預(yù)訓(xùn)練模型的性能差，落地成本高，這一期就和大家講講，怎么評估算法的性能的....
預(yù)訓(xùn)練語言模型的字典描述
今天給大家?guī)硪黄狪JCAI2022浙大和阿里聯(lián)合出品的采用對比學(xué)習(xí)的字典描述知識增強的預(yù)訓(xùn)練語言模....
PFN模型整體結(jié)構(gòu)和分區(qū)過濾編碼器內(nèi)部結(jié)構(gòu)
他們認為task間的信息沒有得到很好的交互，（但其實Table sequence還是有交互的），其實....
工商網(wǎng)監(jiān)