讓長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)重返巔峰

1.開篇 去年年底，各大榜單上風(fēng)起云涌，各路英雄在榜單上為了分?jǐn)?shù)能多個(gè)0.01而不停的躁動(dòng)，迫不及待地想要向外界秀秀自己的肌肉。 怎么回事呀，小老弟？ ...

2021-04-04 標(biāo)簽：人工智能自然語(yǔ)言處理nlp 1699 0

如何讓Bert模型在下游任務(wù)中提高性能？

隨著Transformer 在NLP中的表現(xiàn)，Bert已經(jīng)成為主流模型，然而大家在下游任務(wù)中使用時(shí)，是不是也會(huì)發(fā)現(xiàn)模型的性能時(shí)好時(shí)壞，甚至相同參數(shù)切換一...

2021-03-12 標(biāo)簽：模型nlp 3564 0

如何通過蒸餾來(lái)使小模型具有更好的性能

現(xiàn)在的任務(wù)是給定一個(gè)詞（比如：蘋果），然后判斷詞對(duì)應(yīng)的類別（電視/手機(jī)/水果/汽車），假如現(xiàn)在我們有兩個(gè)樣本：（蘋果，[0,0,1,0]）和 （小米，[...

2021-03-05 標(biāo)簽：容量模型nlp 4155 0

如何在NLP領(lǐng)域?qū)嵤?duì)抗攻擊

當(dāng)視覺領(lǐng)域中的對(duì)抗攻擊研究很難再有重大突破的時(shí)候（坑已滿，請(qǐng)換坑），研究人員便把目光轉(zhuǎn)移到了NLP領(lǐng)域。其實(shí)就NLP領(lǐng)域而言，垃圾郵件檢測(cè)、有害文本檢測(cè)...

2021-03-05 標(biāo)簽：文本深度學(xué)習(xí)nlp 4309 0

利用ImageNet訓(xùn)練了一個(gè)能降噪、超分和去雨的圖像預(yù)訓(xùn)練模型

在上篇文章介紹過了，因?yàn)門ransformer本身是用于NLP領(lǐng)域的，輸入應(yīng)該是一個(gè)序列，因此這篇的論文做法和ViT[3]一樣，首先需要把feature...

2021-03-03 標(biāo)簽：模型數(shù)據(jù)集nlp 4776 0

神經(jīng)網(wǎng)絡(luò)中詞向量是怎么表示的？

上一篇我們講到了在神經(jīng)網(wǎng)絡(luò)出現(xiàn)以前的詞向量表示方法：基于同義詞詞典的方法和基于計(jì)數(shù)統(tǒng)計(jì)的方法。想要回顧的可以看這里小白跟學(xué)系列之手把手搭建NLP經(jīng)典模型...

2021-02-05 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)nlp 4148 0

一種處理多標(biāo)簽文本分類的新穎推理機(jī)制

研究動(dòng)機(jī) 多標(biāo)簽文本分類（multi-label text classification, 簡(jiǎn)稱MLTC）的目的是在給定文本后要求模型預(yù)測(cè)其多個(gè)非互斥的...

2021-02-05 標(biāo)簽：人工智能機(jī)器學(xué)習(xí)nlp 3217 0

手把手教你搭建NLP經(jīng)典模型

上一篇我們講到了最簡(jiǎn)單的詞向量表示方法——共現(xiàn)矩陣（沒有看的朋友可以點(diǎn)擊這里 小白跟學(xué)系列之手把手搭建NLP經(jīng)典模型（含代碼） 回顧一下?。?共現(xiàn)矩陣簡(jiǎn)...

2021-02-04 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)nlp 4373 0

細(xì)解讀關(guān)系抽取SOTA論文

本文主要詳細(xì)解讀關(guān)系抽取SOTA論文Two are Better than One:Joint Entity and Relation Extracti...

2021-02-10 標(biāo)簽：深度學(xué)習(xí)自然語(yǔ)言nlp 2977 0

天池公益賽“新冠疫情相似句對(duì)判定大賽”NLP賽道top指南

2020年初，新冠疫情席卷全球。除了“待在家，不亂跑”，我想還能從哪為抗擊疫情出點(diǎn)微薄之力呢？ 碰巧室友推送了一個(gè)天池公益賽“新冠疫情相似句對(duì)判定大賽”...

2021-02-10 標(biāo)簽：自然語(yǔ)言nlp 3428 0

positional encoding詳解

近期我會(huì)一連幾篇談?wù)刡ert中的關(guān)鍵細(xì)節(jié)，這個(gè)position encoding是我看到的bert（實(shí)質(zhì)上是transformer中提出的）中最為驚喜的...

2021-02-10 標(biāo)簽：深度學(xué)習(xí)自然語(yǔ)言nlp 6552 0

實(shí)體關(guān)系聯(lián)合抽取取得SOTA的三種方法

2020實(shí)體關(guān)系聯(lián)合抽取一片紅海，各種SOTA方法你方唱罷我方登場(chǎng)，在一些數(shù)據(jù)集上也是不斷刷出新高度，為信息抽取領(lǐng)域帶來(lái)了新思路，推動(dòng)了信息抽取領(lǐng)域的發(fā)...

2021-02-10 標(biāo)簽：深度學(xué)習(xí)自然語(yǔ)言nlp 1.3萬(wàn) 0

NLP：面向方面級(jí)情感分類的注意力轉(zhuǎn)移網(wǎng)絡(luò)

01 — 研究動(dòng)機(jī) 方面級(jí)情感分類（英文叫Aspect-level Sentiment Classification，簡(jiǎn)稱ASC）旨在檢測(cè)句子中給定意見...

2021-02-10 標(biāo)簽：情感識(shí)別自然語(yǔ)言nlp 3249 0

NLP事件抽取綜述之挑戰(zhàn)與展望

本系列文章主要分享近年來(lái)事件抽取方法總結(jié)，包括中文事件抽取、開放域事件抽取、事件數(shù)據(jù)生成、跨語(yǔ)言事件抽取、小樣本事件抽取、零樣本事件抽取等。主要包括以下...

2021-01-18 標(biāo)簽：事件自然語(yǔ)言處理nlp 4061 0

如何搭建NLP經(jīng)典模型（含代碼）

之前整理過齋藤康毅的深度學(xué)習(xí)神作《深度學(xué)習(xí)入門：基于Python的理論與實(shí)現(xiàn)》，對(duì)小白非常友好，它沒有用任何的現(xiàn)成框架（比如pyTorch、tensor...

2021-01-18 標(biāo)簽：模型自然語(yǔ)言處理nlp 5411 0