本期的關(guān)注焦點(diǎn)是NLP的6篇論文。

NLP

CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding

本文設(shè)計(jì)了提出對(duì)當(dāng)前在NLP領(lǐng)域下針對(duì)數(shù)據(jù)增廣場(chǎng)景下如何生成更多高質(zhì)量和更多樣的數(shù)據(jù)及如何提升模型效果提出統(tǒng)一的模型，首先提出利用統(tǒng)一的組合策略對(duì)已有生成策略融合，另一方面借用對(duì)比思想，將生成的數(shù)據(jù)與訓(xùn)練中全局的數(shù)據(jù)做對(duì)比以更好提升訓(xùn)練質(zhì)量。

論文鏈接：https://openreview.net/forum?id=Ozk9MrX1hvA

Contrastive Learning with Stronger Augmentations

文章指出現(xiàn)有的對(duì)比學(xué)習(xí)方法中，一些數(shù)據(jù)增強(qiáng)的操作可能會(huì)導(dǎo)致變換后的圖像與原圖的差異過(guò)大，強(qiáng)行讓網(wǎng)絡(luò)提取出相似的特征反而會(huì)減弱自監(jiān)督學(xué)習(xí)的效果。作者在文中提出的解決方法是，將數(shù)據(jù)的增廣操作劃分為兩大類，一類是不會(huì)顯著改變圖像視覺效果，叫做Weaker Augmentations；另一類是可能使圖像發(fā)生非常大的變化的，叫做Strongerer Augmentations。在訓(xùn)練網(wǎng)絡(luò)的時(shí)候，增加了一個(gè)新的損失函數(shù)，不是直接限制變換圖像與原圖的特征，而是通過(guò)優(yōu)化原圖與弱變換圖像、弱變換圖像與強(qiáng)變換圖像之間的分布，達(dá)到特征學(xué)習(xí)的目的，消除上述的影響。

論文鏈接：https://openreview.net/forum?id=KJSC_AsN14

Improving Abstractive Dialogue Summarization with Conversational Structure and Factual Knowledge

在對(duì)話抽象摘要任務(wù)中，對(duì)長(zhǎng)距離跨句關(guān)系進(jìn)行捕獲是必要的。此外，生成的摘要會(huì)受到虛假事實(shí)的影響。本文提出了一種知識(shí)圖增強(qiáng)的雙拷貝網(wǎng)絡(luò)（KGEDC），它是一種基于會(huì)話結(jié)構(gòu)和事實(shí)知識(shí)的抽象對(duì)話和化框架。采用序列編碼器提取局部特征，用圖編碼器通過(guò)稀疏關(guān)系圖自注意網(wǎng)絡(luò)整合全局特征，相互補(bǔ)充。此外，在解碼過(guò)程中還設(shè)計(jì)了一種雙重復(fù)制機(jī)制，從原文本和事實(shí)中共同生成摘要。

論文鏈接：https://openreview.net/forum?id=uFk038O5wZ

CorDial: Coarse-to-fine Abstractive Dialogue Summarization with Controllable Granularity

本文提出一種由coarse-to-fine的對(duì)話抽象摘要生成策略，首先生成摘要草稿，然后生成最終摘要。本文也提出了控制最終摘要粒度的簡(jiǎn)單策略，可以通過(guò)預(yù)測(cè)和突出顯示源文本中不同的文本跨度來(lái)自動(dòng)控制給定對(duì)話生成的摘要語(yǔ)句的數(shù)量。

論文鏈接：https://openreview.net/forum?id=Uf_WNt41tUA

Learning Contextualized Knowledge Graph Structures for Commonsense Reasoning

為了解決外部知識(shí)圖中缺少 facts 和上下文知識(shí)圖中存在冗余 facts 的問(wèn)題，本文提出了一種常識(shí)推理的神經(jīng)符號(hào)框架 HGN。HGN 可以聯(lián)合生成新邊的特征，優(yōu)化圖結(jié)構(gòu)，并學(xué)習(xí)圖網(wǎng)絡(luò)的參數(shù)，實(shí)現(xiàn)動(dòng)態(tài)圖推理。實(shí)驗(yàn)結(jié)果和用戶研究證明了該模型的有效性。

論文鏈接：https://openreview.net/forum?id=lJuOUWlAC8i

Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation

本文通過(guò)理論研究和實(shí)驗(yàn)證明，通過(guò)簡(jiǎn)單的層分配策略（深層編碼器-淺層解碼器）可以大大加快自回歸神經(jīng)機(jī)器翻譯的速度。與強(qiáng)非自回歸模型相比，深-淺自回歸模型以近似的速度實(shí)現(xiàn)了翻譯質(zhì)量的顯著提高。另外，深層編碼器-淺層解碼器的模型可以用于任何序列到序列任務(wù)，包括大規(guī)模預(yù)訓(xùn)練。

論文鏈接：https://openreview.net/forum?id=KpfasTaLUpq

責(zé)任編輯：xj

原文標(biāo)題：【NLP】近期必讀ICLR 2021相關(guān)論文

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。