作者: Xnhyacinth

在自然語言處理（NLP）領(lǐng)域，如何有效地進(jìn)行無監(jiān)督域自適應(yīng)(Unsupervised Domain Adaptation, UDA) 一直是研究的熱點和挑戰(zhàn)。無監(jiān)督域自適應(yīng)的目標(biāo)是在目標(biāo)域無標(biāo)簽的情況下，將源域的知識遷移到目標(biāo)域，以提高模型在新領(lǐng)域的泛化能力。近年來，隨著大規(guī)模預(yù)訓(xùn)練語言模型的出現(xiàn)，情境學(xué)習(xí)（In-Context Learning） 作為一種新興的學(xué)習(xí)方法，已經(jīng)在各種NLP任務(wù)中取得了顯著的成果。

?

然而，在實際應(yīng)用場景中，我們經(jīng)常面臨一個問題：源領(lǐng)域的演示數(shù)據(jù)并不總是一目了然。這就導(dǎo)致了需要進(jìn)行跨領(lǐng)域的上下文學(xué)習(xí)的問題。此外，LLMs在未知和陌生領(lǐng)域中仍然面臨著一些挑戰(zhàn)，尤其是在長尾知識方面。同時在無監(jiān)督域自適應(yīng)任務(wù)中，如何充分利用情境學(xué)習(xí)的優(yōu)勢進(jìn)行知識遷移仍然是一個開放性問題。

本文旨在探討如何在無監(jiān)督域自適應(yīng)場景下，通過檢索增強(qiáng)的情境學(xué)習(xí)（Retrieval-Augmented In-Context Learning） 實現(xiàn)知識遷移。具體來說，作者提出了一種名為Domain Adaptive In-Context Learning (DAICL) 的框架，該框架通過檢索目標(biāo)域的相似示例作為上下文，幫助模型學(xué)習(xí)目標(biāo)域的分布和任務(wù)特征。全面研究了上下文學(xué)習(xí)對于領(lǐng)域轉(zhuǎn)移問題的有效性，并展示了與基線模型相比取得的顯著改進(jìn)。

接下來就讓我們一起看看作者是如何實現(xiàn)檢索增強(qiáng)情境學(xué)習(xí)的知識遷移！

論文: Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning
地址: https://arxiv.org/pdf/2311.11551.pdf

前言

在自然語言處理領(lǐng)域，大型語言模型（LLMs）通過其強(qiáng)大的能力在各種任務(wù)上取得了顯著的成功。然而，當(dāng)面臨跨領(lǐng)域的情景時，LLMs仍面臨著挑戰(zhàn)，由于目標(biāo)域標(biāo)簽不可用，在實際場景中通常缺乏域內(nèi)演示。從其他領(lǐng)域獲取帶標(biāo)簽的示例可能會遭受巨大的句法和語義領(lǐng)域變化。此外，LLMs很容易產(chǎn)生不可預(yù)測的輸出, 而且LLMs在未知和陌生領(lǐng)域的長尾知識上仍然存在局限性。因此亟需有效的適應(yīng)策略，將語言模型的知識從標(biāo)記的源域轉(zhuǎn)移到未標(biāo)記的目標(biāo)域，稱為無監(jiān)督域適應(yīng)（UDA）。UDA 旨在調(diào)整模型，從標(biāo)記的源樣本和未標(biāo)記的目標(biāo)樣本中學(xué)習(xí)與領(lǐng)域無關(guān)的特征。

為了解決這些問題，本文提出了一種基于上下文學(xué)習(xí)的無監(jiān)督領(lǐng)域適應(yīng)（Unsupervised Domain Adaptation, UDA）方法，旨在將LLMs從源領(lǐng)域成功適應(yīng)到目標(biāo)領(lǐng)域，無需任何目標(biāo)標(biāo)簽。從目標(biāo)未標(biāo)記語料庫中檢索類似的示例作為源查詢的上下文，并通過連接源查詢和目標(biāo)上下文作為輸入提示來執(zhí)行自適應(yīng)上下文學(xué)習(xí)。如上圖所示，對于來自源域的每個輸入，將其上下文與從目標(biāo)未標(biāo)記域檢索到的語義相似的文本組合起來，以豐富語義并減少表面形式的域差異。然后，模型將學(xué)習(xí)源輸入和目標(biāo)上下文的任務(wù)區(qū)分。

方法

該研究提出了一種名為Domain Adaptive In-Context Learning (DAICL)的框架，通過檢索目標(biāo)域的相似示例作為上下文，幫助模型學(xué)習(xí)目標(biāo)域的分布和任務(wù)特征，使LLMs同時學(xué)習(xí)目標(biāo)領(lǐng)域分布和判別性任務(wù)信號。具體來說，對于給定的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)，首先使用檢索模型（如SimCSE）在目標(biāo)域中檢索與源域數(shù)據(jù)相似的示例。然后，將檢索到的示例作為上下文，與源域數(shù)據(jù)一起作為輸入，進(jìn)行情境學(xué)習(xí)。通過這種方式，模型可以在目標(biāo)域的上下文中學(xué)習(xí)任務(wù)特征，同時適應(yīng)目標(biāo)域的數(shù)據(jù)分布。主要分為以下幾個部分：

檢索目標(biāo)域相似示例：首先，在目標(biāo)域中檢索與源域數(shù)據(jù)相似的示例。這一步的目的是找到能夠代表目標(biāo)域特征的示例，以便模型能夠在目標(biāo)域的上下文中學(xué)習(xí)任務(wù)特征。檢索方法可以采用現(xiàn)有的密集檢索模型，如SimCSE。

構(gòu)建上下文：將檢索到的目標(biāo)域相似示例與源域數(shù)據(jù)一起作為輸入，形成上下文。這樣，模型可以在目標(biāo)域的上下文中學(xué)習(xí)任務(wù)特征，同時適應(yīng)目標(biāo)域的數(shù)據(jù)分布。

情境學(xué)習(xí)：在構(gòu)建的上下文上進(jìn)行情境學(xué)習(xí)。這里采用了兩種任務(wù)損失函數(shù)：（1）上下文任務(wù)損失，用于學(xué)習(xí)任務(wù)特征，預(yù)測標(biāo)簽值y；（2）上下文語言建模損失，用于學(xué)習(xí)目標(biāo)域的分布。通過優(yōu)化這兩個損失函數(shù)，模型可以在目標(biāo)域中實現(xiàn)知識遷移。

模型訓(xùn)練：根據(jù)所使用的模型架構(gòu)（如編碼器，解碼器模型），設(shè)計相應(yīng)的prompting策略和訓(xùn)練策略。對于編碼器模型，可以采用提示詞（prompt）策略，將源域數(shù)據(jù)和檢索到的目標(biāo)域示例拼接在一起作為輸入；對于解碼器模型，可以直接將檢索到的目標(biāo)域示例作為輸入，進(jìn)行自回歸學(xué)習(xí)。

模型評估：在目標(biāo)域的測試數(shù)據(jù)上評估模型性能。通過比較不同方法在命名實體識別（NER）和情感分析（SA）等任務(wù)上的結(jié)果，驗證DAICL框架的有效性。

如上圖所示， 顯示了 NER 任務(wù)上僅編碼器模型的訓(xùn)練過程概述，MLM 目標(biāo)會鼓勵編碼器學(xué)習(xí)與源域無法區(qū)分的目標(biāo)分布。對于任務(wù)學(xué)習(xí)目標(biāo)，在源輸入上使用平均匯聚（average pooling） 作為情感分析任務(wù)的預(yù)測機(jī)制，而在語言模型特征之上使用附加的條件隨機(jī)場（CRF）層進(jìn)行命名實體識別任務(wù)的標(biāo)記級別分類。

對于僅解碼器架構(gòu)，包括僅推理和微調(diào)兩種范式，下圖圖為帶有推理提示的示例，在給定目標(biāo)測試查詢的情況下從源標(biāo)記數(shù)據(jù)集中搜索輸入標(biāo)簽對。虛線框包含從源檢索的演示。

對于微調(diào)設(shè)置下，利用lora用更少的計算資源微調(diào)更大的 LM，微調(diào)數(shù)據(jù)示例形式為，如下所示：

實驗設(shè)置

為了評估DAICL方法的有效性，該研究在命名實體識別（NER）和情感分析（SA）任務(wù)上進(jìn)行了廣泛的實驗。實驗采用了多種源域和目標(biāo)域的組合，涵蓋了新聞、社交媒體、金融和生物醫(yī)學(xué)等領(lǐng)域。CoNLL-03（英語新聞）作為源域數(shù)據(jù)集，目標(biāo)域數(shù)據(jù)集包括：金融（FIN）、社交媒體（WNUT-16、WNUT-17）、生物醫(yī)學(xué)（BC2GM、BioNLP09、BC5CDR）對于情感分析（SA）任務(wù)，使用了亞馬遜評論數(shù)據(jù)集，涵蓋了四個領(lǐng)域：書籍（BK）、電子產(chǎn)品（E）、美容（BT）和音樂（M）。

本文對比了多種基線方法，包括無監(jiān)督域自適應(yīng)的傳統(tǒng)方法（如Pseudo-labeling和對抗訓(xùn)練）、基于檢索的LM方法（如REALM和RAG）和情境學(xué)習(xí)方法（如In-context learning）。在實驗中，將不同的LLMs架構(gòu)與提出的In-Context Learning方法進(jìn)行對比，并評估其在領(lǐng)域適應(yīng)中的性能。對于評估指標(biāo)，NER任務(wù)使用了F1分?jǐn)?shù)，SA任務(wù)使用了準(zhǔn)確率acc。

結(jié)果分析

?

由以上兩個任務(wù)的性能對比表可知，DAICL 同時學(xué)習(xí)兩個目標(biāo)，在大多數(shù)適應(yīng)場景中都大大超過了基線。從 ICL-sup 的結(jié)果來看，我們發(fā)現(xiàn)僅使用任務(wù)目標(biāo)進(jìn)行訓(xùn)練對 UDA 略有幫助。正如前面所討論的，好處源于利用目標(biāo)上下文的任務(wù)判別能力。通過將 DAICL 與 ICL-sup 和 ICL-source 進(jìn)行比較，可以發(fā)現(xiàn)所提出的上下文適應(yīng)策略通過同時聯(lián)合學(xué)習(xí)任務(wù)信號和語言建模來增強(qiáng)領(lǐng)域適應(yīng)。

微調(diào)有益于UDA，在 NER 實驗中，ChatGPT 的性能非常低，但微調(diào)更小的 RoBERTa 模型可以在大多數(shù)適應(yīng)場景中實現(xiàn)最先進(jìn)的分?jǐn)?shù)。在 SA 實驗中，使用更少的可訓(xùn)練參數(shù) (1.7M) 微調(diào) LLaMA 優(yōu)于所有其他方法。因此，我們假設(shè)雖然法學(xué)碩士具有很強(qiáng)的泛化能力，但他們不能解決所有領(lǐng)域的問題。對于UDA來說，設(shè)計一個有效的適配策略還是有好處的。

最后作者也對比了自適應(yīng)ICL和自適應(yīng)預(yù)訓(xùn)練，自適應(yīng) ICL 在執(zhí)行任務(wù)預(yù)測時將源輸入與目標(biāo)上下文混合，而自適應(yīng)預(yù)訓(xùn)練只需要源輸入；自適應(yīng)ICL同時學(xué)習(xí)兩個損失。為了比較這兩種方法，在 LLaMA-LoRA 上進(jìn)行了實驗以執(zhí)行自適應(yīng)預(yù)訓(xùn)練。在第一階段，使用目標(biāo)未標(biāo)記文本預(yù)訓(xùn)練 LoRA 權(quán)重。第二階段，從上一階段獲得的LoRA檢查點開始，通過任務(wù)監(jiān)督繼續(xù)對其進(jìn)行微調(diào)。使用相同的羊Alpaca模板，但不提供說明性上下文。結(jié)果見上表，可以觀察到，與 NoICL 相比，預(yù)訓(xùn)練對 SA 任務(wù)帶來的收益很小，可以推測 SA 數(shù)據(jù)集中的域差距比 NER 數(shù)據(jù)集中的域差距更小。從而得出結(jié)論所提出的自適應(yīng) ICL 策略優(yōu)于自適應(yīng)預(yù)訓(xùn)練，這可能歸因于自適應(yīng) ICL 下的僅解碼器模型可以學(xué)習(xí)具有示范上下文的兩個目標(biāo)。

總結(jié)

本文提出了一種名為Domain Adaptive In-Context Learning (DAICL)的框架，用于實現(xiàn)無監(jiān)督域自適應(yīng)（UDA）。該框架通過檢索目標(biāo)域的相似示例作為上下文，結(jié)合任務(wù)損失和領(lǐng)域適應(yīng)損失進(jìn)行情境學(xué)習(xí)，以實現(xiàn)知識遷移。實驗采用了多個源域和目標(biāo)域的數(shù)據(jù)集，包括命名實體識別（NER）和情感分析（SA）任務(wù)。與多種基線方法相比，DAICL在多種跨域場景下均取得了顯著的性能提升，證明了其有效性。

盡管本文的方法在領(lǐng)域自適應(yīng)上取得了令人滿意的結(jié)果，但仍有一些可以進(jìn)一步探索和改進(jìn)的方向。首先，可以進(jìn)一步研究不同的上下文學(xué)習(xí)策略，以進(jìn)一步提高語言模型的領(lǐng)域適應(yīng)能力。其次，可以考慮在不同任務(wù)和領(lǐng)域之間進(jìn)行聯(lián)合訓(xùn)練，以進(jìn)一步提升模型的泛化性能。此外，還可以探索如何將上下文學(xué)習(xí)與其他領(lǐng)域自適應(yīng)技術(shù)（如對抗訓(xùn)練）相結(jié)合，以進(jìn)一步改進(jìn)模型的適應(yīng)性和抗干擾能力；可以考慮將多個任務(wù)同時進(jìn)行無監(jiān)督域自適應(yīng)，以提高模型的泛化能力和適應(yīng)性。通過在這些方向進(jìn)行探索和改進(jìn)，未來研究有望進(jìn)一步提高無監(jiān)督域自適應(yīng)方法的性能，為實際應(yīng)用提供更有效的解決方案。

審核編輯：黃飛

?