識(shí)別文本蘊(yùn)涵的任務(wù)，也稱自然語(yǔ)言推理，是指確定一段文本（前提）是否可被另一段文本（假設(shè)）所暗示或否認(rèn)（或兩者都不能）。雖然這一問(wèn)題通常被視為機(jī)器學(xué)習(xí) (ML) 系統(tǒng)推理能力的重要測(cè)試，并且在純文本輸入方面已經(jīng)有過(guò)深入研究，但對(duì)于此類模型在結(jié)構(gòu)化數(shù)據(jù)，如網(wǎng)站、表格、數(shù)據(jù)庫(kù)等方面的應(yīng)用，相關(guān)投入?yún)s要少得多。然而，每當(dāng)需要將表格的內(nèi)容準(zhǔn)確地歸納并呈現(xiàn)給用戶時(shí)，識(shí)別文本蘊(yùn)涵就顯得尤為重要，這對(duì)于高保真的問(wèn)答系統(tǒng)和虛擬助手來(lái)說(shuō)更是必不可少。

在發(fā)表于 Findings of EMNLP 2020 的“通過(guò)中間預(yù)訓(xùn)練以了解表格(Understanding tables with intermediate pre-training)”中，我們介紹了為表格解析定制的首批預(yù)訓(xùn)練任務(wù)，可使模型從更少的數(shù)據(jù)中更好、更快地學(xué)習(xí)。

我們?cè)谳^早的 TAPAS模型基礎(chǔ)上進(jìn)行了改進(jìn)，該模型是 BERT雙向 Transformer 模型的擴(kuò)展，采用特殊嵌入向量在表格中尋找答案。新的預(yù)訓(xùn)練目標(biāo)應(yīng)用于 TAPAS 后即在涉及表格的多個(gè)數(shù)據(jù)集上達(dá)成突破性進(jìn)展。

例如，在 TabFact 上，它將模型和人類之間的表現(xiàn)差距縮小了約 50%。我們還系統(tǒng)地對(duì)選擇相關(guān)輸入的方法進(jìn)行了基準(zhǔn)測(cè)試以獲得更高效率，實(shí)現(xiàn)了速度和內(nèi)存的 4 倍提升，同時(shí)保留了 92% 的結(jié)果。適用于不同任務(wù)和規(guī)模的所有模型均已發(fā)布在 GitHub repo 中，您可以在 Colab Notebook 中試用它們。

文本蘊(yùn)涵

當(dāng)應(yīng)用于表格數(shù)據(jù)時(shí)，相比于純文本，文本蘊(yùn)涵任務(wù)更具挑戰(zhàn)性。以一份 Wikipedia 的表格為例，其中有一些句子來(lái)自其關(guān)聯(lián)的表格內(nèi)容。評(píng)估表格內(nèi)容是包含還是與句子相矛盾，這可能需要查看多個(gè)列和行，還可能需要執(zhí)行簡(jiǎn)單的數(shù)字計(jì)算，例如求平均值、求和、差分等。

表格，以及來(lái)自 TabFact 的一些語(yǔ)句：表格內(nèi)容可用于支持或反駁語(yǔ)句

按照 TAPAS 使用的方法，我們將語(yǔ)句和表格的內(nèi)容一起編碼，通過(guò) Transformer 模型傳遞，得到一個(gè)單一數(shù)字，表示語(yǔ)句被表格蘊(yùn)涵或反駁的概率。

TAPAS 模型架構(gòu)使用 BERT 模型對(duì)語(yǔ)句和展平的表格進(jìn)行編碼，逐行讀取。特殊嵌入向量用于編碼表格結(jié)構(gòu)。第一個(gè)令牌的向量輸出用于預(yù)測(cè)蘊(yùn)涵的概率

由于訓(xùn)練樣本中唯一的信息是一個(gè)二元值（即“正確”或“不正確”），因此訓(xùn)練模型來(lái)理解語(yǔ)句是否被蘊(yùn)涵是具有挑戰(zhàn)性的。這也凸顯了在深度學(xué)習(xí)中泛化的困難，特別是當(dāng)提供的訓(xùn)練信號(hào)較為稀缺的時(shí)候。發(fā)現(xiàn)孤立的蘊(yùn)涵或反駁樣本時(shí)，模型可以輕松地在數(shù)據(jù)中提取虛假模式進(jìn)行預(yù)測(cè)，例如在“Greg Norman and Billy Mayfair tie in rank”中提取“tie”一詞，而不是比較排名，因此無(wú)法超越原始訓(xùn)練數(shù)據(jù)成功應(yīng)用模型。

預(yù)訓(xùn)練任務(wù)

預(yù)訓(xùn)練任務(wù)可通過(guò)提供大量現(xiàn)成的未標(biāo)記數(shù)據(jù)來(lái)“預(yù)熱”模型。然而，預(yù)訓(xùn)練通常主要包括純文本而非表格數(shù)據(jù)。事實(shí)上，TAPAS 最初的預(yù)訓(xùn)練使用的是簡(jiǎn)單的掩碼語(yǔ)言建模目標(biāo)，而這一目標(biāo)并非為表格數(shù)據(jù)應(yīng)用而設(shè)計(jì)。為了提高模型在表格數(shù)據(jù)上的性能，我們引入了兩個(gè)新的預(yù)訓(xùn)練二元分類任務(wù)，稱其為反事實(shí)和合成任務(wù)，可以用作預(yù)訓(xùn)練的第二階段（通常稱為中間預(yù)訓(xùn)練）。

在反事實(shí)任務(wù)中，我們從 Wikipedia 提取句子，該句子提到同時(shí)出現(xiàn)在給定表格中的實(shí)體（人、地點(diǎn)或事物）。然后，在 50% 的時(shí)間里，我們將實(shí)體替換為另一個(gè)替代實(shí)體來(lái)修改語(yǔ)句。為了確保語(yǔ)句的真實(shí)性，我們?cè)诒砀裰型涣械膶?shí)體內(nèi)選擇一個(gè)替換。模型以識(shí)別語(yǔ)句是否被修改為目標(biāo)接受訓(xùn)練。這項(xiàng)預(yù)訓(xùn)練任務(wù)包括數(shù)百萬(wàn)個(gè)這樣的樣本，雖然它們的推理并不復(fù)雜，但通常還是會(huì)聽起來(lái)很自然。

對(duì)于合成任務(wù)，我們采取類似于語(yǔ)義解析的方法，使用一組簡(jiǎn)單的語(yǔ)法規(guī)則生成語(yǔ)句，要求模型理解基本的數(shù)學(xué)運(yùn)算，比如求和與求平均值（例如“the sum of earnings”），或者理解如何使用條件過(guò)濾表格中的元素（例如“the country is Australia”）。雖然這些語(yǔ)句是人為的，但它們?nèi)匀挥兄谔岣吣Ｐ偷臄?shù)字和邏輯推理能力。

兩個(gè)新的預(yù)訓(xùn)練任務(wù)的示例實(shí)例。反事實(shí)示例將輸入表格隨附的句子中提及的實(shí)體換為一個(gè)可信的替代實(shí)體。合成語(yǔ)句使用語(yǔ)法規(guī)則創(chuàng)建新句子，這些句子需要以復(fù)雜的方式組合表格的信息

結(jié)果

我們通過(guò)與基線 TAPAS 模型和先前兩個(gè)文本蘊(yùn)涵領(lǐng)域的成功模型 LogicalFactChecker (LFC) 和 Structure Aware Transformer (SAT) 進(jìn)行比較，評(píng)估了反事實(shí)和合成預(yù)訓(xùn)練目標(biāo)在 TabFact 數(shù)據(jù)集上的成功。基線 TAPAS 模型相對(duì)于 LFC 和 SAT 表現(xiàn)出更好的性能，但預(yù)訓(xùn)練的模型 (TAPAS+CS) 的性能明顯更好，達(dá)到新的技術(shù)水平。

我們還將 TAPAS+CS 應(yīng)用于 SQA 數(shù)據(jù)集上的問(wèn)答任務(wù)，這要求模型在對(duì)話框環(huán)境下從表格內(nèi)容中找到答案。加入 CS 目標(biāo)后，最佳性能相比于之前提高了 4 個(gè)百分點(diǎn)以上，這表明這種方法還可以將性能泛化到文本蘊(yùn)涵之外。

TabFact（左）和 SQA（右）的結(jié)果。使用合成和反事實(shí)數(shù)據(jù)集，我們?cè)谶@兩項(xiàng)任務(wù)中都以較大優(yōu)勢(shì)取得了新的最先進(jìn)結(jié)果

數(shù)據(jù)和計(jì)算效率

反事實(shí)和合成預(yù)訓(xùn)練任務(wù)的另一個(gè)方面是，由于模型已經(jīng)針對(duì)二元分類進(jìn)行了調(diào)整，因此可以應(yīng)用而無(wú)需對(duì) TabFact 進(jìn)行任何微調(diào)。我們探索了只對(duì)數(shù)據(jù)的一個(gè)子集（甚至沒(méi)有數(shù)據(jù)）進(jìn)行訓(xùn)練時(shí)，每個(gè)模型會(huì)發(fā)生什么。不查看單個(gè)樣本時(shí)，TAPAS+CS 模型與強(qiáng)基線 Table-Bert 不相上下，只包含 10% 的數(shù)據(jù)時(shí)，結(jié)果與先前的最先進(jìn)水平相當(dāng)。

TabFact 上的開發(fā)準(zhǔn)確率相對(duì)于所用訓(xùn)練數(shù)據(jù)的分?jǐn)?shù)

試圖使用此類大型模型對(duì)表格進(jìn)行操作時(shí)，一個(gè)普遍的擔(dān)憂是，高計(jì)算要求會(huì)使其難以解析非常大的表格。為了解決這個(gè)問(wèn)題，我們研究了是否可以啟發(fā)式地選擇要通過(guò)模型的輸入子集，以優(yōu)化其計(jì)算效率。

我們對(duì)各種過(guò)濾輸入的方法進(jìn)行了系統(tǒng)性研究，發(fā)現(xiàn)選擇整列和主題語(yǔ)句之間的單詞重疊的簡(jiǎn)單方法可獲得最佳結(jié)果。通過(guò)動(dòng)態(tài)選擇要包括的輸入令牌，我們可以使用更少的資源或以相同的成本處理更大的輸入。這樣做的挑戰(zhàn)是如何保留重要信息和準(zhǔn)確率。

例如，上述模型全部使用 512 個(gè)令牌的序列，接近于 Transformer 模型的正常極限（盡管最近的效率方法，如 Reformer或 Performer被證明可以有效地縮放輸入大?。Ｎ覀?cè)谶@里提出的列選擇方法可以讓訓(xùn)練速度更快，同時(shí)還能在 TabFact 上實(shí)現(xiàn)高準(zhǔn)確率。對(duì)于 256 個(gè)輸入令牌，我們的準(zhǔn)確率下降非常小，但現(xiàn)在可以對(duì)模型進(jìn)行預(yù)訓(xùn)練、微調(diào)，并使預(yù)測(cè)速度提高 2 倍。在 128 個(gè)令牌的情況下，模型仍然優(yōu)于之前的最先進(jìn)模型，速度提升更為顯著，獲得 4 倍全面提升。

通過(guò)我們的列選擇方法縮短輸入，使用不同序列長(zhǎng)度在 TabFact 上得出的準(zhǔn)確率

使用我們提出的列選擇方法和新穎的預(yù)訓(xùn)練任務(wù)，可以創(chuàng)建出以更少數(shù)據(jù)和更少計(jì)算能力得出更好結(jié)果的表格解析模型。

我們已經(jīng)在 GitHub repo 中提供了新的模型和預(yù)訓(xùn)練技術(shù)，您可以在 Colab 中親自嘗試。為了使這種方法更易于使用，我們還共享了不同大小的模型，最小到“Tiny”。我們希望這些結(jié)果有助于在更廣泛的研究社區(qū)中推動(dòng)表格推理的發(fā)展。

這項(xiàng)工作由蘇黎世語(yǔ)言團(tuán)隊(duì)的 Julian Martin Eisenschlos、Syrine Krichene 和 Thomas Müller 完成。

原文標(biāo)題：用于表格數(shù)據(jù)推理的小樣本學(xué)習(xí)

文章出處：【微信公眾號(hào)：TensorFlow】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq