研究動機(jī)

基于知識的對話生成任務(wù)(Knowledge-Grounded Dialogue Generation，KGD)是當(dāng)前對話系統(tǒng)的研究熱點(diǎn)，這個任務(wù)旨在基于對話歷史和外部知識來生成的富含信息量的回復(fù)語句。目前的工作通常使用結(jié)構(gòu)化知識圖(KGs)或非結(jié)構(gòu)化文本作為知識來源。這些外部的知識來源可以緩解傳統(tǒng)生成模型產(chǎn)生的無意義和乏味的回復(fù)，比如“我不知道”和“是的”。

最近的一些工作使得有些學(xué)者認(rèn)識到實體（Entity）之間的相關(guān)性在多輪對話中起著重要的作用，因此他們提出在知識圖譜中挖掘?qū)嶓w之間有價值的結(jié)構(gòu)信息，以預(yù)測下一個回復(fù)中可能出現(xiàn)的實體，并利用預(yù)測的實體進(jìn)一步指導(dǎo)回復(fù)語句的生成。然而，這種方法也存在兩個缺陷：

? 一方面，entity-guided KGD方法將對話中的實體作為唯一的知識去指導(dǎo)模型對上下文的理解和回復(fù)的生成，而忽略了KG中實體之間的關(guān)系（relation）的重要性。然而，人類對話背后的規(guī)律性可以概括為一系列話題的轉(zhuǎn)換，其中每個話題可能對應(yīng)于一個關(guān)系邊，而不是KG中的單個實體。

?另一方面，現(xiàn)有的KGD方法僅利用最后一個對話回合中的知識去預(yù)測后續(xù)回復(fù)中的知識，這種方式并不足以學(xué)習(xí)人類如何在多輪對話中如何轉(zhuǎn)換話題。

下圖是一個知識對話的示例。Dialogue Context(a)展示了一個對話上下文，兩個用戶從萊昂納多的職業(yè)聊到了他的代表作泰坦尼克號，然后討論了泰坦尼克號這部電影的類型和主演陣容，并將最后的焦點(diǎn)實體落在凱特溫斯萊特上。KG(b)展示了在這個對話過程中所有涉及到的實體以及它們在KG中的三元組。由這兩個信息源可以得到兩種貫穿這段對話的語言邏輯：

a. 回合級實體過渡路徑：萊昂納多——>泰坦尼克號——>凱特溫斯萊特

b.對話級關(guān)系轉(zhuǎn)換路徑：職業(yè)——>代表作——>電影類型/主演

由此可見，如果不建模多輪知識，生成的回復(fù)可能是冗余且不連貫的，如Badcase1；如果只關(guān)注回合級的實體過渡路徑，而忽略整個對話中話題的潛在轉(zhuǎn)換路徑時，模型生成的回復(fù)可能非常突兀，無法和對話上下文的語言邏輯順暢地銜接起來，如Badcase2。

PART 02

貢 獻(xiàn)

因此，本文提出了一種新的KGD模型：RT-KGD（Relation Transition aware Knowledge-Grounded Dialogue Generation），該模型通過將對話級的關(guān)系轉(zhuǎn)換規(guī)律與回合級的實體語義信息相結(jié)合，來模擬多輪對話過程中的知識轉(zhuǎn)換。具體來說，作者利用多輪對話上下文中包含的所有關(guān)系和實體，構(gòu)建了MHKT-Path（Multi-turn Heterogeneous Knowledge Transition Path），它可以看作是外部KG的一個子圖，同時又結(jié)合了多輪對話中關(guān)系和實體出現(xiàn)的順序信息?；谒鶚?gòu)建的MHKT-Path，作者設(shè)計了一個知識預(yù)測模塊，從外部KG中檢索三元組作為后續(xù)回復(fù)中可能出現(xiàn)的知識，最后融合對話上下文和預(yù)測的三元組以生成回復(fù)語句。本文的主要貢獻(xiàn)有以下三點(diǎn)：

? 本文是第一個將跨多輪對話中的關(guān)系轉(zhuǎn)換引入KGD任務(wù)的工作，通過整合關(guān)系轉(zhuǎn)換路徑和實體語義信息來學(xué)習(xí)人類對話背后的規(guī)律性。

? RT-KGD為每個對話都構(gòu)建一個多輪異構(gòu)知識轉(zhuǎn)換路徑（MHKT-Path），它將外部KG的結(jié)構(gòu)信息和知識的順序信息結(jié)合起來?；贛HKT-Path，模型可以從KG中檢索適當(dāng)?shù)闹R，以指導(dǎo)下一個回復(fù)的生成。

? 在多領(lǐng)域知識驅(qū)動的對話數(shù)據(jù)集KdConv上的實驗結(jié)果表明，RT-KGD在自動評估和人工評估方面都優(yōu)于基線模型。

PART 03

模 型

1.任務(wù)定義

給定一個對話上下文C={u1,...,un-1}、其中每一條語句ui都對應(yīng)一個三元組集合Ki和一個非結(jié)構(gòu)化文本集合Si。模型的目標(biāo)是利用對話上下文、結(jié)構(gòu)化三元組和非結(jié)構(gòu)化文本生成一句合適的回復(fù)語句un。

2.Multi-turn Heterogeneous Knowledge Transition Path（MHKT-Path）

作者為每個對話上下文都構(gòu)建了一個多輪異構(gòu)知識轉(zhuǎn)移路徑圖，來將對話級的關(guān)系轉(zhuǎn)換規(guī)律與回合級的實體語義信息結(jié)合起來。

MHKT-Path有兩類節(jié)點(diǎn)：

? 三元組節(jié)點(diǎn) ? 關(guān)系節(jié)點(diǎn)（關(guān)系節(jié)點(diǎn)是從對應(yīng)三元組中抽取得到的） MHKT-Path 有四種邊： ? 連接三元組節(jié)點(diǎn)到三元組節(jié)點(diǎn)的邊（邊的方向按照三元組在對話上下文中出現(xiàn)的順序決定） ?連接關(guān)系節(jié)點(diǎn)到關(guān)系節(jié)點(diǎn)的邊（邊的方向按照關(guān)系在對話上下文中出現(xiàn)的順序決定，即與它們對應(yīng)的三元組之間的邊的方向相同） ?連接三元組節(jié)點(diǎn)到關(guān)系節(jié)點(diǎn)的邊 ?連接關(guān)系節(jié)點(diǎn)到三元組節(jié)點(diǎn)的邊

這樣，兩種粒度的知識信息就得到了充分交互和融合，共同促進(jìn)模型對上下文知識和對話邏輯順序的理解。

3. Knowledge Encoder

Knowledge Encoder用知識圖譜表示學(xué)習(xí)模型和異構(gòu)圖神經(jīng)網(wǎng)絡(luò)將MHKT-Path中的節(jié)點(diǎn)轉(zhuǎn)化為向量表示。

1. 初始化MHKT-Path中的所有節(jié)點(diǎn)。作者利用TransR得到KG中所有元素（實體和關(guān)系）的表示，這些表示融合了KG中的全局信息。因此，MHKT-Path中的節(jié)點(diǎn)表示就可以用這些元素的表示計算得到：對于關(guān)系節(jié)點(diǎn)，其向量表示就是該關(guān)系在KG中的表示；對于三元組節(jié)點(diǎn)，其向量表示由該三元組包含的頭尾實體和關(guān)系的向量拼接而成。

2. HGT（Heterogeneous Graph Transformer）可利用MHKT-Path中的局部結(jié)構(gòu)信息來更新節(jié)點(diǎn)的表示。

最后，結(jié)合上兩步的結(jié)果得到節(jié)點(diǎn)的最終表示。

4. Knowledge Predictor

Knowledge Predictor用來預(yù)測下一句回復(fù)中可能出現(xiàn)的知識，此模塊分為三部分：

1. 由于知識編碼器只聚合局部鄰域信息，作者進(jìn)一步采用Bi-GRU來分別豐富關(guān)系節(jié)點(diǎn)和三元組節(jié)點(diǎn)的時序特征。具體來說，將此時間步中出現(xiàn)的所有關(guān)系節(jié)點(diǎn)和三元組節(jié)點(diǎn)的平均向量分別作為Bi-GRU的輸入。

2.基于前面的n-1輪（即n-1個時間步）的關(guān)系表示，通過Bi-GRU預(yù)測第n輪（t=n）的關(guān)系節(jié)點(diǎn)的表示：

與關(guān)系節(jié)點(diǎn)不同，作者先用Bi-GRU得到前n-1輪每輪三元組節(jié)點(diǎn)的表示：

然后利用多頭注意力機(jī)制將對話級的第n輪關(guān)系節(jié)點(diǎn)的表示和回合級的前n-1輪三元組節(jié)點(diǎn)的表示結(jié)合起來，共同預(yù)測第n輪三元組節(jié)點(diǎn)的表示：

3. 因為一輪語句中可能包含多個知識，所以作者用多標(biāo)簽分類將得到的第n輪的三元組向量映射到一個標(biāo)簽向量上，其長度為KG中所有的三元組數(shù)量，并用二元交叉熵(BCE)損失函數(shù)來監(jiān)督分類的效果。

5. Knowledge-Enhanced Encoder-Decoder

在Knowledge-Enhanced Encoder-Decoder中，BART用來給上下文語句和其中對應(yīng)的非結(jié)構(gòu)化描述文本S分別進(jìn)行編碼，Si代表第i輪語句中對應(yīng)的非結(jié)構(gòu)化描述文本。

在解碼階段，作者將上述步驟中得到的前n-1輪對話上下文C的表示、前n-1輪非結(jié)構(gòu)化描述文本S的表示、和預(yù)測的第n輪三元組的表示拼接后輸入BART的解碼器中，生成第n輪富含信息量的回復(fù)語句：

模型最終的loss為知識分類標(biāo)簽的BCE損失函數(shù)和解碼語句的交叉熵?fù)p失函數(shù)的加權(quán)和：

PART 04

實 驗

為了驗證提出的模型，在數(shù)據(jù)集的選擇時應(yīng)該滿足兩個要求：（1）每輪語句都用相關(guān)的知識三元組進(jìn)行標(biāo)注；（2）在每個對話段中包含足夠多輪次的語句。因此，KdConv是最佳的實驗數(shù)據(jù)集。從實驗結(jié)果來看，RT-KGD生成了更高質(zhì)量的回復(fù)，利用了更合適的知識，并更接近人類的表達(dá)方式。

?自動評估指標(biāo)

? 人工評估指標(biāo)