引言

EMNLP2020中，復(fù)旦大學(xué)數(shù)據(jù)智能與社會計算實驗室 (Fudan DISC) 提出了一篇基于事實的問題生成工作，論文題目為：PathQG: Neural Question Generation from Facts，被錄取為長文。

文章摘要

關(guān)于問題生成的當(dāng)前研究通常將輸入文本作為序列直接編碼，而沒有明確建模其中的事實信息，這會導(dǎo)致生成的問題和文本不太相關(guān)或者信息量較少。在這篇論文中，我們考慮結(jié)合文本中的事實以幫助問題生成。我們基于輸入文本的事實信息構(gòu)造了知識圖，并提出了一個新任務(wù)：給定知識圖中的一條query路徑生成問題。任務(wù)可以被分為兩個步驟，（1）對query表示的學(xué)習(xí)；（2）基于query的問題生成。我們首先將query表示學(xué)習(xí)定義為序列標(biāo)記問題，以識別涉及的事實從而學(xué)習(xí)到一個query表示，之后使用基于RNN的生成器進行問題生成。我們以端到端的方式共同訓(xùn)練這兩個模塊，并提出通過變分框架加強這兩個模塊之間的交互。我們基于SQuAD構(gòu)造了實驗數(shù)據(jù)集，實驗結(jié)果表明我們的模型優(yōu)于其他方法，并且當(dāng)目標(biāo)問題復(fù)雜時，性能提升更多。通過人工評估，也驗證了我們生成的問題的確和文本更相關(guān)且信息更豐富。

研究動機

本文關(guān)注基于文本的問題生成任務(wù)（Question Generation from Text）：輸入一段文本，自動生成對應(yīng)的問題。

當(dāng)前端到端的問題生成研究，通常對輸入文本直接編碼并學(xué)習(xí)一個隱表示，而沒有對其中的語義信息進行明確建模，這會使得生成過程有較大不確定性，導(dǎo)致生成的問題包含和給定文本不相關(guān)的信息或者信息量較少，如下圖顯示，生成的問題Q2包含了不相關(guān)的信息“Everton Fc”，而Q1雖然正確但是缺少特定的信息描述，顯得比較簡略。

先對輸入文本中的事實（facts）進行建?？梢詼p輕這些問題，并且針對文本中的多個事實，可以生成較為復(fù)雜（complex）的問題。我們通過對給定文本構(gòu)建知識圖譜（Knowledge Graph，KG）來表示其中的事實，并提出一個新任務(wù)：給定知識圖譜中的一條query path來生成問題，其中query path是一條由多個事實三元組構(gòu)成的序列，每個事實三元組包含兩個實體以及它們的關(guān)系。如上圖（b）顯示了一個KG以及其中的兩條query paths。

由于query path中并非所有事實都會在目標(biāo)問題中被提及，我們首先需要學(xué)習(xí)一個query representation來表示query path中會被提及的事實信息，并基于此生成對應(yīng)的問題，因此任務(wù)可以分成兩個步驟：（1）對query representation的學(xué)習(xí)；（2）基于query的問題生成。我們以端到端的方式共同訓(xùn)練這兩個模塊，并提出通過變分框架加強這兩個模塊之間的交互。

我們使用了數(shù)據(jù)集SQuAD，并且為了驗證模型在復(fù)雜問題生成上的效果，基于SQuAD構(gòu)造了一個復(fù)雜問題數(shù)據(jù)集，并分別進行了實驗。

模型

Path-based Question Generation

給定query path的問題生成任務(wù)包含兩個步驟，我們設(shè)計兩個模塊：Query Representation Learner和Query-based Question Generator分別進行任務(wù)中的兩個步驟。我們首先以端到端的框架PathQG共同訓(xùn)練這兩個模塊，具體結(jié)構(gòu)如下圖顯示。

1. Query Representation Learner

由于query path中的不同的實體和關(guān)系會對生成目標(biāo)問題有不同的貢獻度，我們首先計算它們各自的貢獻權(quán)重，從而學(xué)到一個query representation來表示目標(biāo)問題將涉及的事實信息。

貢獻權(quán)重計算：將query path看作是一條由實體和關(guān)系相間構(gòu)成的序列，并將query path中各個成分的貢獻度計算看作是一個序列標(biāo)記過程。并且對輸入文本進行編碼作為context，通過attention幫助序列標(biāo)記的概率計算，最后將各個位置的sigmoid概率作為各自的貢獻權(quán)重。

Query表示學(xué)習(xí)：得到query path的各個成分的貢獻權(quán)重后，我們以加權(quán)的方式對query path編碼，學(xué)習(xí)到對應(yīng)的query representationL?？紤]到query path由實體和關(guān)系相間構(gòu)成的特殊結(jié)構(gòu)，我們使用循環(huán)跳躍網(wǎng)絡(luò)（recurrent skipping network， RSN）來對路徑序列進行編碼。

2. Query-based Question Generator

基于學(xué)到的query representationL，解碼生成對應(yīng)的問題。將最后的query representation和context表示聯(lián)合作為解碼器的初始狀態(tài)，并分別對他們執(zhí)行注意力機制，逐步生成問題。

Variational Path-based Question Generation

對query representation的學(xué)習(xí)可以看成是對query path的一個推斷過程，參考變分推斷的思想，我們將query representation的學(xué)習(xí)看作是推導(dǎo)query的先驗分布（prior query distribution），而基于query的問題生成是在計算目標(biāo)問題的likelihood，我們又引入了一個額外的后驗query分布（posterior query distribution），通過將目標(biāo)問題作為指導(dǎo)來幫助減少query representation學(xué)習(xí)的不確定性。并且通過訓(xùn)練，使得query的先驗分布不斷靠近后驗分布，最終提升生成的問題質(zhì)量。變分PathQG的結(jié)構(gòu)如下圖。

實驗

我們在SQuAD數(shù)據(jù)集上進行了實驗，對每一條文本，通過場景圖解析器（scene garph parser）和詞性標(biāo)注器（part-of-speech tagger）自動構(gòu)建了知識圖譜，并且根據(jù)參考問題從知識圖譜中抽取出對應(yīng)的query path。為了進一步驗證模型在復(fù)雜問題生成上的效果，我們還根據(jù)query path中事實三元組的個數(shù)從SQuAD中劃分了一個復(fù)雜問題數(shù)據(jù)集。在全數(shù)據(jù)集和復(fù)雜數(shù)據(jù)集上的實驗結(jié)果顯示我們的模型都優(yōu)于其他模型。

除了自動評估，我們還通過Amazon Mechanical Turk (AMT)進行了人工評估，分別從問題的流利度、正確性（和給定文本和答案一致）、信息量對不同模型生成的問題進行了兩兩比較，結(jié)果顯示我們的模型也取得不錯效果。

我們還通過對不同模型生成的問題和給定文本之間的重疊率進行比較，來評估生成問題和給定文本的相關(guān)性。

最后還進行了一些案例分析，可以看出相對模型NQG+，我們生成的問題更加和文本相關(guān)和有信息量。在第一個樣例中，我們生成的問題包含有特定信息“plymouth”和“l(fā)ate 18th”而*NQG+沒有，而在第二個例子中NQG+*生成的問題包含不相關(guān)的“swazi economye”而我們生成的和給定文本更一致。

總結(jié)

這篇文章中，我們通過知識圖譜對文本中的事實建模用于問題生成，并提出一個新任務(wù)：給定知識圖譜中的一條query path，生成對應(yīng)的問題。我們提出先學(xué)習(xí)一個query representation來表示問題中可能涉及的事實，再生成問題，將這兩個模塊聯(lián)合進行訓(xùn)練并提出一個變分模型提升問題的生成。我們通過自動構(gòu)建知識圖譜并抽取出對應(yīng)的query path構(gòu)建了我們的實驗數(shù)據(jù)集，結(jié)果驗證了我們模型的有效性。

責(zé)任編輯：lq