引言

EMNLP2020中，復(fù)旦大學(xué)數(shù)據(jù)智能與社會(huì)計(jì)算實(shí)驗(yàn)室 (Fudan DISC) 提出了一篇基于事實(shí)的問題生成工作，論文題目為：PathQG: Neural Question Generation from Facts，被錄取為長文。

文章摘要

關(guān)于問題生成的當(dāng)前研究通常將輸入文本作為序列直接編碼，而沒有明確建模其中的事實(shí)信息，這會(huì)導(dǎo)致生成的問題和文本不太相關(guān)或者信息量較少。在這篇論文中，我們考慮結(jié)合文本中的事實(shí)以幫助問題生成。我們基于輸入文本的事實(shí)信息構(gòu)造了知識(shí)圖，并提出了一個(gè)新任務(wù)：給定知識(shí)圖中的一條query路徑生成問題。任務(wù)可以被分為兩個(gè)步驟，（1）對(duì)query表示的學(xué)習(xí)；（2）基于query的問題生成。我們首先將query表示學(xué)習(xí)定義為序列標(biāo)記問題，以識(shí)別涉及的事實(shí)從而學(xué)習(xí)到一個(gè)query表示，之后使用基于RNN的生成器進(jìn)行問題生成。我們以端到端的方式共同訓(xùn)練這兩個(gè)模塊，并提出通過變分框架加強(qiáng)這兩個(gè)模塊之間的交互。我們基于SQuAD構(gòu)造了實(shí)驗(yàn)數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果表明我們的模型優(yōu)于其他方法，并且當(dāng)目標(biāo)問題復(fù)雜時(shí)，性能提升更多。通過人工評(píng)估，也驗(yàn)證了我們生成的問題的確和文本更相關(guān)且信息更豐富。

研究動(dòng)機(jī)

本文關(guān)注基于文本的問題生成任務(wù)（Question Generation from Text）：輸入一段文本，自動(dòng)生成對(duì)應(yīng)的問題。

當(dāng)前端到端的問題生成研究，通常對(duì)輸入文本直接編碼并學(xué)習(xí)一個(gè)隱表示，而沒有對(duì)其中的語義信息進(jìn)行明確建模，這會(huì)使得生成過程有較大不確定性，導(dǎo)致生成的問題包含和給定文本不相關(guān)的信息或者信息量較少，如下圖顯示，生成的問題Q2包含了不相關(guān)的信息“Everton Fc”，而Q1雖然正確但是缺少特定的信息描述，顯得比較簡略。

先對(duì)輸入文本中的事實(shí)（facts）進(jìn)行建?？梢詼p輕這些問題，并且針對(duì)文本中的多個(gè)事實(shí)，可以生成較為復(fù)雜（complex）的問題。我們通過對(duì)給定文本構(gòu)建知識(shí)圖譜（Knowledge Graph，KG）來表示其中的事實(shí)，并提出一個(gè)新任務(wù)：給定知識(shí)圖譜中的一條query path來生成問題，其中query path是一條由多個(gè)事實(shí)三元組構(gòu)成的序列，每個(gè)事實(shí)三元組包含兩個(gè)實(shí)體以及它們的關(guān)系。如上圖（b）顯示了一個(gè)KG以及其中的兩條query paths。

由于query path中并非所有事實(shí)都會(huì)在目標(biāo)問題中被提及，我們首先需要學(xué)習(xí)一個(gè)query representation來表示query path中會(huì)被提及的事實(shí)信息，并基于此生成對(duì)應(yīng)的問題，因此任務(wù)可以分成兩個(gè)步驟：（1）對(duì)query representation的學(xué)習(xí)；（2）基于query的問題生成。我們以端到端的方式共同訓(xùn)練這兩個(gè)模塊，并提出通過變分框架加強(qiáng)這兩個(gè)模塊之間的交互。

我們使用了數(shù)據(jù)集SQuAD，并且為了驗(yàn)證模型在復(fù)雜問題生成上的效果，基于SQuAD構(gòu)造了一個(gè)復(fù)雜問題數(shù)據(jù)集，并分別進(jìn)行了實(shí)驗(yàn)。

模型

Path-based Question Generation

給定query path的問題生成任務(wù)包含兩個(gè)步驟，我們?cè)O(shè)計(jì)兩個(gè)模塊：Query Representation Learner和Query-based Question Generator分別進(jìn)行任務(wù)中的兩個(gè)步驟。我們首先以端到端的框架PathQG共同訓(xùn)練這兩個(gè)模塊，具體結(jié)構(gòu)如下圖顯示。

1. Query Representation Learner

由于query path中的不同的實(shí)體和關(guān)系會(huì)對(duì)生成目標(biāo)問題有不同的貢獻(xiàn)度，我們首先計(jì)算它們各自的貢獻(xiàn)權(quán)重，從而學(xué)到一個(gè)query representation來表示目標(biāo)問題將涉及的事實(shí)信息。

貢獻(xiàn)權(quán)重計(jì)算：將query path看作是一條由實(shí)體和關(guān)系相間構(gòu)成的序列，并將query path中各個(gè)成分的貢獻(xiàn)度計(jì)算看作是一個(gè)序列標(biāo)記過程。并且對(duì)輸入文本進(jìn)行編碼作為context，通過attention幫助序列標(biāo)記的概率計(jì)算，最后將各個(gè)位置的sigmoid概率作為各自的貢獻(xiàn)權(quán)重。

Query表示學(xué)習(xí)：得到query path的各個(gè)成分的貢獻(xiàn)權(quán)重后，我們以加權(quán)的方式對(duì)query path編碼，學(xué)習(xí)到對(duì)應(yīng)的query representationL?？紤]到query path由實(shí)體和關(guān)系相間構(gòu)成的特殊結(jié)構(gòu)，我們使用循環(huán)跳躍網(wǎng)絡(luò)（recurrent skipping network， RSN）來對(duì)路徑序列進(jìn)行編碼。

2. Query-based Question Generator

基于學(xué)到的query representationL，解碼生成對(duì)應(yīng)的問題。將最后的query representation和context表示聯(lián)合作為解碼器的初始狀態(tài)，并分別對(duì)他們執(zhí)行注意力機(jī)制，逐步生成問題。

Variational Path-based Question Generation

對(duì)query representation的學(xué)習(xí)可以看成是對(duì)query path的一個(gè)推斷過程，參考變分推斷的思想，我們將query representation的學(xué)習(xí)看作是推導(dǎo)query的先驗(yàn)分布（prior query distribution），而基于query的問題生成是在計(jì)算目標(biāo)問題的likelihood，我們又引入了一個(gè)額外的后驗(yàn)query分布（posterior query distribution），通過將目標(biāo)問題作為指導(dǎo)來幫助減少query representation學(xué)習(xí)的不確定性。并且通過訓(xùn)練，使得query的先驗(yàn)分布不斷靠近后驗(yàn)分布，最終提升生成的問題質(zhì)量。變分PathQG的結(jié)構(gòu)如下圖。

實(shí)驗(yàn)

我們?cè)赟QuAD數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，對(duì)每一條文本，通過場景圖解析器（scene garph parser）和詞性標(biāo)注器（part-of-speech tagger）自動(dòng)構(gòu)建了知識(shí)圖譜，并且根據(jù)參考問題從知識(shí)圖譜中抽取出對(duì)應(yīng)的query path。為了進(jìn)一步驗(yàn)證模型在復(fù)雜問題生成上的效果，我們還根據(jù)query path中事實(shí)三元組的個(gè)數(shù)從SQuAD中劃分了一個(gè)復(fù)雜問題數(shù)據(jù)集。在全數(shù)據(jù)集和復(fù)雜數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示我們的模型都優(yōu)于其他模型。

除了自動(dòng)評(píng)估，我們還通過Amazon Mechanical Turk (AMT)進(jìn)行了人工評(píng)估，分別從問題的流利度、正確性（和給定文本和答案一致）、信息量對(duì)不同模型生成的問題進(jìn)行了兩兩比較，結(jié)果顯示我們的模型也取得不錯(cuò)效果。

我們還通過對(duì)不同模型生成的問題和給定文本之間的重疊率進(jìn)行比較，來評(píng)估生成問題和給定文本的相關(guān)性。

最后還進(jìn)行了一些案例分析，可以看出相對(duì)模型NQG+，我們生成的問題更加和文本相關(guān)和有信息量。在第一個(gè)樣例中，我們生成的問題包含有特定信息“plymouth”和“l(fā)ate 18th”而*NQG+沒有，而在第二個(gè)例子中NQG+*生成的問題包含不相關(guān)的“swazi economye”而我們生成的和給定文本更一致。

總結(jié)

這篇文章中，我們通過知識(shí)圖譜對(duì)文本中的事實(shí)建模用于問題生成，并提出一個(gè)新任務(wù)：給定知識(shí)圖譜中的一條query path，生成對(duì)應(yīng)的問題。我們提出先學(xué)習(xí)一個(gè)query representation來表示問題中可能涉及的事實(shí)，再生成問題，將這兩個(gè)模塊聯(lián)合進(jìn)行訓(xùn)練并提出一個(gè)變分模型提升問題的生成。我們通過自動(dòng)構(gòu)建知識(shí)圖譜并抽取出對(duì)應(yīng)的query path構(gòu)建了我們的實(shí)驗(yàn)數(shù)據(jù)集，結(jié)果驗(yàn)證了我們模型的有效性。

責(zé)任編輯：lq