??2022年7月25日，由科大訊飛承建的我國(guó)首個(gè)認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室榮登科學(xué)常識(shí)推理挑戰(zhàn)賽OpenBookQA榜首，創(chuàng)新性提出X-Reasoner模型，以準(zhǔn)確率94.2%的絕對(duì)優(yōu)勢(shì)奪冠，常識(shí)推理單模型首超人類(lèi)平均水平。

OpenBookQA是由艾倫人工智能研究所（AI2）推出的科學(xué)常識(shí)推理閱讀理解數(shù)據(jù)集，旨在評(píng)估機(jī)器對(duì)常識(shí)的理解和應(yīng)用能力。該評(píng)測(cè)吸引了眾多研究機(jī)構(gòu)和知名高校的關(guān)注，例如南京大學(xué)、香港中文大學(xué)、MSRA、斯坦福大學(xué)、谷歌、阿里巴巴等?？拼笥嶏w此次參賽，創(chuàng)新性提出X-Reasoner模型，以準(zhǔn)確率94.2%的顯著優(yōu)勢(shì)大幅刷新榜單最好成績(jī)，領(lǐng)先榜單最優(yōu)單模型4.4%， 成為全球首個(gè)超越人類(lèi)平均水平（91.7%）的單模型。?

OpenBookQA評(píng)測(cè)榜單 ?

?

新挑戰(zhàn)

機(jī)器不僅需要正確理解問(wèn)題

還要能夠進(jìn)行推理

OpenBookQA數(shù)據(jù)集中的每一個(gè)題目都由問(wèn)題和四個(gè)選項(xiàng)構(gòu)成，需要機(jī)器從選項(xiàng)中找出正確答案。該任務(wù)的難點(diǎn)在于，為了正確作出回答，機(jī)器不僅需要能夠正確理解問(wèn)題和選項(xiàng)的表面語(yǔ)義，還需要結(jié)合外部常識(shí)知識(shí)進(jìn)行推理，這對(duì)AI系統(tǒng)的閱讀理解能力提出了新的挑戰(zhàn)。

例如在下面的例子中，若要正確回答問(wèn)題，需要了解“星球旋轉(zhuǎn)會(huì)導(dǎo)致晝夜交替”這一科學(xué)常識(shí)，同時(shí)也需知道“地球自轉(zhuǎn)”與其他選項(xiàng)相關(guān)的科學(xué)常識(shí)沒(méi)有關(guān)系。

OpenBookQA問(wèn)題示例

?

科大訊飛提出X-Reasoner系統(tǒng)

從知識(shí)檢索和閱讀理解兩個(gè)角度破解難題

面對(duì)此類(lèi)問(wèn)題，即使對(duì)于人類(lèi)也需要掌握一定的外部知識(shí)后才能正確作答。那么機(jī)器是如何回答此類(lèi)需要常識(shí)推理的問(wèn)題呢？

本次由科大訊飛承建的認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室與哈工大聯(lián)合團(tuán)隊(duì)提出的X-Reasoner系統(tǒng)分別從知識(shí)檢索和閱讀理解兩個(gè)角度解決科學(xué)常識(shí)推理問(wèn)題，知識(shí)檢索模塊負(fù)責(zé)依據(jù)問(wèn)題和選項(xiàng)從科學(xué)知識(shí)庫(kù)中找到最相關(guān)的知識(shí)；閱讀理解模塊結(jié)合檢索出的知識(shí)、問(wèn)題和選項(xiàng)進(jìn)行推理，給出最終答案。依托以上技術(shù)，X-Reasoner不僅在性能上大幅刷新榜單最好成績(jī)，同時(shí)還成為了首個(gè)超過(guò)人類(lèi)平均水平的單模型。

X-Reasoner模型框架

更準(zhǔn)確的知識(shí)：復(fù)合交互式檢索

只有檢索出了準(zhǔn)確的問(wèn)題相關(guān)知識(shí)，才能根據(jù)相關(guān)知識(shí)做出有效推理。因此知識(shí)檢索作為系統(tǒng)的第一步，其準(zhǔn)確性至關(guān)重要。X-Reasoner中提出了一種基于SentenceBERT和RocketQA兩種檢索模型的復(fù)合交互式檢索方案。通過(guò)重打分、重排序等手段，對(duì)兩種模型在同一問(wèn)題選項(xiàng)上的檢索結(jié)果進(jìn)行重要性的重新估計(jì)，綜合挑選出最重要的10條知識(shí)作為檢索結(jié)果送入閱讀理解模塊。

更豐富的表示：基于知識(shí)的信息增強(qiáng)

在獲得精確的相關(guān)知識(shí)后，下一步將根據(jù)知識(shí)進(jìn)行推理。X-Reasoner采用了聯(lián)合知識(shí)和問(wèn)題的方式，讓模型進(jìn)行隱式推理，給出一個(gè)答案相關(guān)的信息增強(qiáng)表示。該表示隱含了利用相關(guān)知識(shí)和問(wèn)題所能推理得到的信息，與選項(xiàng)交互表示一起送入閱讀理解模型進(jìn)行計(jì)算。

更智能的理解：多選項(xiàng)對(duì)比交互

人類(lèi)在回答選擇題的過(guò)程中，如果對(duì)所選答案不確定，通常會(huì)采取對(duì)比不同選項(xiàng)的策略。例如，排除掉最不可能是答案的三個(gè)選項(xiàng)，那么唯一剩下的選項(xiàng)就是正確答案。X-Reasoner的一個(gè)特點(diǎn)便是模仿了人類(lèi)的這種答題方式。X-Reasoner一次性對(duì)問(wèn)題、四個(gè)選項(xiàng)以及相關(guān)的科學(xué)常識(shí)進(jìn)行編碼，并通過(guò)注意力機(jī)制進(jìn)行交互，獲得了對(duì)比選項(xiàng)回答問(wèn)題的能力。

通過(guò)以上三個(gè)創(chuàng)新點(diǎn)的結(jié)合，X-Reasoner大幅提升了常識(shí)推理的效果，相比榜單之前最好的單模型在準(zhǔn)確率上顯著提升4.4%。 ?科大訊飛持續(xù)深入認(rèn)知智能領(lǐng)域前沿技術(shù)研究，尤其在機(jī)器閱讀理解領(lǐng)域中不斷取得技術(shù)突破，先后在機(jī)器閱讀理解權(quán)威評(píng)測(cè)SQuAD 2.0中全球首次超過(guò)人類(lèi)平均水平，獲得對(duì)話(huà)型閱讀理解評(píng)測(cè)CoQA和QuAC冠軍，多步推理閱讀理解HotpotQA雙賽道冠軍，多模態(tài)閱讀理解評(píng)測(cè)VCR冠軍。? 本次在科學(xué)常識(shí)推理閱讀理解評(píng)測(cè)OpenBookQA奪得冠軍并成為全球首個(gè)超過(guò)人類(lèi)平均水平的單模型，使得機(jī)器能夠進(jìn)一步“融會(huì)貫通”，不僅能夠有效地理解文本表面的意思，還能夠通過(guò)融合外部知識(shí)來(lái)輔助進(jìn)行推理；同時(shí)也在教育、醫(yī)療、養(yǎng)老等國(guó)計(jì)民生場(chǎng)景中，讓人工智能產(chǎn)品更具備實(shí)用價(jià)值。未來(lái)，科大訊飛將持續(xù)深耕，“讓機(jī)器能聽(tīng)會(huì)說(shuō)、能理解會(huì)思考”，探索A.I的更多可能！? ??