最新研究揭示，盡管大語言模型LLMs在語言理解上表現(xiàn)出色，但在邏輯推理方面仍有待提高。為此，研究者們推出了GLoRE，一個全新的邏輯推理評估基準(zhǔn)，包含12個數(shù)據(jù)集，覆蓋三大任務(wù)類型。

實驗對比發(fā)現(xiàn)，GPT-4在邏輯推理上的表現(xiàn)遠(yuǎn)超ChatGPT，但與人類表現(xiàn)和有監(jiān)督的微調(diào)相比，仍有提高空間。

為此，研究者提出了自我一致性探測方法（self-consistency probing method）來進(jìn)一步提升ChatGPT的準(zhǔn)確性，并通過微調(diào)策略，進(jìn)一步增強大型語言模型的邏輯推理能力。

讓我們一起看看這篇研究吧！

GLoRE基準(zhǔn)

邏輯推理，作為人類智能的核心，長期以來都是AI研究的熱點。為了更好地評估LLMs在自然語言中處理復(fù)雜信息的能力，研究人員推出了通用邏輯推理評估（GLoRE）基準(zhǔn)。與眾所周知的GLUE和Super-GLUE評估自然語言理解能力類似，GLoRE匯集了多個邏輯推理數(shù)據(jù)集。

GLoRE主要包括三大任務(wù)：

多項選擇閱讀理解：系統(tǒng)給定段落和問題，目的是從答案中選擇正確的選項。特別地，GLoRE包括五個此類數(shù)據(jù)集，如LogiQA、ReClor、AR-LSAT等。

自然語言推斷（NLI）：確定假設(shè)與前提之間的邏輯關(guān)系。包括ConTRoL、HELP、TaxiNLI等數(shù)據(jù)集。

真或假問題（TF）：如FraCaS、RuleTaker和ProofWriter等數(shù)據(jù)集。

這些數(shù)據(jù)集涵蓋了從簡單到復(fù)雜的各種邏輯推理情境，為我們評估大型語言模型的邏輯推理能力提供了合適的平替。其中，多項選擇閱讀理解深入探討了邏輯MRC問題，而NLI任務(wù)關(guān)注文本分類中的蘊涵關(guān)系。而真或假問題主要測試了模型在多前提上下文的蘊涵問題上的處理能力。

實驗設(shè)置

在這篇研究中，研究人員針對開源的LLMs和基于封閉API或UI的模型進(jìn)行了評估，考慮了7種評估場景：

zero-shot評估：模型通過模板轉(zhuǎn)換得到提示，并生成語言化的答案。

few-shot評估：LLMs使用帶有答案的示例作為上下文進(jìn)行推斷。

指令調(diào)整：LLMs被訓(xùn)練以遵循自然語言指令，進(jìn)行任務(wù)特定的微調(diào)。

自我一致性評估：模型需要全面了解上下文中的邏輯關(guān)系。

思維鏈評估：模型進(jìn)行一步一步的邏輯思考。

聊天UI評估：基于GPT-4的手動聊天UI測試，更真實地反映用戶與模型的互動。

生成響應(yīng)的評估：對模型生成的響應(yīng)進(jìn)行質(zhì)量評估，包括連貫性、完整性、正確性和相關(guān)性。

在實驗中采用了RoBERTa-base作為基線，對比了數(shù)個LLMs如Falcon-40b-instruct和LLaMA-30b-supercot，以及OpenAI的ChatGPT和GPT-4。

評估指標(biāo)主要以分類精度得分為指標(biāo)，并設(shè)立人類基線，對于LogiQA22數(shù)據(jù)集特邀五名合著者進(jìn)行測試。

主要結(jié)果

Zero-shot任務(wù)

下表展示了主要的zero-shot任務(wù)上的實驗結(jié)果。

我們主要可以得出以下發(fā)現(xiàn)：

人類準(zhǔn)確率： 人類在大多數(shù)邏輯推理任務(wù)上的平均準(zhǔn)確率超過80%，尤其是在ReClor和AR-LSAT上，平均準(zhǔn)確率分別為63.00%和56.00%。

RoBERTa-base表現(xiàn)： 該模型在多數(shù)邏輯推理任務(wù)上的表現(xiàn)落后于平均人類表現(xiàn)，但在特定的ProofWriter任務(wù)上有55.92%的準(zhǔn)確率，顯示出處理特定邏輯推理任務(wù)的潛力。

開源模型對比： LLaMA和Falcon在多數(shù)邏輯推理任務(wù)上的表現(xiàn)都不如微調(diào)的RoBERTa-base，特別是在MRC任務(wù)上。

ChatGPT和GPT-4： 兩種模型在多數(shù)MRC基準(zhǔn)測試中超過了RoBERTa-base。GPT-4在處理一些邏輯MRC數(shù)據(jù)集上展現(xiàn)出了顯著的能力。

LogiQA 2.0深度分析： ChatGPT和GPT-4在分類推理上都展現(xiàn)出了超高的準(zhǔn)確率，但在處理涉及析取的前提上面臨挑戰(zhàn)。

Few-shot任務(wù)

下表展示了不同模型在few-shot任務(wù)上的實驗結(jié)果。GPT-4在與zero-shot相比的few-shot場景中獲得了超過9個百分點的準(zhǔn)確率提升。

推理任務(wù)

下表展示了不同推理類型的統(tǒng)計分析。

ChatGPT和GPT-4在分類推理上表現(xiàn)出了超高的準(zhǔn)確率，分別為83.83%和95.04%。

兩模型在涉及析取的前提上面臨挑戰(zhàn)，可能是因為這些邏輯結(jié)構(gòu)的固有復(fù)雜性和潛在的模糊性。

社區(qū)模型在分類推理上沒有展現(xiàn)出特別強的表現(xiàn)，連詞推理和析取推理對它們來說仍然是個挑戰(zhàn)。

指令微調(diào)的有效性

使用Alpaca的指令進(jìn)行微調(diào)后，所有任務(wù)的性能都得到了顯著提高，證明了指令調(diào)整的強大效果。這種改進(jìn)主要歸因于模型增強的一般指令理解能力。

經(jīng)過調(diào)整的LLaMA-7B模型明顯優(yōu)于基線的LLaMA-7B模型和Alpaca。在LogiQA 2.0數(shù)據(jù)集上，模型的準(zhǔn)確率從18.04%增加到52.74%，高于微調(diào)后的RoBERTa-base的48.76%。

盡管微調(diào)僅使用了LogiQA 2.0的訓(xùn)練數(shù)據(jù)集，但經(jīng)過調(diào)整的模型成功地將其能力推廣到其他數(shù)據(jù)集。在ReClor數(shù)據(jù)集上，經(jīng)過調(diào)整的模型達(dá)到了55.20%的準(zhǔn)確率，比Alpaca高出32.82個百分點。

Self-Consistency Probing評估

邏輯推理任務(wù)通常涉及處理一系列相關(guān)的陳述或事實，然后根據(jù)這些信息進(jìn)行推斷。這些任務(wù)需要理解不同信息之間的相互作用，而不是獨立地處理它們。這意味著，即使事實的順序或句子的結(jié)構(gòu)發(fā)生變化，真正的邏輯結(jié)論也應(yīng)該保持不變。因此，研究人員在實驗中通過打亂句子為ChatGPT引入多樣性，特別是對于那些固有地不是順序的數(shù)據(jù)集。

由表可觀察到，投票模型在多數(shù)數(shù)據(jù)集上優(yōu)于單一模型。在LogiQA 2.0 zh數(shù)據(jù)集上，單一模型有更高的準(zhǔn)確率，可能因為中文語言結(jié)構(gòu)的特殊性。

打亂文本不會對ChatGPT的性能產(chǎn)生負(fù)面影響。在某些情況下，打亂的文本甚至提高了性能。類似的趨勢也出現(xiàn)在其他CoT數(shù)據(jù)中，其中CoT序列的擾動對整體效率的影響很小。

CoT評估

下表展示了在GLoRE上使用/不使用CoT的結(jié)果。

除此之外，實驗還計算了GPT-4結(jié)果的混淆矩陣。所有模型在使用CoT提示時都有性能提升，范圍在2%到3%之間?；煜仃囘M(jìn)一步說明了使用CoT提示提高性能的重要性。

GPT4的Chat UI評估

實驗還對GPT-4模型在Chat UI界面上的性能進(jìn)行了深入探索，并通過案例研究揭示了其在回答和推理上的特點。

實驗結(jié)果表明，沒有觀察到基于UI的輸出和基于API的輸出之間的明顯質(zhì)量差異?；赨I的評估結(jié)果在大多數(shù)數(shù)據(jù)集上略高于基于API的結(jié)果。評估指標(biāo)可能是造成這種差異的一個原因。

案例研究主要有以下發(fā)現(xiàn)：

GPT-4在一些情況下能夠正確地回答和推理，例如通過選擇新證據(jù)來解決專家觀點和證據(jù)之間的矛盾。

GPT-4有時會生成不正確的答案，如對人類起源的問題的回答。

在某些情況下，提供上下文示例可以幫助GPT-4更準(zhǔn)確地回答問題。

CoT推理過程通過為GPT-4提供更相關(guān)的上下文來工作，但也可能依賴于表面的模式而不是深入的抽象。

人工評估

實驗對模型的表現(xiàn)進(jìn)行了人工評估，GPT-4在所有指標(biāo)上都穩(wěn)定地排名第一，ChatGPT緊隨其后。評注者之間的一致性良好，Cohen's Kappa值為0.79。

連貫性: GPT-4得分最高，為4.52，表現(xiàn)出其邏輯連貫輸出的能力。ChatGPT緊隨其后，得分為4.00。

完整性: ChatGPT和GPT-4并列第一，得分均為4.81，展示了其詳盡的回應(yīng)能力。

正確性: GPT-4得分為4.51，領(lǐng)先于其他模型，其回應(yīng)準(zhǔn)確率高。

相關(guān)性: GPT-4略微領(lǐng)先，得分為4.89，與ChatGPT得分4.72相當(dāng)接近。

此外，使用GPT-4 API作為評估器對LLaMA-30-supercot模型進(jìn)行了實驗，其評估得分與人工評估得分相近，為邏輯推理任務(wù)的自動評估提供了信心。

結(jié)語

在這項研究中，研究團隊提出了一個名為GLoRE的數(shù)據(jù)集，專門用于評估LLMs在處理多種邏輯推理任務(wù)上的表現(xiàn)。研究發(fā)現(xiàn)ChatGPT和GPT-4在大部分邏輯推理基準(zhǔn)測試上都顯著超越了傳統(tǒng)的微調(diào)方法。盡管商業(yè)模型在GLoRE測試中的表現(xiàn)相對較弱，但通過對相似數(shù)據(jù)進(jìn)行指令調(diào)整，模型的性能得到了顯著提高。此外，通過監(jiān)督微調(diào)、上下文學(xué)習(xí)和投票技術(shù)，研究團隊成功地實現(xiàn)了更為出色的結(jié)果。在對模型進(jìn)行量化和定性評估后，該團隊指出，現(xiàn)有的LLMs在解決邏輯推理任務(wù)時，似乎更多地依賴于表面模式。因此，他們認(rèn)為，對底層推理機制進(jìn)行深入研究和增強，將是一個有益的方向。

審核編輯：湯梓紅