wkk

隨著大語(yǔ)言模型(LLM)的迅速發(fā)展，眾多開(kāi)源的LLM性能參差不齊。今天分享的是由Allen AI實(shí)驗(yàn)室聯(lián)合南加大和浙江大學(xué)的最新研究論文，發(fā)表在ACL上。本文提出了一個(gè)集成框架(LLM-BLENDER)，旨在通過(guò)利用多個(gè)開(kāi)源大型語(yǔ)言模型的不同優(yōu)勢(shì)使框架始終保持卓越的性能。

下面請(qǐng)大家跟隨我的視角一起來(lái)分析LLM-BLENDER框架是如何工作的吧！

論文：LLM-BLENDER: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion
鏈接：https://arxiv.org/pdf/2306.02561

簡(jiǎn)介

考慮到眾多LLM有不同的優(yōu)勢(shì)和劣勢(shì)，本文開(kāi)發(fā)了一種利用其互補(bǔ)潛力的集成方法，從而提高魯棒性、泛化和準(zhǔn)確性。通過(guò)結(jié)合單個(gè)LLM的貢獻(xiàn)，可以減輕單個(gè)LLM中的偏見(jiàn)、錯(cuò)誤和不確定性信息，從而產(chǎn)生更符合人類(lèi)偏好的輸出。

LLM-BLENDER

LLM-BLENDER包括兩個(gè)模塊：PAIRRANKER和GENFUSER。首先，PAIRRANKER比較N個(gè)LLM的輸出，然后通過(guò)GENFUSER將它們?nèi)诤希瑥呐琶癒的輸出中生成最終輸出?，F(xiàn)有的方法如instructGPT中的reward model能夠?qū)斎離的輸出Y進(jìn)行排名，但是當(dāng)在多個(gè)LLM進(jìn)行組合時(shí)其效果并沒(méi)有那么明顯。原因在于，它們都是由復(fù)雜的模型產(chǎn)生的，其中一個(gè)可能只比另一個(gè)好一點(diǎn)。即使對(duì)人類(lèi)來(lái)說(shuō)，在沒(méi)有直接比較的情況下衡量候選質(zhì)量也可能是一項(xiàng)挑戰(zhàn)。

因此，本文提出了一種專(zhuān)門(mén)用于成對(duì)比較的方法PAIRRANKER，以有效地識(shí)別候選輸出之間的細(xì)微差異并提高性能。具體地，首先為每個(gè)輸入收集N個(gè)模型的輸出，然后創(chuàng)建其輸出的N(N?1)/2對(duì)。以fφ(x,yi,yj)的形式將輸入 x 和兩個(gè)候選輸出yi和yj聯(lián)合編碼為交叉注意力編碼器的輸入，以學(xué)習(xí)并確定哪個(gè)候選更好。

在推理階段，計(jì)算一個(gè)矩陣，該矩陣包含表示成對(duì)比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的N個(gè)輸出的排序。隨后，可以使用來(lái)自PAIRRANKER的每個(gè)輸入的排名最高的候選者作為最終結(jié)果。

盡管如此，這種方法可能會(huì)限制產(chǎn)生比現(xiàn)有候選更好產(chǎn)出的潛力。為了研究這種可能性，從而引入了GENFUSER模塊來(lái)融合N個(gè)排名的候選輸出中的前K個(gè)，并為最終用戶(hù)生成改進(jìn)的輸出。

任務(wù)定義

給定輸入x和N個(gè)不同的語(yǔ)言模型{M1,., MN }，可以通過(guò)使用每個(gè)模型處理x來(lái)生成N個(gè)候選輸出Y={y1,.,yN}。

研究目標(biāo)是開(kāi)發(fā)一種集成學(xué)習(xí)方法，該方法為輸入x產(chǎn)生輸出y，然后計(jì)算x與y的最大化相似度Q。與使用固定模型或隨機(jī)選擇x的模型相比，這種方法將產(chǎn)生更好的總體性能。

MixInstruct：一個(gè)新的基準(zhǔn)

本文引入了一個(gè)新的數(shù)據(jù)集MixInstruct，用于在指令跟隨任務(wù)中對(duì)LLM的集成模型進(jìn)行基準(zhǔn)測(cè)試。主要從四個(gè)來(lái)源收集了一組大規(guī)模的指令示例，如下表所示。對(duì)數(shù)據(jù)集中的100k個(gè)樣本進(jìn)行訓(xùn)練，5k個(gè)用于驗(yàn)證，5k個(gè)用于測(cè)試。然后，在這110k個(gè)示例上運(yùn)行N=11個(gè)流行的開(kāi)源LLM，包括 Vicuna、OpenAssistant、Alpaca、MPT等如下圖所示。

為了獲得候選輸出的性能排名，為ChatGPT設(shè)計(jì)了comparative prompts來(lái)評(píng)估所有候選對(duì)。具體來(lái)說(shuō)，對(duì)于每個(gè)示例，準(zhǔn)備了55對(duì)候選者(11×10/2)。對(duì)于每一對(duì)，要求ChatGPT基于輸入x和真值輸出y來(lái)判斷哪一個(gè)更好(或聲明平局)。

LLM-BLENDER: 一個(gè)新的框架

提出的一個(gè)用于集成LLM的框架LLM-BLENDER，如下圖所示。該框架由兩個(gè)主要組件組成：成對(duì)排序模塊PAIRRANKER和融合模塊GENFUSER。PAIRRANKER模塊學(xué)習(xí)比較每個(gè)輸入的所有候選對(duì)，然后對(duì)候選輸出進(jìn)行排名。選擇前K=3個(gè)排名的候選輸出，將它們與輸入x連接起來(lái)，并為GENFUSER模塊構(gòu)建輸入序列。GENFUSER模塊是一個(gè)seq2seq LM，由它生成為用戶(hù)服務(wù)的最終輸出。

PAIRRANKER 架構(gòu)

Encoding：使用Transformer層對(duì)一個(gè)輸入和一對(duì)候選對(duì)象進(jìn)行編碼，通過(guò)注意力機(jī)制在輸入的上下文中捕獲候選輸出之間的差異。按順序連接這三個(gè)片段，并使用特殊標(biāo)記作為分隔符形成單個(gè)輸入序列:< source >、< candidate1 >和< candidate2 >。生成的transformer輸入序列的形式為“< s >< source > x < /s > < candidate1 > yi< /s > < candidate2 > yj < /s >”，其中x是源輸入的文本，yi和yj是兩個(gè)候選輸出的文本。特殊標(biāo)記< source >、< candidate1 >和< candidate2 >的嵌入分別用作x、yi和yj的表示。

Traning：為了確定兩個(gè)候選輸出的分?jǐn)?shù)，將X的嵌入分別與yi和yj連接起來(lái)，并使它們傳遞給多層感知器，最終層的維度等于要優(yōu)化的Q函數(shù)的數(shù)量。該維度內(nèi)的每個(gè)值表示特定Q函數(shù)的score。通過(guò)對(duì)這些Q個(gè)分?jǐn)?shù)取平均值來(lái)導(dǎo)出候選輸出的最終分?jǐn)?shù)。并在訓(xùn)練階段應(yīng)用了有效的子采樣策略來(lái)確保學(xué)習(xí)效率。訓(xùn)練期間，從候選輸出中隨機(jī)選擇一些組合，而不是所有N(N?1)/2對(duì)。實(shí)踐發(fā)現(xiàn)，每個(gè)輸入使用 5 對(duì)足以獲得不錯(cuò)的結(jié)果。

考慮到語(yǔ)言模型的位置嵌入，一對(duì)(x,yi,yj)中候選輸出的順序很重要，因?yàn)?x,yi,yj)和(x,yj,yi)的比較結(jié)果可能不一致。因此，在訓(xùn)練過(guò)程中將每個(gè)訓(xùn)練對(duì)中候選輸出的順序打亂，以便模型學(xué)習(xí)與其自身一致

Inference：在推理階段，計(jì)算每一對(duì)候選輸出的分?jǐn)?shù)。在N(N?1)次迭代后，得到矩陣M如下圖所示，為了根據(jù) M 確定最佳候選者，通過(guò)引入了聚合函數(shù)來(lái)確定候選輸出的最終排名。

GENFUSER: 生成融合

PAIRRANKER的有效性受到從候選輸出中選擇的質(zhì)量的限制。假設(shè)，通過(guò)合并多個(gè)排名靠前的候選輸出，能夠克服這種限制。由于這些得分較高的候選輸出往往表現(xiàn)出互補(bǔ)的優(yōu)勢(shì)和劣勢(shì)，因此在減輕其缺點(diǎn)的同時(shí)結(jié)合它們的優(yōu)勢(shì)來(lái)生成更好的響應(yīng)是合理的。研究目標(biāo)是設(shè)計(jì)一個(gè)生成模型，該模型采用輸入x和K個(gè)排名靠前的候選輸出，并產(chǎn)生改進(jìn)的輸出作為最終響應(yīng)。為了實(shí)現(xiàn)這一點(diǎn)，提出了GENFUSER，這是一種seq2seq方法，用于融合一組以輸入指令為條件的候選輸出，以生成增強(qiáng)的輸出。具體地，使用分隔符標(biāo)記順序連接輸入和K個(gè)候選，并微調(diào)類(lèi)似T5的模型以學(xué)習(xí)生成y。

評(píng)估

使用MixInstruct數(shù)據(jù)集進(jìn)行評(píng)估，使用DeBERTa作為PAIRRANKER的主干，GENFUSER則是基于Flan-T5-XL ，實(shí)驗(yàn)結(jié)果如下表所示。

主要結(jié)果

LLM具有不同的優(yōu)勢(shì)和劣勢(shì)

根據(jù)ChatGPT確定LLM的平均等級(jí)，按排序順序顯示LLM。在這些模型中，Open Assistant、Vicuna和Alpaca是表現(xiàn)最好的三項(xiàng)，繼它們之后為Baize、Moss和ChatGLM，也在MixInstruction上表現(xiàn)出色。相反，Mosaic MPT、StableLM和Flan-T5在評(píng)估中排名倒數(shù)第三。盡管如此，top/bottom模型的平均GPT排名與first/last位置保持著明顯的距差距，這突出了組合LLM的重要性。

頂級(jí)LLM并不總是最好的

盡管OA和Vic表現(xiàn)得非常好，但仍有很大一部分示例顯示其他LLM優(yōu)于它們。例如，Koala的平均GPT-Rank為6.76，但大約40%的示例表明Koala產(chǎn)生了更好或同樣優(yōu)于OA和Vic的結(jié)果。這進(jìn)一步強(qiáng)調(diào)了使用LLM-BLENDER框架進(jìn)行排名和融合的重要性。

NLG Metrics

根據(jù)每個(gè)Metrics本身對(duì)oracle選擇的性能進(jìn)行了全面分析。研究結(jié)果表明，這些選擇在其他指標(biāo)上也表現(xiàn)出良好的性能。這一觀察結(jié)果證實(shí)了使用BARTScore為PAIRRANKER提供監(jiān)督的合理性。

PAIRRANKE的表現(xiàn)優(yōu)于其他排名工具

MLM-Scoring無(wú)法勝出random selection，突出了其無(wú)監(jiān)督范式的局限性。相反，與BARTScore和GPT-Rank的最佳模型(OA)相比，SimCLS、SummaReranker和PAIRRANKER表現(xiàn)出更好的性能。值得注意的是，PAIRRANKER選擇的響應(yīng)的平均GPT排名顯著優(yōu)于最佳模型，以及所有其他排名。

LLM-BLENDER 是最好的

使用從PAIRRANKER中選出的前三名，并將其作為GENFUSER的候選。在此的基礎(chǔ)上，LLM-BLENDER展示了預(yù)期的卓越性能。

排名相關(guān)性

除了只關(guān)注每個(gè)排名的top-1之外，還對(duì)所有具有GPT排名的候選之間的總體排名相關(guān)性進(jìn)行了全面分析。事實(shí)證明，BARTScore與GPT排名的相關(guān)性最高，這表明使用BARTScore提供監(jiān)督為訓(xùn)練。對(duì)于排序器來(lái)說(shuō)，MLM得分仍然無(wú)法超過(guò)random permutations。

更多分析

將PAIRRANKER應(yīng)用于三個(gè)典型的自然語(yǔ)言生成(NLG)任務(wù)：摘要、機(jī)器翻譯和約束文本生成。發(fā)現(xiàn)PAIRRANKER在使用單個(gè)相同的基礎(chǔ)模型解碼N個(gè)候選者（使用不同的算法）的上下文中仍然大大優(yōu)于其他方法。

總結(jié)

本文引入了LLM-BLENDER，這是一個(gè)創(chuàng)新的集成框架，通過(guò)利用多個(gè)開(kāi)源LLM的不同優(yōu)勢(shì)來(lái)獲得持續(xù)卓越的性能。LLM-BLENDER通過(guò)排名的方式來(lái)減少單個(gè)LLM的弱點(diǎn)，并通過(guò)融合生成來(lái)整合優(yōu)勢(shì)，以提高LLM的能力。

總之，這是一篇非常有趣的文章，想了解更深入的話(huà)，還是看下原論文吧~