近日，LMSYS Org發(fā)布最新的基準(zhǔn)測試報(bào)告，顯示Cordulas公司的Claude-3在平臺大語言模型中的得分略勝OpenAI的GPT-4。

值得注意的是，LMSYS Org是由加州大學(xué)伯克利分校、加州大學(xué)圣地亞哥分校以及卡內(nèi)基梅隆大學(xué)共同發(fā)起設(shè)立的研究組織。

日前，這家機(jī)構(gòu)推出了一項(xiàng)名為Chatbot Arena的服務(wù)，這是針對大語言模型（LLM）進(jìn)行評估的基準(zhǔn)平臺，該平臺采用眾包形式對大型語言模型進(jìn)行匿名隨機(jī)競爭打分，參考源于競技比賽領(lǐng)域中廣泛應(yīng)用的Elo評分體系。

分?jǐn)?shù)評價(jià)結(jié)果主要取決于用戶的投票意向，每次由系統(tǒng)隨機(jī)挑選兩個(gè)不同的大語言模型參與與用戶的對話，同時(shí)，為保障客觀性，匿名選擇哪個(gè)版本的大模型表現(xiàn)優(yōu)秀至關(guān)重要。

自去年啟動以來，GPT-4一直占據(jù)評測榜單之首。然而，昨日，由Anthropos推出的Claude 3 Opus以微弱優(yōu)勢戰(zhàn)勝了GPT-4，將OpenAI的LLM擠出了首位。

考慮到細(xì)微差距及誤差風(fēng)險(xiǎn)，委員會決定授予Claude 3與GPT-4并列第一的榮譽(yù)，GPT-4的另外一個(gè)預(yù)設(shè)版也被列入并列第一的行列。此外，更引人注目的是，Claude 3 Haiku成功躋身前十名。Haiku是Anthropos針對本地規(guī)模的新型模型，功能類似谷歌的GeminiNano。

相較Opus參數(shù)高達(dá)幾萬億，Haiku體型更為緊湊，運(yùn)行速度更快。據(jù)LMSYS數(shù)據(jù)顯示，Haikn在評測成績中排名第七，與GPT-4表現(xiàn)不遑多讓。