作者：一號(hào)

編輯：美美

從手機(jī)到大模型，國內(nèi)產(chǎn)品為啥都這么熱衷跑分？

IDCAI大模型技術(shù)能力評(píng)估，12項(xiàng)指標(biāo)，7項(xiàng)滿分，文心大模型3.5“大滿貫”；360智腦在SuperCLUE評(píng)測(cè)中多項(xiàng)能力位列國產(chǎn)大模型第一，某些方面甚至跑贏了GPT-4；夸克大模型在C-Eval和CMMLU兩大權(quán)威評(píng)測(cè)榜單中名列第一，顯示出其在寫作、考試等部分場(chǎng)景中甚至優(yōu)于GPT-4......

今年以來，國產(chǎn)AI大模型發(fā)展趨勢(shì)之迅猛，不得不讓人感慨。截至目前，國產(chǎn)大模型數(shù)量已經(jīng)超過了200個(gè)，而且，這些大模型紛紛表現(xiàn)不俗，從百度文心一言到阿里巴巴的夸克大模型，國產(chǎn)AI在各類評(píng)測(cè)榜單上的表現(xiàn)引人注目。有人對(duì)此評(píng)價(jià)，“跑分沒輸過，體驗(yàn)沒贏過”。

這種似曾相識(shí)的“跑分”現(xiàn)象，不禁讓人想到手機(jī)市場(chǎng)里類似的做法。這種在評(píng)測(cè)中名列前茅、表現(xiàn)出色，但實(shí)際用戶體驗(yàn)一言難盡的情況，究竟意味著什么？

為何跑分與體驗(yàn)不符?

回顧手機(jī)市場(chǎng)，“跑分沒輸過，體驗(yàn)沒贏過”這句話最開始就是從手機(jī)圈中興起的，各大廠商通過不斷疊加定語，來讓自己獲得第一；還有的手機(jī)會(huì)自動(dòng)識(shí)別跑分軟件，針對(duì)性地開啟性能模式，讓自己的跑分?jǐn)?shù)據(jù)好看些，從而實(shí)現(xiàn)“作弊”。用戶買到跑分高的手機(jī)后，實(shí)際體驗(yàn)并不是那么回事。

而在AI大模型領(lǐng)域，評(píng)估標(biāo)準(zhǔn)則相對(duì)公平，并且是同意的，其中包括MMLU（用于衡量多任務(wù)語言理解能力）、Big-Bench（用于量化和外推LLMs的能力），以及AGIEval(用于評(píng)估人類級(jí)任務(wù)的能力）。

目前國內(nèi)廠商經(jīng)常飲用的榜單就是SuperCLUE、CMMLU和C-Eval，其中C-Eval是由清華大學(xué)、上海交通大學(xué)和愛丁堡大學(xué)合作構(gòu)建的綜合性考試評(píng)測(cè)集，CMMLU則是MBZUAI、上海交通大學(xué)、微軟亞洲研究院共同推出，至于SuperCLUE，則是由各大高校的AI專業(yè)人士設(shè)立的。

盡管大模型的評(píng)測(cè)標(biāo)準(zhǔn)相對(duì)公平，但其仍有一定的局限性，實(shí)際的測(cè)評(píng)之中總會(huì)出現(xiàn)問題，其中一個(gè)最大的問題就是“考題泄露”。

大模型評(píng)測(cè)的一個(gè)主要方法就是做題。為了讓評(píng)測(cè)相對(duì)透明公開，避免暗箱操作，評(píng)測(cè)機(jī)構(gòu)通常會(huì)將評(píng)測(cè)的方法、標(biāo)準(zhǔn)甚至是題庫對(duì)外公開。例如C-Eval榜單在上線之初就有13948道題目，由于題庫有限，并且更新頻率不是特別高，這就給了一些大模型刷題“鉆空子”的機(jī)會(huì)。

我們都知道，如果在考試之前知道會(huì)考哪些題目，那考生完全可以做針對(duì)性的學(xué)習(xí)，大模型也一樣，并且大模型最擅長的就是記憶。在評(píng)測(cè)之前，把題庫直接加入大模型的訓(xùn)練集，訓(xùn)練之后的大模型就能在評(píng)測(cè)中表現(xiàn)得比實(shí)際能力更好，甚至跑出一些夸張的成績，例如1.3B的模型在某些任務(wù)上超越了10倍體量的大模型。

那么這樣的評(píng)測(cè)結(jié)果，跟實(shí)際體驗(yàn)一定會(huì)很不相符。

為何熱衷于跑分？

無論是國產(chǎn)手機(jī)廠商還是AI大模型公司，他們對(duì)跑分的熱衷，本質(zhì)上是一種營銷策略。跑分成績?nèi)菀妆涣炕?duì)比，因此成為了向公眾展示技術(shù)實(shí)力的便捷手段。這種做法在短期內(nèi)可能會(huì)吸引消費(fèi)者和投資者的注意，但它也可能引起誤導(dǎo)，使人們過分關(guān)注理論性能，而忽視了實(shí)際應(yīng)用中的體驗(yàn)和效能。

這種營銷策略的問題在于，它可能導(dǎo)致公司本末倒置，過分投入于提高特定測(cè)試的分?jǐn)?shù)，而非真正的技術(shù)創(chuàng)新。在手機(jī)行業(yè)，這可能意味著優(yōu)化設(shè)備性能以提升特定跑分軟件的測(cè)試成績；在AI領(lǐng)域，則可能表現(xiàn)為優(yōu)化模型以應(yīng)對(duì)評(píng)測(cè)榜單的特定題目。這種做法雖然能在短期內(nèi)提高產(chǎn)品在評(píng)測(cè)榜單上的排名，但卻可能忽視了產(chǎn)品在真實(shí)使用環(huán)境中的性能和用戶體驗(yàn)。

這種以跑分為核心的營銷策略需要被重新審視。盡管高分成績?cè)跔I銷中具有吸引力，但它們并不總是反映產(chǎn)品的真實(shí)價(jià)值。對(duì)于消費(fèi)者而言，理論上的高性能與日常使用中的實(shí)際體驗(yàn)之間往往存在差距。因此，無論是手機(jī)行業(yè)還是AI領(lǐng)域，公眾和行業(yè)都應(yīng)該更加關(guān)注產(chǎn)品在真實(shí)世界中的表現(xiàn)。

要放棄跑分嗎？

從隋唐的科舉到今天的高考，從國內(nèi)的四六級(jí)到國外的托福雅思，考試在時(shí)間和空間的維度上，都是一種相對(duì)公平的衡量機(jī)制。因此，大模型評(píng)測(cè)作為大模型的“考試”，同樣不能被輕易拋棄。

倘若評(píng)測(cè)相對(duì)準(zhǔn)確、靠譜、權(quán)威，那么對(duì)于所有的大模型公司來說都是好事。研發(fā)者可以通過評(píng)測(cè)結(jié)果了解自家大模型的優(yōu)缺點(diǎn)，查漏補(bǔ)缺，找到正確的方向鉆研算法、提升技術(shù)、加強(qiáng)訓(xùn)練，不斷攻克，進(jìn)行優(yōu)化迭代，從而讓產(chǎn)品更具有競(jìng)爭力。

對(duì)于AI大模型開發(fā)者而言，榜單的排名不應(yīng)該成為最終目的，真正的挑戰(zhàn)在于如何將先進(jìn)的技術(shù)轉(zhuǎn)化為實(shí)際應(yīng)用中的有效工具，這不僅僅是一場(chǎng)分?jǐn)?shù)的競(jìng)賽，更是對(duì)技術(shù)創(chuàng)新和實(shí)用性的追求。我們期待一個(gè)更加全面和科學(xué)的評(píng)測(cè)體系的出現(xiàn)，這不僅能正確評(píng)估AI模型的實(shí)際能力，還能促進(jìn)整個(gè)行業(yè)向著更加健康、理性的方向發(fā)展。

審核編輯 黃宇