5月18日，北京智源研究院發(fā)布了關(guān)于國內(nèi)外各類開/閉源語言及多模態(tài)大模型性能評估的最新研究成果。此項(xiàng)研究覆蓋了140余個(gè)語言模型的綜合實(shí)力對比，包括其對中文文本理解和多模態(tài)圖文問答等任務(wù)的處理能力。

研究發(fā)現(xiàn)，盡管國內(nèi)頭部語言模型在中文環(huán)境中的整體表現(xiàn)已接近國際一流水平，但仍存在能力發(fā)展不平衡的問題。

在多模態(tài)理解圖文問答任務(wù)中，開源和閉源模型表現(xiàn)相當(dāng)，而國產(chǎn)模型則表現(xiàn)出色。此外，在中文語境下的文生圖能力方面，國產(chǎn)多模態(tài)模型與國際一流水平的差距相對較小。

具體到語言模型的排名，在中文語境下，字節(jié)跳動(dòng)的豆包Skylark2以及OpenAI的GPT-4分別名列第一和第二。值得注意的是，國產(chǎn)大模型在理解中國用戶需求方面具有明顯優(yōu)勢。

在語言模型客觀評價(jià)中，OpenAI的GPT-4和百川智能的Baichuan3分列第一和第二。同時(shí)，百度的文心一言4.0、智譜華章的GLM-4以及月之暗面的Kimi也躋身語言模型主客觀評價(jià)的前五名。

在多模態(tài)理解模型的客觀評價(jià)中，圖文問答方面，阿里巴巴的通義Qwen-vl-max和上海人工智能實(shí)驗(yàn)室的InternVL-Chat-V1.5在某些指標(biāo)上超越了OpenAI的GPT-4，LLaVA-Next-Yi-34B和上海人工智能實(shí)驗(yàn)室的Intern-XComposer2-VL-7B緊隨其后。