隨著 GPT-4 和 Stable Diffusion 等模型多模態(tài)能力的突飛猛進(jìn)，多模態(tài)大模型已經(jīng)成為大模型邁向通用人工智能（AGI）目標(biāo)的下一個(gè)前沿焦點(diǎn)?？傮w而言，面向圖像和文本的多模態(tài)生成能力可以大致分為兩類(lèi)：

1. 在圖生文（image-to-text generation）方面，以 GPT-4 為代表的多模態(tài)大模型，可以面向圖像進(jìn)行開(kāi)放域?qū)υ?huà)和深度推理；

2. 在文生圖（text-to-image generation）方面，以 Stable Diffusion 為代表的多模態(tài)模型，可以根據(jù)文本生成圖像內(nèi)容。由這些多模態(tài)模型掀起的 AIGC 浪潮，廣泛而深刻地改變著學(xué)術(shù)界和工業(yè)界的思想實(shí)踐。

然而，目前多模態(tài)大模型的成功很大程度上局限于英文世界，而中文等其他非英語(yǔ)語(yǔ)言的多模態(tài)能力明顯落后。這是因?yàn)橄啾扔谟⑽氖澜?，中文等其他非英語(yǔ)語(yǔ)言的多模態(tài)數(shù)據(jù)嚴(yán)重稀缺，難以滿(mǎn)足多模態(tài)大模型對(duì)大規(guī)模高質(zhì)量圖文對(duì)數(shù)據(jù)的需求。這些問(wèn)題使得多語(yǔ)言多模態(tài)大模型的構(gòu)建極具挑戰(zhàn)性。

為了解決上述挑戰(zhàn)，我們提出使用高資源語(yǔ)言（如英語(yǔ)）作為橋接圖像信號(hào)和低資源語(yǔ)言（如中文）的橋梁，實(shí)現(xiàn)多語(yǔ)言多模態(tài)大模型能力的快速泛化，從而緩解對(duì)低資源語(yǔ)言下模態(tài)對(duì)齊數(shù)據(jù)（圖文對(duì)數(shù)據(jù)）的依賴(lài)。

通過(guò)類(lèi)比人類(lèi)的學(xué)習(xí)過(guò)程，我們可以直觀(guān)地理解該方法：人類(lèi)學(xué)習(xí)者可以?xún)H通過(guò)母語(yǔ)與視覺(jué)信號(hào)的對(duì)應(yīng)關(guān)系，以及母語(yǔ)與不同語(yǔ)言之間的對(duì)應(yīng)關(guān)系，自然地建立起不同語(yǔ)言下對(duì)視覺(jué)信號(hào)的統(tǒng)一認(rèn)知。這是由于不同的自然語(yǔ)言符號(hào)系統(tǒng)，很大程度上都是以描述相同的客觀(guān)世界為驅(qū)動(dòng)力演化發(fā)展而來(lái)的，這為多語(yǔ)言多模態(tài)能力的快速泛化提供了基礎(chǔ)。

為了驗(yàn)證上述方法，我們以中英雙語(yǔ)的多模態(tài)大模型為例，構(gòu)建了 VisCPM 系列模型，建立中英雙語(yǔ)的多模態(tài)對(duì)話(huà)能力（VisCPM-Chat 模型）和文到圖生成能力（VisCPM-Paint 模型）。

在多語(yǔ)言對(duì)齊方面，我們選用百億參數(shù)量的 CPM-Bee 10B 作為基底語(yǔ)言模型。該模型優(yōu)秀的中英雙語(yǔ)能力，提供了多語(yǔ)言對(duì)齊的基礎(chǔ)。在多模態(tài)對(duì)齊方面，我們?yōu)镃PM-Bee分別融合視覺(jué)編碼器（Q-Former）和視覺(jué)解碼器（Diffusion-UNet）以支持視覺(jué)信號(hào)的輸入和輸出。得益于 CPM-Bee 基座優(yōu)秀的雙語(yǔ)能力，VisCPM 可以?xún)H通過(guò)英文多模態(tài)數(shù)據(jù)預(yù)訓(xùn)練，泛化實(shí)現(xiàn)優(yōu)秀的中文多模態(tài)能力。

中英雙語(yǔ)多模態(tài)對(duì)話(huà)模型VisCPM-Chat

VisCPM-Chat 模型使用 Q-Former 作為視覺(jué)編碼器，使用 CPM-Bee（10B）作為語(yǔ)言基座模型，并通過(guò)語(yǔ)言建模訓(xùn)練目標(biāo)融合視覺(jué)和語(yǔ)言模型。模型訓(xùn)練包括預(yù)訓(xùn)練和指令精調(diào)兩階段：

• 預(yù)訓(xùn)練：我們使用約 100M 高質(zhì)量英文圖文對(duì)數(shù)據(jù)對(duì) VisCPM-Chat 進(jìn)行了預(yù)訓(xùn)練，數(shù)據(jù)包括 CC3M、CC12M、COCO、Visual Genome、LAION 等。在預(yù)訓(xùn)練階段，語(yǔ)言模型參數(shù)保持固定，僅更新Q-Former部分參數(shù)，以支持大規(guī)模視覺(jué)-語(yǔ)言表示的高效對(duì)齊。

• 指令精調(diào)：我們采用 LLaVA-150K 英文指令精調(diào)數(shù)據(jù)，并混合相應(yīng)翻譯后的中文數(shù)據(jù)對(duì)模型進(jìn)行指令精調(diào)，以對(duì)齊模型多模態(tài)基礎(chǔ)能力和用戶(hù)使用意圖。在指令精調(diào)階段，我們更新全部模型參數(shù)，以提升指令精調(diào)數(shù)據(jù)的利用效率。有趣的是，我們發(fā)現(xiàn)即使僅采用英文指令數(shù)據(jù)進(jìn)行指令精調(diào)，模型也可以理解中文問(wèn)題，但僅能用英文回答。這表明模型的多語(yǔ)言多模態(tài)能力已經(jīng)得到良好的泛化。在指令精調(diào)階段進(jìn)一步加入少量中文翻譯數(shù)據(jù)，可以將模型回復(fù)語(yǔ)言和用戶(hù)問(wèn)題語(yǔ)言對(duì)齊。

我們?cè)?LLaVA 標(biāo)準(zhǔn)英文測(cè)試集和翻譯的中文測(cè)試集對(duì)模型進(jìn)行了評(píng)測(cè)，該評(píng)測(cè)基準(zhǔn)考察模型在開(kāi)放域?qū)υ?huà)、圖像細(xì)節(jié)描述、復(fù)雜推理方面的表現(xiàn)，并使用 GPT-4 進(jìn)行打分。可以觀(guān)察到，在不使用任何中文圖文對(duì)預(yù)訓(xùn)練數(shù)據(jù)的情況下，VisCPM-Chat 在中文多模態(tài)能力方面取得了最佳的平均性能，在通用域?qū)υ?huà)和復(fù)雜推理表現(xiàn)出色，同時(shí)也表現(xiàn)出了不錯(cuò)的英文多模態(tài)能力。

在上述平衡的中英雙語(yǔ)能力（VisCPM-Chat-balance）基礎(chǔ)上，我們?cè)陬A(yù)訓(xùn)練階段額外加入 20M 清洗后的原生中文圖文對(duì)數(shù)據(jù)和 120M 翻譯到中文的圖文對(duì)數(shù)據(jù)，可以實(shí)現(xiàn)中文多模態(tài)能力的進(jìn)一步強(qiáng)化（VisCPM-Chat-zhplus）。

VisCPM-Chat 表現(xiàn)出令人印象深刻的圖像理解能力，并能夠在對(duì)話(huà)中運(yùn)用世界知識(shí)和常識(shí)知識(shí)。例如在下圖中，VisCPM 能夠識(shí)別染色的地圖和人像，并正確理解出染色代表的不同含義。除此之外，VisCPM-Chat 還具有不錯(cuò)的中文特色能力，比如能用李白的詩(shī)描繪黃河的景象并作解讀，在面對(duì)中秋月夜時(shí)還能用蘇軾的《水調(diào)歌頭》借景抒情。

中英雙語(yǔ)文生圖模型VisCPM-Paint

VisCPM-Paint 使用 CPM-Bee（10B）作為文本編碼器，使用 UNet 作為圖像解碼器，并通過(guò)擴(kuò)散模型訓(xùn)練目標(biāo)融合語(yǔ)言和視覺(jué)模型。在訓(xùn)練過(guò)程中，語(yǔ)言模型參數(shù)始終保持固定。我們使用 Stable Diffusion 2.1 的 UNet 參數(shù)初始化視覺(jué)解碼器，并通過(guò)逐步解凍其中關(guān)鍵的橋接參數(shù)將其與語(yǔ)言模型融合。該模型在 LAION 2B 英文圖文對(duì)數(shù)據(jù)上進(jìn)行了訓(xùn)練。

我們?cè)跇?biāo)準(zhǔn)圖像生成測(cè)試集 MSCOCO 上采樣了 3 萬(wàn)張圖片，計(jì)算了常用評(píng)估圖像生成指標(biāo) FID（Fréchet Inception Distance）評(píng)估生成圖片的質(zhì)量。與 VisCPM 類(lèi)似，我們發(fā)現(xiàn)得益于 CPM-Bee 的雙語(yǔ)能力，VisCPM-Paint 可以?xún)H通過(guò)英文圖文對(duì)訓(xùn)練，泛化實(shí)現(xiàn)良好的中文文到圖生成能力，達(dá)到中文開(kāi)源模型的最佳效果。在中英平衡能力（VisCPM-Paint-balance）的基礎(chǔ)上，通過(guò)進(jìn)一步加入 20M 清洗后的原生中文圖文對(duì)數(shù)據(jù)，以及 120M 翻譯到中文的圖文對(duì)數(shù)據(jù)，模型的中文文到圖生成能力可以獲得進(jìn)一步提升（VisCPM-Paint-zhplus）。

VisCPM-Paint 模型中分別輸入“海上生明月，天涯共此時(shí)，唯美風(fēng)格，抽象風(fēng)格”和“人閑桂花落，月靜春山空”兩條 prompts，生成了以下兩張圖片。可以看出，VisCPM-Paint 對(duì)中國(guó)特色意向也有較好的把握能力。

為了推動(dòng)多模態(tài)大模型開(kāi)源社區(qū)和相關(guān)研究領(lǐng)域的發(fā)展，我們將 VisCPM 系列的所有模型免費(fèi)開(kāi)源（https://github.com/OpenBMB/VisCPM），歡迎個(gè)人和研究用途自由使用。未來(lái)我們也會(huì)將 VisCPM 整合到 huggingface代碼框架中，以及陸續(xù)完善安全模型、 支持快速網(wǎng)頁(yè)部署、 支持模型量化功能、支持模型微調(diào)等功能，歡迎持續(xù)關(guān)注。