作者 / 開(kāi)發(fā)者品牌和聲譽(yù)營(yíng)銷(xiāo)部 Francesca Di Felice

阿里巴巴集團(tuán)是一家全球化的科技公司，其目標(biāo)簡(jiǎn)單而明確：讓天下沒(méi)有難做的生意。自 1999 年以來(lái)，該集團(tuán)創(chuàng)建了一系列工具和基礎(chǔ)設(shè)施來(lái)支持中小企業(yè)。如今，阿里國(guó)際運(yùn)營(yíng)著全球規(guī)模最大的零售商業(yè)業(yè)務(wù)之一。

阿里巴巴為其連接全球買(mǎi)家和供應(yīng)商的國(guó)際電子商務(wù)平臺(tái)構(gòu)建了一系列多模態(tài)大模型 (MLLM)。這個(gè)名為 Ovis 的模型系列能夠感知和理解視覺(jué)信息，允許用戶輸入圖像或視頻請(qǐng)求并獲得文本輸出結(jié)果。其性能最佳的模型之一Ovis1.6-Gemma2-9B是基于 Gemma 構(gòu)建的。

挑戰(zhàn)

阿里巴巴的開(kāi)發(fā)者希望為公司的國(guó)際電子商務(wù)平臺(tái)創(chuàng)建一個(gè)有效的多模態(tài)大模型，但在尋找一個(gè)能夠勝任多種任務(wù)且易于集成的基礎(chǔ)模型時(shí)遇到了困難。在對(duì)現(xiàn)有開(kāi)放模型進(jìn)行初步實(shí)驗(yàn)時(shí)，團(tuán)隊(duì)發(fā)現(xiàn)這些模型在多模態(tài)推理和文本生成等關(guān)鍵領(lǐng)域存在多種性能差距。

經(jīng)過(guò)全面測(cè)試，Gemma 2 的指令調(diào)優(yōu) 9B 參數(shù)模型 (gemma-2-9b-it) 展現(xiàn)出最佳的綜合性能，具備卓越的指令遵循能力和強(qiáng)大的文本生成能力。它在數(shù)學(xué)和編程等語(yǔ)言任務(wù)方面的優(yōu)勢(shì)使其成為多模態(tài)模型的理想基礎(chǔ)。然而，無(wú)縫集成視覺(jué)和文本嵌入又增加了任務(wù)的復(fù)雜度。團(tuán)隊(duì)需要?jiǎng)?chuàng)新，以確保模型能夠在基于圖像的產(chǎn)品發(fā)布等關(guān)鍵業(yè)務(wù)應(yīng)用中高效運(yùn)行。

Gemma 在通用語(yǔ)言任務(wù)上表現(xiàn)尤為出色，特別是在數(shù)學(xué)和編程方面。我們利用 Gemma 的語(yǔ)言能力來(lái)提升我們?cè)诙嗄B(tài)任務(wù)上的表現(xiàn)。

解決方案

使用gemma-2-9b-it作為 Ovis 的基礎(chǔ)語(yǔ)言模型，為構(gòu)建多模態(tài)架構(gòu)奠定了堅(jiān)實(shí)的基礎(chǔ)，彌補(bǔ)了視覺(jué)和文本輸入之間的差距。Ovis 采用獨(dú)特的方法：首先，它將連續(xù)的視覺(jué)特征轉(zhuǎn)換為概率性的視覺(jué)令牌 (Token)。然后，通過(guò)加權(quán)索引，Ovis 將這些令牌組裝成視覺(jué)嵌入。在此基礎(chǔ)上，Gemma 的 Transformer 架構(gòu)將這些嵌入與文本輸入集成，確保多模態(tài)數(shù)據(jù)無(wú)縫流動(dòng)。

Gemma 2 在數(shù)學(xué)和邏輯方面的優(yōu)勢(shì)顯著提升了 Ovis 在推理和理解任務(wù)上的能力，使阿里巴巴團(tuán)隊(duì)能夠?qū)⑦@一新模型部署到各種業(yè)務(wù)運(yùn)營(yíng)中。例如，阿里國(guó)際數(shù)字商業(yè)平臺(tái)用戶現(xiàn)在可以使用 Ovis 根據(jù)產(chǎn)品圖像來(lái)識(shí)別產(chǎn)品類(lèi)別和屬性或添加標(biāo)簽。這大大減少了手動(dòng)輸入的需求，讓用戶能夠更高效地創(chuàng)建商品詳情。

Ovis 的功能還擴(kuò)展到了其他使用場(chǎng)景，如檢測(cè)文本與圖像之間的一致性問(wèn)題、評(píng)估圖像質(zhì)量以及生成結(jié)構(gòu)化輸出。這些功能彰顯了 Ovis 的多功能性及其適應(yīng)各種任務(wù)的能力。

影響

Ovis 顯著改進(jìn)了阿里國(guó)際數(shù)字商業(yè)平臺(tái)上的產(chǎn)品生產(chǎn)工作流程，并在推理過(guò)程中展現(xiàn)出卓越的效率，為多模態(tài) AI 設(shè)定了新的標(biāo)準(zhǔn)。自發(fā)布以來(lái)，Ovis 已在 GitHub、Hugging Face、Model Scope 和 OpenCompass 等平臺(tái)上獲得了廣泛的認(rèn)可和應(yīng)用，甚至在 Hugging Face 首頁(yè)獲得推薦展示。

未來(lái)計(jì)劃

阿里巴巴計(jì)劃優(yōu)化并擴(kuò)展 Ovis 系列以適應(yīng)新的應(yīng)用場(chǎng)景，同時(shí)與其他開(kāi)發(fā)者和社區(qū)分享團(tuán)隊(duì)的研究成果和見(jiàn)解，推動(dòng)創(chuàng)新。

擴(kuò)展產(chǎn)品系列

阿里巴巴希望引入更多樣化的新型 Ovis 模型，以滿足更多業(yè)務(wù)需求，例如為資源有限的團(tuán)隊(duì)提供較小規(guī)模的模型。開(kāi)發(fā)團(tuán)隊(duì)基于 gemma-2-27b 模型發(fā)布了30B 參數(shù)版本，并且已經(jīng)在為未來(lái)的迭代做準(zhǔn)備。

新用例

基于社區(qū)反饋，阿里巴巴將改進(jìn) Ovis 系列的光學(xué)字符識(shí)別、視覺(jué)理解和通用多模態(tài)理解能力，為用戶提供更多使用模型的方式。團(tuán)隊(duì)還計(jì)劃利用模型出色的圖像-文本理解能力，在 Ovis 中加入照片分析、健身指導(dǎo)和美容建議等功能。

知識(shí)共享

阿里巴巴致力于與更廣泛的 AI 社區(qū)分享研究成果。團(tuán)隊(duì)希望推動(dòng)多模態(tài)技術(shù)領(lǐng)域中研究人員和開(kāi)發(fā)者之間的協(xié)作與創(chuàng)新，進(jìn)一步鞏固 Ovis 作為全球商業(yè)變革性工具的地位。