最近在GitHub上發(fā)現(xiàn)了一個(gè)爆火的開(kāi)源項(xiàng)目，star數(shù)一頓暴增。

好家伙，湊近一看，居然還是由微軟開(kāi)源，并且和最近炙手可熱的ChatGPT息息相關(guān)。

項(xiàng)目的名字叫做：Visual ChatGPT。

https://github.com/microsoft/visual-chatgpt

https://github.com/microsoft/visual-chatgpt

這個(gè)項(xiàng)目最早是3月上旬微軟開(kāi)源的，項(xiàng)目宣布開(kāi)源后僅用了短短一周，就斬獲了2w+ star。

截止到目前，距離當(dāng)初項(xiàng)目開(kāi)源僅僅過(guò)去了3周多，倉(cāng)庫(kù)star數(shù)則來(lái)到了27k+，亦可謂是火箭式上漲。

眾所周知，ChatGPT自2022年11月推出以來(lái)，持續(xù)走紅。

ChatGPT具備強(qiáng)大的會(huì)話能力，可以理解文字、聊天、寫(xiě)小說(shuō)、解答問(wèn)題、編寫(xiě)代碼... 但是目前還并不能直接處理或生成圖像。

而Visual ChatGPT這個(gè)項(xiàng)目則可以把ChatGPT和一系列視覺(jué)基礎(chǔ)模型（VFM，Visual Foundation Model）給聯(lián)系起來(lái)，以便實(shí)現(xiàn)在ChatGPT聊天的過(guò)程中來(lái)發(fā)送和接收?qǐng)D像，也使得ChatGPT能夠處理更為復(fù)雜的視覺(jué)任務(wù)。

講白了，就是通過(guò)Visual ChatGPT，可以把一系列視覺(jué)基礎(chǔ)模型給接入ChatGPT，使得ChatGPT能勝任更為復(fù)雜的視覺(jué)處理任務(wù)。

Visual ChatGPT的整體技術(shù)架構(gòu)圖如上所示，我們可以清楚地看到ChatGPT和視覺(jué)基礎(chǔ)模型（VFM，Visual Foundation Model）分別位于其中的位置。

一方面，ChatGPT(或LLM)作為一個(gè)通用接口，繼續(xù)發(fā)揮它本身的優(yōu)勢(shì)，提供對(duì)不同話題的智能理解。

另一方面，基礎(chǔ)視覺(jué)模型VFM則通過(guò)提供特定領(lǐng)域的深入知識(shí)來(lái)充當(dāng)領(lǐng)域?qū)＜遥鼈兺ㄟ^(guò)交互管理模塊（Prompt Manger）進(jìn)行連接和適配。

這樣聊可能比較抽象，我們可以拿官方給的一個(gè)例子來(lái)進(jìn)行說(shuō)明：

1、首先是用戶：輸入一張黃色的向日葵圖片，并且要求ChatGPT根據(jù)該圖像預(yù)測(cè)深度來(lái)生成一朵紅花，然后再一步一步將其做成卡通畫(huà)。

2、接著是交互管理模塊（Prompt Manger）發(fā)揮作用，在它的協(xié)調(diào)和控制下，VFM模塊開(kāi)始發(fā)揮作用：

首先需要運(yùn)用深度估計(jì)模型來(lái)預(yù)測(cè)并生成圖像的深度信息；

然后需要運(yùn)用深度圖像模型來(lái)生成對(duì)應(yīng)空間深度的紅花圖像；

最后運(yùn)用Stable Diffusion的風(fēng)格遷移模型來(lái)完成圖像風(fēng)格的變換。

3、最后Visual ChatGPT系統(tǒng)再將最終結(jié)果返回給用戶，完成本次對(duì)話。

說(shuō)到這里，有興趣的小伙伴可以可以看看微軟給出的一篇有關(guān)Visual ChatGPT的論文：https://arxiv.org/pdf/2303.04671.pdf

https://arxiv.org/pdf/2303.04671.pdf

里面關(guān)于這部分的流程解釋得非常詳細(xì)，而且還給出了多輪對(duì)話的案例、以及實(shí)驗(yàn)結(jié)果，有興趣的小伙伴可以看看。

審核編輯 ：李倩