5月28日，北京智源人工智能研究院在2023年中關(guān)村論壇并行論壇之一的人工智能大規(guī)模模型發(fā)展論壇上發(fā)布了通用分割模型seggpt （segment everything in contex）。這是一種利用prompt（視覺提示）完成任意分割工作的通用視覺模型。

seggpt是一個(gè)基于支持通用視覺模型painter的模型，它優(yōu)化了所有物體的分割。seggpt具有上下文推理功能，即使沒有細(xì)微的調(diào)整，只要提供示例，就可以自動(dòng)進(jìn)行推理和相應(yīng)的分割工作。示例包括示例、類、部件、輪廓、文本、面部、醫(yī)療圖像等。它靈活的推論能力足以提供許多視覺線索。自動(dòng)視頻分割和追蹤功能：seggpt以第一個(gè)框架的圖片和對象屏蔽為上下文單位，可以自動(dòng)分割下一個(gè)視頻框架，并使用屏蔽顏色作為對象id自動(dòng)追蹤。

seggpt與推出ai圖像分割基礎(chǔ)模型sam的meta不同，sam使用的是通過一個(gè)點(diǎn)或邊框相互提示預(yù)測圖像，識(shí)別分割畫面上的特定物體的“one touch touch”方式。seggpt通過提示一個(gè)或多個(gè)示例圖像和意圖面具來掌握用戶的意圖，并根據(jù)意圖進(jìn)行分割等操作。只要用戶在畫面上表示識(shí)別一種物體，無論是現(xiàn)在的畫面還是其他畫面，都可以定量地識(shí)別和分割同類物體。

“一觸即通”或“一通百通”意味著視覺模型理解了形象結(jié)構(gòu)。sam的精細(xì)腳注功能與seggpt的通用分割腳注功能相結(jié)合，可以在像素排列中分析任何圖像，以像生物視覺一樣理解任何場景。