5月28日，北京智源人工智能研究院在2023年中關村論壇并行論壇之一的人工智能大規(guī)模模型發(fā)展論壇上發(fā)布了通用分割模型seggpt （segment everything in contex）。這是一種利用prompt（視覺提示）完成任意分割工作的通用視覺模型。

seggpt是一個基于支持通用視覺模型painter的模型，它優(yōu)化了所有物體的分割。seggpt具有上下文推理功能，即使沒有細微的調(diào)整，只要提供示例，就可以自動進行推理和相應的分割工作。示例包括示例、類、部件、輪廓、文本、面部、醫(yī)療圖像等。它靈活的推論能力足以提供許多視覺線索。自動視頻分割和追蹤功能：seggpt以第一個框架的圖片和對象屏蔽為上下文單位，可以自動分割下一個視頻框架，并使用屏蔽顏色作為對象id自動追蹤。

seggpt與推出ai圖像分割基礎模型sam的meta不同，sam使用的是通過一個點或邊框相互提示預測圖像，識別分割畫面上的特定物體的“one touch touch”方式。seggpt通過提示一個或多個示例圖像和意圖面具來掌握用戶的意圖，并根據(jù)意圖進行分割等操作。只要用戶在畫面上表示識別一種物體，無論是現(xiàn)在的畫面還是其他畫面，都可以定量地識別和分割同類物體。

“一觸即通”或“一通百通”意味著視覺模型理解了形象結(jié)構(gòu)。sam的精細腳注功能與seggpt的通用分割腳注功能相結(jié)合，可以在像素排列中分析任何圖像，以像生物視覺一樣理解任何場景。