我們近期的工作：3D視覺大模型Uni3D在ICLR 2024的評審中獲得了688分，被選為Spotlight Presentation

在本文中，我們第一次將3D基礎(chǔ)模型成功scale up到了十億(1B)級別參數(shù)量，并使用一個模型在諸多3D下游應(yīng)用中取得SoTA結(jié)果。代碼和各個scale的模型（從6M-1B）均已開源，歡迎大家關(guān)注和使用：

論文：https://https://arxiv.org/pdf/2310.06773

代碼：https://https://github.com/baaivision/Uni3D

我們主要探索了3D視覺中scale up模型參數(shù)量和統(tǒng)一模型架構(gòu)的可能性。在NLP / 2D vision領(lǐng)域，scale up大模型（GPT-4，SAM，EVA等）已經(jīng)取得了很impressive的結(jié)果，但是在3D視覺中模型的scale up始終沒有成功。我們旨在將NLP/2D中scale up的成功復(fù)現(xiàn)到3D表征模型上。

在這項(xiàng)工作中，我們提出了一個3D基礎(chǔ)大模型Uni3D，直接將3D backbone統(tǒng)一為ViT（Vision Transformer），以此利用豐富和強(qiáng)大的2D預(yù)訓(xùn)練大模型作為初始化。Uni3D使用CLIP模型中的文本/圖像表征作為訓(xùn)練目標(biāo)，通過學(xué)習(xí)三個模態(tài)的表征對齊（點(diǎn)云-圖像-文本）實(shí)現(xiàn)3D點(diǎn)云對圖像和文本的感知。同時，通過使用ViT中成功的scale up策略，我們將Uni3D逐步 scale up，訓(xùn)練了從Tiny到giant的5個不同scale的Uni3D模型，成功地將Uni3D擴(kuò)展到10億級別參數(shù)。

Uni3D模型不同scale下的參數(shù)量和zero-shot分類結(jié)果

Uni3D在多個3D任務(wù)上達(dá)到SoTA，如：zero-shot classification, few-shot classification，open-world understanding, open-world part segmentation.

Zero-shot classification

Real-world zero-shot recognition

由于學(xué)到了強(qiáng)大的多模態(tài)表征能力，Uni3D還能夠做一些有意思的應(yīng)用，如point cloud painting（點(diǎn)云繪畫），text/image-based 3D shape retrieval（基于圖像/文本的3D模型檢索），point cloud captioning（點(diǎn)云描述）：

Point cloud painting

Image-based 3D shape retrieval

Text-based 3D shape retrieval

Point cloud captioning.