摘要??

我們提出了一個(gè)用于點(diǎn)云生成的概率模型，它可以被用于多種 3D 視覺(jué)任務(wù)的基礎(chǔ)，例如形狀補(bǔ)全、上采樣、合成和數(shù)據(jù)增強(qiáng)。受非平衡熱力學(xué)中擴(kuò)散過(guò)程的啟發(fā)，我們將點(diǎn)云中的點(diǎn)視為與熱庫(kù)（heat bath）接觸的熱力學(xué)系統(tǒng)中的粒子，其從原始分布擴(kuò)散成為噪聲分布。因此，點(diǎn)云生成相當(dāng)于學(xué)習(xí)將噪聲分布轉(zhuǎn)換為所需形狀分布的反向擴(kuò)散過(guò)程。

具體來(lái)說(shuō)，我們提出將點(diǎn)云的反向擴(kuò)散過(guò)程建模為以某種隱式形狀（shape latent）為條件的馬爾可夫鏈。我們推導(dǎo)出訓(xùn)練時(shí)封閉形式的變分邊界，并提供了模型的實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，我們的模型在點(diǎn)云生成和自動(dòng)編碼方面取得了有競(jìng)爭(zhēng)力的表現(xiàn)。

主要貢獻(xiàn)??

文章受非平衡熱力學(xué)中的擴(kuò)散過(guò)程啟發(fā)，提出了一種新的點(diǎn)云概率生成模型。 ? 作者從點(diǎn)云基于形狀的條件似然的變分下限推導(dǎo)出一個(gè)易于處理的訓(xùn)練目標(biāo)。

大量實(shí)驗(yàn)表明我們的模型實(shí)現(xiàn)了在點(diǎn)云生成和自動(dòng)編碼有競(jìng)爭(zhēng)力的性能

方法概述
? ????
本文中作者將點(diǎn)云看作是從概率分布中取樣生成的，每一個(gè)點(diǎn)都是該概率分布的獨(dú)立同分布（i.i.d）采樣。類似于圖像的擴(kuò)散概率模型，當(dāng)我們向點(diǎn)云引入噪音時(shí)，點(diǎn)云會(huì)逐步從與形狀有關(guān)的復(fù)雜分布變?yōu)楦咚狗植嫉脑胍?，這一過(guò)程被稱作正向擴(kuò)散過(guò)程。點(diǎn)云的生成模型可以被視作是如圖二所示的逆向擴(kuò)散過(guò)程：根據(jù)一個(gè)高斯分布取樣作為噪音點(diǎn)云，訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)以形狀為條件逐步對(duì)該噪音點(diǎn)云減噪，直至點(diǎn)云恢復(fù)其本來(lái)的形狀。
???

Figure 2 展示了從噪音點(diǎn)云逆擴(kuò)散生成點(diǎn)云的過(guò)程可以由一個(gè)馬爾科夫鏈模型表示。點(diǎn)云中的每一個(gè)點(diǎn)由 x(T) 開(kāi)始以轉(zhuǎn)移概率 p****θ(x(t-1)|x(t),z) 逐步減噪（逆擴(kuò)散）為目標(biāo)點(diǎn)云 x(0)。其中 θ 表示可學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)參數(shù)參數(shù)，z 表示與形狀有關(guān)的潛變量。

生成點(diǎn)云時(shí)，從正態(tài)分布取樣w，經(jīng)先驗(yàn)flow模型映射為形狀變量z。同時(shí)從正態(tài)分布取樣噪音點(diǎn)云 x(T)。通過(guò)一系列逆向擴(kuò)散過(guò)程，噪音點(diǎn)云以形狀z為條件逐漸減噪為目標(biāo)點(diǎn)云 x(0)。

????

訓(xùn)練時(shí)，數(shù)據(jù)集中的點(diǎn)云經(jīng)過(guò)編碼器 φ 編碼為形狀潛碼 z 正態(tài)分布的均值和方差，再使用與變分編碼器（VAE）中的重新參數(shù)化技巧相同的方式取樣形狀潛碼 z。如下圖所示，輸入點(diǎn)云隨后經(jīng)過(guò)一系列前向擴(kuò)散過(guò)程逐漸變?yōu)樵胍酎c(diǎn)云。訓(xùn)練目標(biāo)函數(shù)采用條件似然概率的變分下限，以最大化似然訓(xùn)練數(shù)據(jù)集的似然概率。

????

需要注意的是，變分自動(dòng)編碼器VAE的先驗(yàn)概率選用正態(tài)分布，本文應(yīng)用 Flow 模型將簡(jiǎn)單的正態(tài)分布映射 p(w) 到更復(fù)雜的分布模型 p(z)。訓(xùn)練時(shí)，q(z|x(0) 經(jīng)過(guò)逆向的 Flow 映射回 w， 損失函數(shù)包含 w 的先驗(yàn)概率分布和后驗(yàn)概率分布之間 KL 散度。

實(shí)驗(yàn)結(jié)果

? ????

文章選用 ShapeNet 數(shù)據(jù)集進(jìn)行點(diǎn)云生成實(shí)驗(yàn)、點(diǎn)云重建以及點(diǎn)云特征提取實(shí)驗(yàn)。 Table 1 總結(jié)了擴(kuò)散概率模型與包括GAN、Flow模型在內(nèi)的其他點(diǎn)云生成方法相比在最小匹配距離 (MMD), 覆蓋分?jǐn)?shù) (COV), 最近鄰分類器準(zhǔn)確率(1-NNA)以及 Jenson-Shannon 散度 (JSD) 上可以 SOTA 方法媲美。

????

下圖展示了一些生成點(diǎn)云的樣例，包含了飛機(jī)和椅子兩個(gè)分類。

???

Table 2 列出了擴(kuò)散概率模型自動(dòng)編碼重建性能。其重建點(diǎn)云與原始點(diǎn)云之間的 Chamfer 距離(CD) 和 動(dòng)土距離 (MD) 也可以達(dá)到與 SOTA 相近的數(shù)值。 ????

下圖給出了幾個(gè)點(diǎn)云重構(gòu)的例子，最左側(cè)一列是真實(shí)點(diǎn)云，然后依次是擴(kuò)散模型、ShapeGF 以及 AtlasNet。

???

Table 3 顯示擴(kuò)散概率模型與其他模型在表征學(xué)習(xí)方面的比較。只使用一個(gè)線性SVM作為分類器，擴(kuò)散概率模型學(xué)習(xí)的表征在ModelNet10和ModelNet40數(shù)據(jù)集上分別可以達(dá)到94.2%和87.6%的準(zhǔn)確率，與SOTA方法相近或更好。 ???

Figure 6展示在潛變量空間插值變換獲得相應(yīng)點(diǎn)云的變化：

總結(jié)

文章將擴(kuò)散概率模型用于點(diǎn)云生成，推理時(shí)以形狀采樣為條件將噪音點(diǎn)云逆向擴(kuò)散為目標(biāo)點(diǎn)云；訓(xùn)練時(shí)將輸入正向擴(kuò)散為噪音點(diǎn)云，以從點(diǎn)云似然變分下限推導(dǎo)出的損失函數(shù)訓(xùn)練模型。? 實(shí)驗(yàn)表明這樣的擴(kuò)散模型實(shí)現(xiàn)了在點(diǎn)云生成、自動(dòng)編碼以及表征學(xué)習(xí)任務(wù)實(shí)現(xiàn)了有競(jìng)爭(zhēng)力的性能。



審核編輯：劉清