|
泡泡點(diǎn)云時空，帶你精讀點(diǎn)云領(lǐng)域頂級會議文章 標(biāo)題：Diffusion Probabilistic Models for 3D Point Cloud Generation 作者：Luo, Shitong, and Wei Hu 來源：CVPR 2021 編譯：鞠季宏 審核：阮建源 王志勇 這是點(diǎn)云時空推送的第282篇推文，歡迎個人轉(zhuǎn)發(fā)朋友圈；其他機(jī)構(gòu)或自媒體如需轉(zhuǎn)載，后臺留言申請授權(quán)，同時歡迎留言交流，大家的支持和鼓勵是我們前進(jìn)的動力。  摘要  我們提出了一個用于點(diǎn)云生成的概率模型，它可以被用于多種 3D 視覺任務(wù)的基礎(chǔ)，例如形狀補(bǔ)全、上采樣、合成和數(shù)據(jù)增強(qiáng)。受非平衡熱力學(xué)中擴(kuò)散過程的啟發(fā)，我們將點(diǎn)云中的點(diǎn)視為與熱庫（heat bath）接觸的熱力學(xué)系統(tǒng)中的粒子，其從原始分布擴(kuò)散成為噪聲分布。因此，點(diǎn)云生成相當(dāng)于學(xué)習(xí)將噪聲分布轉(zhuǎn)換為所需形狀分布的反向擴(kuò)散過程。具體來說，我們提出將點(diǎn)云的反向擴(kuò)散過程建模為以某種隱式形狀（shape latent）為條件的馬爾可夫鏈。我們推導(dǎo)出訓(xùn)練時封閉形式的變分邊界，并提供了模型的實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，我們的模型在點(diǎn)云生成和自動編碼方面取得了有競爭力的表現(xiàn)。代碼位于 https://github.com/luost26/diffusion-point-cloud diffusion-point-cloud。 主要貢獻(xiàn) · 文章受非平衡熱力學(xué)中的擴(kuò)散過程啟發(fā)，提出了一種新的點(diǎn)云概率生成模型。 · 作者從點(diǎn)云基于形狀的條件似然的變分下限推導(dǎo)出一個易于處理的訓(xùn)練目標(biāo)。 · 大量實(shí)驗(yàn)表明我們的模型實(shí)現(xiàn)了在點(diǎn)云生成和自動編碼有競爭力的性能 方法概述 本文中作者將點(diǎn)云看作是從概率分布中取樣生成的，每一個點(diǎn)都是該概率分布的獨(dú)立同分布（i.i.d）采樣。類似于圖像的擴(kuò)散概率模型，當(dāng)我們向點(diǎn)云引入噪音時，點(diǎn)云會逐步從與形狀有關(guān)的復(fù)雜分布變?yōu)楦咚狗植嫉脑胍?，這一過程被稱作正向擴(kuò)散過程。點(diǎn)云的生成模型可以被視作是如圖二所示的逆向擴(kuò)散過程：根據(jù)一個高斯分布取樣作為噪音點(diǎn)云，訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)以形狀為條件逐步對該噪音點(diǎn)云減噪，直至點(diǎn)云恢復(fù)其本來的形狀。  Figure 2 展示了從噪音點(diǎn)云逆擴(kuò)散生成點(diǎn)云的過程可以由一個馬爾科夫鏈模型表示。點(diǎn)云中的每一個點(diǎn)由 x(T) 開始以轉(zhuǎn)移概率 p****θ(x(t-1)|x(t),z) 逐步減噪（逆擴(kuò)散）為目標(biāo)點(diǎn)云 x(0)。其中 θ 表示可學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)參數(shù)參數(shù)，z 表示與形狀有關(guān)的潛變量。 生成點(diǎn)云時，從正態(tài)分布取樣w，經(jīng)先驗(yàn)flow模型映射為形狀變量z。同時從正態(tài)分布取樣噪音點(diǎn)云 x(T)。通過一系列逆向擴(kuò)散過程，噪音點(diǎn)云以形狀z為條件逐漸減噪為目標(biāo)點(diǎn)云 x(0)。  訓(xùn)練時，數(shù)據(jù)集中的點(diǎn)云經(jīng)過編碼器 φ 編碼為形狀潛碼 z 正態(tài)分布的均值和方差，再使用與變分編碼器（VAE）中的重新參數(shù)化技巧相同的方式取樣形狀潛碼 z。如下圖所示，輸入點(diǎn)云隨后經(jīng)過一系列前向擴(kuò)散過程逐漸變?yōu)樵胍酎c(diǎn)云。訓(xùn)練目標(biāo)函數(shù)采用條件似然概率的變分下限，以最大化似然訓(xùn)練數(shù)據(jù)集的似然概率。具體的損失函數(shù)定義、公式推導(dǎo)已經(jīng)為提高訓(xùn)練效率選取的近似值請參考下方原文鏈接。  需要注意的是，變分自動編碼器VAE的先驗(yàn)概率選用正態(tài)分布，本文應(yīng)用 Flow 模型將簡單的正態(tài)分布映射 p(w) 到更復(fù)雜的分布模型 p(z)。訓(xùn)練時，q(z|x(0) 經(jīng)過逆向的 Flow 映射回 w， 損失函數(shù)包含 w 的先驗(yàn)概率分布和后驗(yàn)概率分布之間 KL 散度。 實(shí)驗(yàn)結(jié)果  文章選用 ShapeNet 數(shù)據(jù)集進(jìn)行點(diǎn)云生成實(shí)驗(yàn)、點(diǎn)云重建以及點(diǎn)云特征提取實(shí)驗(yàn)。 Table 1 總結(jié)了擴(kuò)散概率模型與包括GAN、Flow模型在內(nèi)的其他點(diǎn)云生成方法相比在最小匹配距離 (MMD), 覆蓋分?jǐn)?shù) (COV), 最近鄰分類器準(zhǔn)確率(1-NNA)以及 Jenson-Shannon 散度 (JSD) 上可以 SOTA 方法媲美。 下圖展示了一些生成點(diǎn)云的樣例，包含了飛機(jī)和椅子兩個分類。 Table 2 列出了擴(kuò)散概率模型自動編碼重建性能。其重建點(diǎn)云與原始點(diǎn)云之間的 Chamfer 距離(CD) 和 動土距離 (MD) 也可以達(dá)到與 SOTA 相近的數(shù)值。 下圖給出了幾個點(diǎn)云重構(gòu)的例子，最左側(cè)一列是真實(shí)點(diǎn)云，然后依次是擴(kuò)散模型、ShapeGF 以及 AtlasNet。 Table 3 顯示擴(kuò)散概率模型與其他模型在表征學(xué)習(xí)方面的比較。只使用一個線性SVM作為分類器，擴(kuò)散概率模型學(xué)習(xí)的表征在ModelNet10和ModelNet40數(shù)據(jù)集上分別可以達(dá)到94.2%和87.6%的準(zhǔn)確率，與SOTA方法相近或更好。 Figure 6展示在潛變量空間插值變換獲得相應(yīng)點(diǎn)云的變化： 總結(jié) 文章將擴(kuò)散概率模型用于點(diǎn)云生成，推理時以形狀采樣為條件將噪音點(diǎn)云逆向擴(kuò)散為目標(biāo)點(diǎn)云；訓(xùn)練時將輸入正向擴(kuò)散為噪音點(diǎn)云，以從點(diǎn)云似然變分下限推導(dǎo)出的損失函數(shù)訓(xùn)練模型。· 實(shí)驗(yàn)表明這樣的擴(kuò)散模型實(shí)現(xiàn)了在點(diǎn)云生成、自動編碼以及表征學(xué)習(xí)任務(wù)實(shí)現(xiàn)了有競爭力的性能。 Abstract We present a probabilistic model for point cloud generation, which is fundamental for various 3D vision tasks such as shape completion, upsampling, synthesis and data augmentation. Inspired by the diffusion process in non-equilibrium thermodynamics, we view points in point clouds as particles in a thermodynamic system in contact with a heat bath, which diffuse from the original distribution to a noise distribution. Point cloud generation thus amounts to learning the reverse diffusion process that transforms the noise distribution to the distribution of a desired shape. Specifically, we propose to model the reverse diffusion process for point clouds as a Markov chain conditioned on certain shape latent. We derive the variational bound in closed form for training and provide implementations of the model. Experimental results demonstrate that our model achieves competitive performance in point cloud generation and auto-encoding. The code is available at https://github.com/luost26/diffusionpoint-cloud |
|
|
