Z6·尊龙凯时「中国」官方网站

申请试用
登录
核心技术
以原创技术体系为根基，SenseCore商汤AI大装置为核心基座，布局多领域、多方向前沿研究，
快速打通AI在各个垂直场景中的应用，向行业赋能。

CVPR 2021 | ShapeInversion: 基于GAN逆映射的无监督点云补全方法

2021-08-10

在CVPR 2021上，z6尊龙官方网站-南洋理工大学联合 AI 研究中心 S-Lab 提出了基于GAN逆映射的无监督点云补全方法：ShapeInversion。与已有的全监督方法相比，ShapeInversion首次将生成对抗网络(GAN)逆映射引入到点云补全中。利用GAN提供的先验知识，ShapeInversion不仅在已有的基线上媲美众多有监督方法，还展示了显著的泛化能力，对真实世界的残缺扫描和各种形式的残缺输入以及不完整程度给出了鲁棒的结果。同时，ShapeInversion提供一系列额外的功能，例如对有歧义的残缺点云提供合理的多解，以及对给定完整点云的编辑。

论文名称: Unsupervised 3D Shape Completion through GAN Inversion



Part 1 问题和挑战


点云补全任务是基于一个物体的残缺点云估计物体的完整形状。点云补全对诸多下游任务至关重要，例如三维场景理解，机器人导航等。大多数点云补全方法在很大程度上依赖于成对的残缺-完整点云，并以全监督方式进行学习。尽管它们在域内数据上的表现令人印象深刻，但泛化到其他形式的残缺点云或现实世界的残缺扫描时，由于域的差距（如下图a-d），往往无法获得令人满意的结果。另外，给定一个残缺点云，这些训练方法往往只输出唯一的完整点云，即使该残缺点云可能对应多个合理的完整形状（如下图e）。


图片 1.png


Part 2 方法介绍


针对以上提出的问题，我们提出了一个新颖的框架ShapeInversion, 首次在点云补全任务中引入GAN逆映射。该方法充分利用预训练的GAN中的先验知识，并且不受残缺点云的域影响。如下图所示，一个潜码通过预训练的GAN生成一个完整点云，再通过一个三维降采样模块M转化为一个残缺点云，进而与输入的残缺点云计算损失函数。该框架利用梯度下降的方法反传损失函数来更新潜码并且微调预训练的GAN，从而使生成的完整点云与输入的残缺点云在课间部分最接近。


图片 1.png


该框架成功点关键在于如何应对3D数据固有的特性所带来的挑战：


1. 提高点云均匀度- PatchVariance


动机：不同于2D图片里固定的像素位置，3D点云数据具有极其非结构化的特性。因此，GAN生成的点云往往具有很差的均匀度，即点云不能均匀的分布在物体表面上。这种不均匀性可能引起一些空洞，进而影响点云的完整性。


方法：

我们提出一个新的均匀度损失函数，PatchVariance，用来GAN 预训练阶段提高点云的均匀度：我们在物体表面上随机选取n个点，利用k临近形成n个patch，再计算这n个patch密度的方差作为损失函数。

图片 1.png

以tree-GAN为例，如下图所示，PatchVariance可以有效的提高生成点云的均匀度，从而得到更高质量的点云。

图片 1.png

2. k-Mask – 三维的降采样模块


动机：

类比GAN逆映射在2D 图像修复任务中的应用，我们需要一个降采样的mask把生成的完整点云转化成与输入点云对应的残缺点云。然而，点云不规则和无序的特性使得点云补全任务与图像修复有显著区别。在2D 图片修复中，图片之间的像素对应关系显而易见，所以我们可以很容易计算出可见部分的损失函数。而在点云补全任务中，得到两个点云的之间点的对应关系通常比较困难，因为两个物体的对应区域很有可能处在三维空间中的不同位置，这给三维中的降采样模块增加了挑战。另外，这种对应关系往往比较模糊，并且因不同点云而异。

 

方法：

我们因此提出了k-Mask来动态的获得输入的残缺点云和任意输出的完整点云的对应关系。具体而言，对于残缺点云中的每一个点，我们利用欧几里得距离找到该点在给定完整点云中的k个对应点—来解决点对应关系模糊的问题。由此，残缺点云中所有点的k个对应点的合集就构成了与输入残缺点云对应的输出残缺点云：

1.jpg

如下图所示，对比基于预设阈值的基线方法， 如voxel-Mask和 t-mask, k-Mask可以提供精确而鲁棒的三维降采样。

图片 1.png


Part 3 实验结果


ShapeInversion在众多场景下却的了出色的表现。

 

首先，在ShapeNet基准上，ShapeInversion优于SOTA无监督方法，并可与用配对数据学习的有监督方法相媲美，如下表所示：

图片 1.png

第二， ShapeInversion在真实世界的数据和多种残缺的形式下表现了很好的泛化能力。如下图表示的真实世界下的结果：

图片 1.png

第三，当输入物体太过残缺因而产生不确定性，ShapeInversion可以提供多解，并且保证每个解都合理的反应残缺物体的可见部分：

图片 1.png

第四，由于GAN的引入，ShapeInversion 能够很好的实现对已知点云形状的编辑，如下面两图的扰动和差值：

图片 1.png

Part 4 总结


在本文中，我们提供了点云补全的无监督新框架ShapeInversion。该框架能够充分利用预训练中GAN的先验知识，并在多种残缺点云的域，包括真实残缺点云下取得令人满意的效果和泛化能力。由于预训练GAN的参与，ShapeInversion自然地实现了一系列额外的能力，例如为一个歧义的残缺输入产生多个合理的完整点云，以及对给定完整点云的编辑。


Part 5 作者介绍


张俊哲，新加坡南洋理工大学 S-Lab 和 MMLab@NTU 三年级博士生。师从吕健勤 (Chen Change Loy) 副教授和 Chai Kiat Yeo 副教授。当前主要研究兴趣包括三维重建和生成，点云补全等。

个人主页：https://junzhezhang.github.io/

项目主页

https://junzhezhang.github.io/projects/ShapeInversion/

arXiv

https://arxiv.org/abs/2104.13366 

代码地址

https://github.com/junzhezhang/shape-inversion

实验室主页

https://www.mmlab-ntu.com/

欢迎有兴趣实习/深造的学生关注官网，联系NTU@MMLab~

友情链接:百度一下 搜索 360搜索 网站首页
z6尊龙官方网站