segmenting：论文笔记-CVPR2019 Associatively Segmenting Instances and Semantics in Point Clouds 2024-04-26 03:04:40 0 0 标题-Associatively Segmenting Instances and Semantics in Point Clouds 作者-Xinlong Wang1 Shu Liu2 Xiaoyong Shen2 Chunhua Shen1 Jiaya Jia2;3 介绍 实例分割，语义分割：检测场景中由最小单位的集合代表的特定信息的区域。例如。一个点云可以分析成几组点，每个组表示一个类。或者一个单独的实例。 应用点：如自动驾驶，增强现实 现状：没有先进工作将两项任务结合。 冲突点：实例分割是要是被出同一类物体的不同实例，语义分割是想让同一类物体有同样的标签。 协作点：语义分割识别出不同的类，而不同实例肯定属于不同的类。实例分割将相同的标签赋予一个实例。因为同一个实例必定属于同一个类别。 简单结合方法：简单方法1：给出语义标签，在单独的标签基础上跑实例分割。缺点：实力分割很大程度上取决于语义分割的表现。简单方法2：给出实例标签，将所有实例分类将预测的类标签赋予该实例的每个点。缺点：不准确的实例预测会严重混淆downstream object classifiers。 这两种方法都是step-wise paradigm。都不是最优解法，效率低下。 本文将两项任务结合到一起成端到端平行的训练框架。 作者首先介绍了同时分割语义和实例的baseline。方法类似Semantic instance segmentation with a discriminative loss function.中对2D图片的方法，作者将网络修剪成适用于点云的。网络有两个分支：一个是每个点的语义预测；另一个输出点级的嵌套(embeddings), 属于同一个实例的点集靠近，不属于的远离。该baseline在训练和表现上已经比state-of-the-art的SGPN表现好了。基于该基线，提出了ASIS 利用提出的ASIS方法，网络可以学习语义感知的实例嵌套，其中属于不同语义类的点的嵌入通过特征融合进一步自动分离。 效果： 不同类的点之间间距更大。如1中桌子椅子，2中窗户和墙，3中椅子柜子。此外，利用同一实例中点的语义特征进行融合，使每点的语义预测更加准确。语义分割期间一个点会被分配成一个类别，因为包含这个点的实例属于该类别。 该方法对不同的主干网络适用，如PointNet和PointNet++。也可以用于全景分割(Panoptic segmentation 收藏（0）