ICLR2022: Unsupervised Semantic Segmentation by Distilling Feature Correspondences

Abstract

无监督语义分割因为训练时没有标注，所以需要让特征具有充分的语义信息的同时，让同一类物体对应的像素的特征足够紧凑。因此本文根据这两个特点，没有采用以往端到端的方式，而是将无监督语义分割拆分为提取特征和聚类两步。作者认为，目前的特征提取模块已经能很好地将同类特征放在一起了，因此本文创新点是通过全新的损失函数，鼓励模型将特征变得更加紧凑的同时不破坏不同分类之间的关系.

<aside> 💡 使用预训练的 DINO 作为特征提取器, DINO（Caron 等人，2021 年）在自监督学习框架内使用 ViT，该框架通过指数移动平均更新执行自蒸馏。卡隆等人。 (2021) 表明 DINO 的类注意力可以产生局部的和语义上有意义的显着对象分割。我们的工作表明，DINO 的特征不仅可以检测显着物体，还可以用于提取图像之间密集且具有语义意义的对应关系。在 STEGO 中，我们改进了这个预训练主干的特征，以在聚类时产生语义分割预测。我们关注 DINO 的嵌入是因为它们的质量，但请注意 STEGO 可以使用任何深度网络功能。

</aside>

Method

作者从经验上表明，经过预训练的特征提取backbone能够很好地将同一类的像素放在一起

Untitled

如图，左图是原图，在天空，摩托车和地面三个类上分别选择了一个参考像素，然后中间和右图是特征提取之后，每个点的像素修改为其所最接近的参考像素的颜色所得到的图，如果三个都不接近，那就说明被聚集到了其他特征聚类中。

可以看到，在原图提取后的图像中，大多数像素都正确地和参考像素放在了一起，天空大部分为蓝色，摩托车为红色，地面为绿色。即使是另一幅图，也因为主要构成的语义和原图相同，所以不同区域的颜色也同样成功聚类了。这说明特征提取能成功聚类，并且知识能够跨图像保留。

基于上面例子的结论，作者将中心放在了聚类上.

结构

Untitled

本文只训练一个分割分类头，其余部分要么是冻结参数绝对不参加训练的特征提取backbone，要么是传统方法。

backbone $\mathcal N$ 将两个图片 $x,x′$ 映射为特征 $f∈\mathbb R^{CHW}$, $g∈\mathbb R^{CIJ}$;
计算二者间的 feature correspondence

$$ F _ { h w i j } : = \sum _ { c } \frac { f _ { c h w } \cdot g _ { c i j } } { \left\| f _ { h w } \right\| \cdot \left\| g _ { i j } \right\| } $$

即 spatial element-wise 的 cosine similarity.