Simultaneously Localize, Segment and Rank the Camouflaged Objects

Lv_Simultaneously_Localize_Segment_and_Rank_the_Camouflaged_Objects_CVPR_2021_paper.pdf

GitHub - JingZhang617/COD-Rank-Localize-and-Segment

Simultaneously Localize, Segment and Rank the Camouflaged Objects阅读笔记_Ma lidong的博客-CSDN博客

  1. 本文提出了伪装对象排名（COR）和伪装对象定位（COL）这两个新任务，以估计伪装对象的难度并识别伪装对象明显的区域
  2. 为上述两个任务提供了相应的训练和测试数据集。
  3. 提出了Inferring the ranks of camouflaged objects框架，该框架结合了定位、分割和分等级三个功能。

CAM-FR 数据集

我们从CAMO数据集和COD10K数据集中选取一些图片进行定位标注和难度排名分级，并将该这个新的数据集称为CAM-FR。关于难度排名分级，是由观看者找到伪装对象所需要的时间长短来确定的。

Untitled

我们提出了额外的固定（"Fixation"）和排名（"Ranking"）标注，前者展示了使伪装物体可被检测到的区域，后者突出了伪装的程度。

大多数伪装物体在低级特征方面与背景缺乏明显的对比，对伪装物体的检测可能会借助于与一些 "鉴别性模式 "有关的特征，如脸部、眼睛或天线。我们认为，正是这些 "鉴别性图案 "使猎物被捕食者发现。对于 Background Matching，这些图案具有与周围环境不同的颜色，而对于 Disruptive Coloration，它们是复杂生境中的低对比度身体轮廓。为了更好地理解猎物的伪装属性，我们还建议揭示伪装物体最容易被探测到的区域，即伪装物体辨别区域定位 COL.

模型结构

Untitled

我们将“discriminative region”视为伪装对象明显的区域，该区域与周围的环境有更高的对比度。基于该发现，我们设计了一个联合伪装目标定位和分割的网络，如图Figure3。

使用ResNet50作为backbone，给定输入图像I，送入backbone，在不同阶段得到特征映射S1，S2，S3和S4。

使用Fixation Decoder获得Fixation Map（即discrimination region），该结果将与ground truth进行损失计算。然后将Fixation Map送入反向关注框架。

反向关注框架有一个与ResNet50相同的网络，然后使用Camouflage Decoder得到Camouflage Map。具体的来说，令Fixation Map为F，将1-F作为注意力与S1特征相乘。然后通过Camouflage Decoder得到Camouflage Map。

Untitled

实验