Camouflaged Object Segmentation with Distraction Mining

CVPR2021_PFNet

Mei_Camouflaged_Object_Segmentation_With_Distraction_Mining_CVPR_2021_paper.pdf

基于分心挖掘的伪装物体分割

GitHub - Mhaiyang/CVPR2021_PFNet

论文阅读:Camouflaged Object Segmentation with Distraction Mining

论文开发一个生物启发的定位和聚焦网络(Positioning and Focus Network, PFNet),包含两个关键模块,即定位模块(Positioning Module,PM)和聚焦模块(Focus Module,FM)。PM 被设计用来模仿捕食中的检测过程,从全局的角度定位潜在的目标物体,然后FM 被用来执行捕食中的识别过程,通过在歧义区域的聚焦来逐步细化粗糙的预测结果。

PM 由一个通道注意力模块和一个空间注意力模块组成,来捕获通道和空间位置方面的长范围的语义依赖,从而从全局角度推断伪装物体的初始位置。FM首先基于前景注意(或者背景注意)特征进行多尺度的上下文探索,发现假阳性(或者假阴性)干扰,然后去除这些干扰,得到目标物体更纯净的表示。

PM 模块

Untitled

FM 模块

本文首先对更高级别的预测进行上采样,然后使用 sigmoid 层对其进行归一化。将此归一化图及其取反版本与当前级别的特征 $F_c$ 相乘,分别生成前景注意的特征 $F_{fa}$ 和背景注意的特征 $F_{ba}$。最后,本文将这两种类型的特征送入两个并行的上 下文探索(CE)模块中来执行上下文推理,以分别发现假阳性分心 $F_{fpd}$ 和假阴性分心 $F_{fnd}$。

Untitled

在分心发现之后,本文可以按以下方式进行分心去除:

$$ \begin{aligned} F _ { u p } & = U \left( C B R \left( F _ { h } \right) \right) \\ F _ { r } & = B R \left( F _ { u p } - \alpha F _ { f p d } \right) \\ F _ { r } ^ { \prime } & = B R \left( F _ { r } + \beta F _ { f n d } \right) \end{aligned} $$

最后,在细化后的特征上应用卷积层,得到更准确的预测结果 $F'_r$。