FDNet 使用离线离散余弦变换和在线可学习增强的方式让模型在频域中学习更多统计信息,同时使用特征对齐的方式对两种线索进行融合,另外构建了高阶关系模块借助频域信息来促使模型区分伪装和非伪装的细微差异。得益于频域信息的引入以及对所有频带系数的增强,该模型可以提取判别性信息提升伪装目标检测性能。

Detecting Camouflaged Object in Frequency Domain

Zhong_Detecting_Camouflaged_Object_in_Frequency_Domain_CVPR_2022_paper.pdf

CVPR2022-RGB信息不够用,频域信息来辅助!同济&优图&西南交大提出用频域信息辅助空域信息,进行准确伪装目标检测!

我们为 COD 任务提供了一个强大的网络,具有增强的频率线索。我们设计了一个具有频率感知损失的频率增强模块(FEM)和一个高阶关系模块(HOR),以更好地利用频域中的信息进行密集预测任务。

Untitled

Frequency enhancement module

Offline Discrete Cosine Transform

首先将输入的 RGB 图像 $x^{rgb} \in \mathbb{R}^{H \times W \times 3}$ 转换到 YCbCr空间 $x^{YCbCr } \in \mathbb{R}^{H \times W \times 3}$, 然后使用 $8\times 8$ 的窗口大小对 $x$ 进行切割, 其中的每一个 patch $\left\{ p _ { i , j } ^ { c } \mid 1 \leq i , j \leq \frac { H } { 8 } \right\}$, $c$ 为 path 的通道. 每个patch被DCT处理成频谱 $d _ { i , j } ^ { c } \in \mathbb { R } ^ { 8 \times 8 }$,其中每个值对应于某个频带的强度。然后, 对通道进行重新整理, 得到 $x _ { o } ^ { f r e q } \in \mathbb { R } ^ { \frac { H } { 8 } \times \frac { W } { 8 } \times 192 }$. 其中 192 = channel * 8 * 8,那么,原始颜色输入被变换到频域。

Online learnable enhancement

Untitled

Feature alignment

Untitled

作者引入频率信息来帮助区分伪装物体与背景或干扰物体。因此应该构建另一个模块来融合RGB域和信号域的特征,因为它们没有对齐,如上图所示。特征对齐是一个相辅相成的过程。伪装目标的频率特征是有区别的。RGB特征具有更大的感受域,可以补偿频率特征。由于之前的处理确保 $x^{rgb}$ 和 $x^{freq}$ 在空间上对齐,因此在本部分中,作者仅将频域与rgb域对齐。

High order frequency channel selection

在频域信息的帮助下,已经可以通过不可见的线索来提高网络的性能。然而,如果想要更好地区分伪装对象与其他非伪装对象,需要深入研究 $X_s^i$ 中不同像素之间的关系。具体来说,借助频域信息,可以从背景中分离出真实的伪装和干扰物体。然而,真实的伪装和干扰物体通常共享极其相似的结构信息,频域线索很难区分细微差异。一种直观的方法是引入注意力机制,以探索特征 $X_s^i$ 内不同像素的关系,这可能有助于区分细微差异。然而,常用的注意机制只能捕捉到低阶关系,并且不足以发现这些细微的差异。因此,作者提出了一个高阶关系模块(HOR)来解决这个问题。

Experiment

Untitled