Deep Texture-Aware Features for Camouflaged Object Detection
论文阅读：Deep Texture-Aware Features for Camouflaged Object Detection
Deep Texture-Aware Features for Camouflaged Object Detection阅读笔记_Ma lidong的博客-CSDN博客
本文提出通过 texture-aware refinement module（TARM）模块来学习深度卷积神经网络中的纹理感知特征，从而放大伪装物体和背景之间的细微纹理差异，实现伪装物体检测。纹理感知细化模块计算特征响应的协方差矩阵以提取纹理信息，设计一个 affinity loss 来学习一组参数图，帮助分离伪装物体和背景之间的纹理，并采用边界一致性损失来探索物体的细节结构。
给定输入图像，采用特征提取器提取多种分辨率的特征图，然后利用residual refine blocks（RRB）细化不同层次的特征图，以增强细节和去除背景噪声。
由于内存占用较大，我们忽略了在第一层细化特征图。接下来，我们提出了纹理细化模块(TARM)来学习纹理特征，这有助于提高伪装对象的可见性。
最后，我们预测二进制掩码，通过在多层添加监督信号来指示每层伪装的对象。
首先，输入图像$（C×H×W）$使用 $1×1$ 的卷积运算获得多个特征图$（C_1×H×W）$。为了计算效率，这里的 $C_1$ 小于 $C$。
接下来，计算协方差矩阵，以获得卷积特征上不同响应之间的相关性，描述特征的组合，并用于表示纹理信息。首先计算特征图每个像素$（C_1×1）$与自身的转置$（1×C_1）$的内积，得到协方差矩阵$（C_1×C_1）$。然后采用该矩阵的上三角形式来表示纹理特征，并将结果整形为特征向量。对每一个像素都执行相同操作，最后得到协方差特征图$（C_1×（C_1+1））/2×H×W$。然后将这些协方差特征图拼接，经过一个 $3×3$ 的卷积融合这些协方差特征图。
然后，使用两组3x3的卷积分别获得两组不同的参数图 $γ$ 和 $β$ ，用于调整输入特征的纹理, 放大伪装对象和背景的差异
$$ f _ { o u t } = \operatorname { conv } \left( \gamma \frac { f _ { i n } ^ { \prime } - \mu \left( f _ { i n } ^ { \prime } \right) } { \sigma \left( f _ { i n } ^ { \prime } \right) } + \beta \right) + f _ { i n } $$
$f_{in}$ 是输入图像，$µ$ 和 $σ$ 是其均值和方差，$f_{in}'$ 是经过3×3卷积提取的特征图，conv是一个3×3卷积。
为了使特征图 $γ$ 和 $β$ 捕捉伪装对象和背景之间的纹理差异，我们采用Affinity Loss来放大纹理特征之间的差异。对于真值图像，进行下采用后，采用以下公式求得亲和力矩阵 $A^{gt}$.
$$ A _ { m , n } ^ { g t } = 2 \times \mathbb { 1 } _ { \left\{ C _ { m } = C _ { n } \right\} } - 1 $$