Yang_Uncertainty-Guided_Transformer_Reasoning_for_Camouflaged_Object_Detection_ICCV_2021_paper.pdf
我们提出了一种利用概率表示模型结合 Transformer 在不确定情况下进行显式推理的新方法，即不确定引导 Transformer 推理(UGTR)，用于伪装目标检测。其核心思想是首先学习 Backbone 输出的不确定性估计，然后通过注意力机制对这些不确定性区域进行推理，产生最终的预测。
Uncertainty Quantification Network
Uncertainty Quantification Network 学习每个像素位置的不确定性, 其估计每个像素位置种类的均值 $\mu p$ 以及方差 $\sigma_p$, 然后我们从分布 $c _ { p } \sim \mathcal { N } \left( \boldsymbol { \mu } _ { p } , \boldsymbol { \sigma } _ { p } \right)$ 采样得到预测的置信度分数. 我们进行 $K$ 次采样得到 $C _ { \text {init } } = \left\{ c ^ { ( 1 ) } , \ldots , c ^ { ( K ) } \right\}$, 我们可以简单地将 $C{init}$视为来自近似预测分布的经验样本，并通过计算方差来衡量模型对其预测的信心: $\mathbf { U } = \operatorname { Norm } \left( \operatorname { Var } \left( \mathrm { C } _ { \mathrm { init } } \right) \right)$.
为了训练此模块, 我们设计了一下的损失函数:
$$ \mathcal { L } _ { \mathrm { DLL } } = \mathcal { L } _ { \mathrm { BCE } } \left( c ^ { ( k ) } , \mathbf { C } _ { g t } \right) + \eta \cdot \mathcal { D } ( \mathcal { N } ( \boldsymbol { \mu } , \boldsymbol { \sigma } ) \| \mathcal { N } ( \mathbf { 0 } , \mathbf { I } ) ) $$
$U$ 代表了预测的不确定性, 但是 $\sigma$ 不就已经是不确定性了嘛
Uncertainty-Guided Transformer & Prototyping Transformer
Prototyping 流程为:
$$ \mathbf { A } _ { p , t } = \frac { e ^ { \kappa x _ { t } ^ { \mathrm { T } } f _ { p } } } { \sum _ { t = 1 } ^ { T } e ^ { \kappa x _ { t } ^ { \mathrm { T } } f _ { p } } }\\x _ { t } = \frac { \sum _ { p = 1 } ^ { h w } \mathbf { A } _ { p , t } f _ { p } } { \sum _ { p = 1 } ^ { h w } \mathbf { A } _ { p , t } } $$
其中, $\left. \mathbf { P } _ { F } = \left\{ p _ { f _ { 1 } } , \ldots , p _ { f _ { h w } } \right\} \right)$ 是添加了位置编码后的按 channel 展平的特征, $\mathbf { V } = \left\{ v _ { 1 } , \ldots , v _ { t } \right\}$ 是可以学习的参数, $\mathbf { X } _ { \text {init } } ^ { ( 0 ) } = \mathbf { V }$ .
