Abstract

Deep neural networks based object detection models have revolutionized computer vision and fueled the development of a wide range of visual recognition applications. However, recent studies have revealed that deep object detectors can be compromised under adver- sarial attacks, causing a victim detector to detect no object, fake ob- jects, or mislabeled objects. With object detection being used perva- sively in many security-critical applications, such as autonomous vehi- cles and smart cities, we argue that a holistic approach for an in-depth understanding of adversarial attacks and vulnerabilities of deep object detection systems is of utmost importance for the research community to develop robust defense mechanisms. This paper presents a framework for analyzing and evaluating vulnerabilities of the state-of-the-art object detectors under an adversarial lens, aiming to analyze and demystify the attack strategies, adverse effects, and costs, as well as the cross-model and cross-resolution transferability of attacks. Using a set of quantitative metrics, extensive experiments are performed on six representative deep object detectors from three popular families (YOLOv3, SSD, and Faster R-CNN) with two benchmark datasets (PASCAL VOC and MS COCO). We demonstrate that the proposed framework can serve as a methodical benchmark for analyzing adversarial behaviors and risks in real-time ob- ject detection systems. We conjecture that this framework can also serve as a tool to assess the security risks and the adversarial robustness of deep object detectors to be deployed in real-world applications.

攻击模块

下图中给出了proposed framework的概述。

基于DNN的目标检测与对抗攻击

基于DNN的目标检测是一个多任务的学习问题，其目的是为了使目标的检测更加简单。这个任务的目标是最小化检测(1) object existence, (2) bounding boxes, and (3) class labels of detected objects 的误差。

下面是论文中对于训练一个目标检测神经网络的描述：

那么我们的攻击对象的目标就应该是生成一个 $x'$ 使得：

尽管针对目标检测系统的对抗性攻击更加复杂，采用不同的公式，但它们通常利用公式（1）中一个或多个损失得出的梯度。这使得攻击算法能够细致地向输入图像注入扰动，使得输入中的微小变化将在受害者检测器的整个前向传播过程中被放大，并且变得足够大以改变一种或多种类型的预测结果（即，对象存在、边界框和类概率），下面我们分析了四种典型的目标检测系统攻击算法，了解了它们的特性，揭示了它们的工作原理。

TOG

TOG论文的作者基于迭代梯度方法开发了TOG攻击家族。使用梯度下降得到的恶意扰动让检测器给出所需的错误检测。在适当设置指定的检测

$\mathcal{O}^{*}(\boldsymbol{x})$

以及攻击损失 $\mathcal{L}^{*}$ 下, TOG一般可表述为：

TOG中提出了几种攻击方式，都是在上述公式的基础上做一些变形以达到不同的效果；

Untargeted attacks

非目标攻击欺骗受害者检测器随机误判，而不针对任何特定对象。如果对抗性示例可以让检测器给出任何形式的错误结果，例如让对象随机消失、伪造或错误标记，则认为此类攻击成功。

TOG利用了 $\mathcal{L}_{\text {obj }}, \mathcal{L}_{\text {bbox }}, \text { and } \mathcal{L}_{\text {class }}$ 的梯度，并制定了要执行的攻击：

如表1第2列所示，检测器无法识别在第1列正常输入上检测到的任何正确对象，但具体的效果在不同的输入图像和攻击算法中有所不同。

Object-vanishing attacks consistently

Object-vanishing attacks consistently使得受害者探测器不能定位和识别任何物体。TOG Vanising利用 $\mathcal{L}_{\mathrm{obj}}$ 的梯度来确定对象是否存在，并将攻击公式化如下：

$\boldsymbol{x}_{t+1}^{\prime}=\prod_{\boldsymbol{x}, \epsilon}\left[\boldsymbol{x}_{t}^{\prime}-\alpha_{\mathrm{TOG}} \Gamma\left(\nabla_{\boldsymbol{x}_{t}^{\prime}} \mathcal{L}_{\mathrm{obj}}\left(\boldsymbol{x}_{t}^{\prime}, \varnothing ; \boldsymbol{\theta}\right)\right)\right]$

专门针对目标消失的攻击，如果攻击成功，将使受害者探测器无法检测到任何目标，如表1第3列所示，在这两个示例中均未检测到任何目标。

Targeted object-mislabeling attacks consistently

故名思义，这个攻击方法就是让检测器将目标检测的类别检测错误。用恶意选择的标签去替换真实的标签，同时保留正确的检测框位置。在保持其他两个部分的渐变不变的情况下，TOG-mislabeling从 $\mathcal{O}^{*}(x)$ 中的每个对象。Patch的更新公式如下：

$\boldsymbol{x}_{t+1}^{\prime}=\prod_{\boldsymbol{x}, \epsilon}\left[\boldsymbol{x}_{t}^{\prime}-\alpha_{\operatorname{TOG}} \Gamma\left(\nabla_{\boldsymbol{x}_{t}^{\prime}} \mathcal{L}\left(\boldsymbol{x}_{t}^{\prime}, \boldsymbol{\mathcal { O }}^{*}(\boldsymbol{x}) ; \boldsymbol{\theta}\right)\right)\right]$

例如，表1第5列中停车标志牌被错误检测成了语言。请注意，人和车仍然可以在此攻击下被检测到，因为它们不是攻击目标，只有停车标志会被错误检测。

由于TOG不会攻击对象检测器中的特殊结构 (例如RPN)，因此它适用于单阶段和二阶段的网络。受攻击图像分类器的通用扰动的启发，TOG还开发了单向扰动，以在对象消失或对象制造攻击方面攻击深度对象检测器。通过在训练集和受害者检测器上训练通用扰动，可以在在线检测阶段将通用扰动应用于发送给受害者的任何输入。

DAG

DAG是一种无目标的随机攻击，首先手动分配IOU阈值以0.90作为二阶段模型的RPN中的非最大抑制 (NMS)的阈值。此攻击设置要求一个proposal region与另一个proposal region高度重叠 (> 90%)，以便修剪。在随后的网络进行边界框和类标签预测的细化之后，DAG为每个proposal region分配一个随机选择的标签，然后执行迭代梯度攻击以使用以下公式对proposal进行错误分类: