尽管深度神经网络（DNNS）在环境感知任务上取得了令人印象深刻的表现，但它们对对抗性扰动的敏感性限制了它们在实际应用中的使用。在本文中，我们（i）提出了一种基于对复杂视觉任务的多任务感知（即深度估计和语义分割）的新型对抗扰动检测方案。具体而言，通过在输入图像的提取边缘，深度输出和分割输出之间的不一致之处检测到对抗性扰动。为了进一步提高这一技术，我们（ii）在所有三种方式之间发展了新颖的边缘一致性损失，从而提高了它们的初始一致性，从而支持我们的检测方案。我们通过采用各种已知攻击和图像噪声来验证检测方案的有效性。此外，我们（iii）开发了多任务对抗攻击，旨在欺骗这两个任务以及我们的检测方案。对城市景观和KITTI数据集的实验评估表明，在假设5％的假阳性率的假设下，最高100％的图像被正确检测为对抗性扰动，具体取决于扰动的强度。代码可在https://github.com/ifnspaml/advattackdet上找到。 https://youtu.be/kka6goywmh4的简短视频可提供定性结果。

场景理解对于打算在现实世界中运作的自主系统至关重要。单个任务网络仅根据场景的某些方面提取信息。另一方面，在多任务学习（MTL）中，这些单一任务是共同学习的，从而为任务提供了共享信息并获得更全面理解的机会。为此，我们开发了UNINET，这是一个统一的场景理解网络，可以准确有效地渗透重要的视力任务，包括对象检测，语义分割，实例分割，单眼深度估计和单眼实例深度预测。当这些任务查看不同的语义和几何信息时，它们可以彼此补充或冲突。因此，了解任务之间的关系可以提供有用的线索以实现互补信息共享。我们基于他们可以利用神经网络中学习的偏见和任务交互的观念，通过对抗攻击的镜头评估UNIN中的任务关系。使用不靶向和有针对性的攻击的城市景观数据集进行了广泛的实验表明，语义任务之间存在着强烈的相互作用，而几何任务也是如此。此外，我们表明语义和几何任务之间的关系是不对称的，并且随着我们朝着高级表示，它们的相互作用变得较弱。

现实世界的对抗例（通常以补丁形式）对安全关键计算机视觉任务中的深度学习模型（如在自动驾驶中的视觉感知）中使用深度学习模型构成严重威胁。本文涉及用不同类型的对抗性斑块攻击时，对语义分割模型的稳健性进行了广泛的评价，包括数字，模拟和物理。提出了一种新的损失功能，提高攻击者在诱导像素错误分类方面的能力。此外，提出了一种新的攻击策略，提高了在场景中放置补丁的转换方法的期望。最后，首先扩展用于检测对抗性补丁的最先进的方法以应对语义分割模型，然后改进以获得实时性能，并最终在现实世界场景中进行评估。实验结果表明，尽管具有数字和真实攻击的对抗效果，其影响通常在空间上限制在补丁周围的图像区域。这将打开关于实时语义分段模型的空间稳健性的进一步疑问。

多任务学习（MTL）是深度学习中的一个活动字段，其中我们通过利用任务之间的关系来共同学习多项任务。已经证明，与独立学习每个任务时，MTL有助于该模型共享任务之间的学习功能并增强预测。我们为2任务MTL问题提出了一个新的学习框架，它使用一个任务的预测作为另一个网络的输入来预测其他任务。我们定义了由循环一致性损失和对比学习，对齐和跨任务一致性损失的两个新的损失术语。这两个损耗都旨在实施模型以对准多个任务的预测，以便模型一致地预测。理论上我们证明，两次损失都帮助模型更有效地学习，并且在与直接预测的对齐方面更好地了解跨任务一致性损失。实验结果还表明，我们的拟议模型在基准城市景观和NYU数据集上实现了显着性能。

自动驾驶车辆中的环境感知通常严重依赖于深度神经网络（DNN），这些神经网络受到域的转移，导致DNN部署期间的性能大大降低。通常，通过无监督的域适应（UDA）方法解决了此问题，同时在源和目标域数据集上训练了训练，甚至仅以离线方式对目标数据进行训练。在这项工作中，我们进一步将无源的UDA方法扩展到了连续的，因此可以在单一图像的基础上进行语义细分。因此，我们的方法仅需要供应商（在源域中训练）和电流（未标记的目标域）相机图像的预训练模型。我们的方法持续batchNorm适应（CBNA）使用目标域图像以无监督的方式修改了批准层中的源域统计信息，从而在推理过程中可以提高稳定的性能。因此，与现有作品相反，我们的方法可以应用于在部署期间不断地以单位图像改进DNN，而无需访问源数据，而无需算法延迟，并且几乎没有计算开销。我们在各种源/目标域设置中显示了我们方法在语义分割中的一致有效性。代码可在https://github.com/ifnspaml/cbna上找到。

深度神经网络的图像分类容易受到对抗性扰动的影响。图像分类可以通过在输入图像中添加人造小且不可察觉的扰动来轻松愚弄。作为最有效的防御策略之一，提出了对抗性训练，以解决分类模型的脆弱性，其中创建了对抗性示例并在培训期间注入培训数据中。在过去的几年中，对分类模型的攻击和防御进行了深入研究。语义细分作为分类的扩展，最近也受到了极大的关注。最近的工作表明，需要大量的攻击迭代来创建有效的对抗性示例来欺骗分割模型。该观察结果既可以使鲁棒性评估和对分割模型的对抗性培训具有挑战性。在这项工作中，我们提出了一种称为SEGPGD的有效有效的分割攻击方法。此外，我们提供了收敛分析，以表明在相同数量的攻击迭代下，提出的SEGPGD可以创建比PGD更有效的对抗示例。此外，我们建议将SEGPGD应用于分割对抗训练的基础攻击方法。由于SEGPGD可以创建更有效的对抗性示例，因此使用SEGPGD的对抗训练可以提高分割模型的鲁棒性。我们的建议还通过对流行分割模型体系结构和标准分段数据集进行了验证。

多任务学习最近已成为对复杂场景的全面理解的有前途的解决方案。不仅具有适当设计的记忆效率，多任务模型都可以跨任务交换互补信号。在这项工作中，我们共同解决了2D语义分割，以及两个与几何相关的任务，即密集的深度，表面正常估计以及边缘估计，显示了它们对室内和室外数据集的好处。我们提出了一种新颖的多任务学习体系结构，该体系结构通过相关引导的注意力和自我注意力来利用配对的交叉任务交换，以增强所有任务的平均表示学习。我们考虑了三个多任务设置的广泛实验，与合成基准和真实基准中的竞争基准相比，我们的提案的好处。我们还将方法扩展到新型的多任务无监督域的适应设置。我们的代码可在https://github.com/cv-rits/densemtl上找到。

Pixel-wise prediction with deep neural network has become an effective paradigm for salient object detection (SOD) and achieved remarkable performance. However, very few SOD models are robust against adversarial attacks which are visually imperceptible for human visual attention. The previous work robust saliency (ROSA) shuffles the pre-segmented superpixels and then refines the coarse saliency map by the densely connected conditional random field (CRF). Different from ROSA that relies on various pre- and post-processings, this paper proposes a light-weight Learnable Noise (LeNo) to defend adversarial attacks for SOD models. LeNo preserves accuracy of SOD models on both adversarial and clean images, as well as inference speed. In general, LeNo consists of a simple shallow noise and noise estimation that embedded in the encoder and decoder of arbitrary SOD networks respectively. Inspired by the center prior of human visual attention mechanism, we initialize the shallow noise with a cross-shaped gaussian distribution for better defense against adversarial attacks. Instead of adding additional network components for post-processing, the proposed noise estimation modifies only one channel of the decoder. With the deeply-supervised noise-decoupled training on state-of-the-art RGB and RGB-D SOD networks, LeNo outperforms previous works not only on adversarial images but also on clean images, which contributes stronger robustness for SOD. Our code is available at https://github.com/ssecv/LeNo.

深度神经网络（DNNS）在各个领域都取得了出色的性能。但是，DNNS对对抗性示例（AE）的脆弱性阻碍了他们的部署到关键的安全应用程序。本文提出了一个新颖的AE检测框架，以值得信赖的预测为止。除了通过区分AE的异常关系与其增强版本（即邻居）与两个前景：表示相似性和标签一致性来区分检测。与监督的学习模型相比，使用现成的自我监督学习（SSL）模型用于提取表示形式，并预测其高度信息代表能力的标签。对于干净的样本，它们的表示和预测与邻居密切一致，而AE的邻居差异很大。此外，我们解释了这一观察结果，并表明，通过利用这种差异可以有效地检测到AE。我们为超越的有效性建立了严格的理由。此外，作为一种插件模型，超越的范围可以轻松与受过对抗训练的分类器（ATC）合作，从而实现最先进的（SOTA）鲁棒性精度。实验结果表明，超越表现的基线较大，尤其是在自适应攻击下。在SSL上建立的强大关系网络的授权下，我们发现超出了检测能力和速度方面优于基准。我们的代码将公开可用。

Although deep neural networks (DNNs) have achieved great success in many tasks, they can often be fooled by adversarial examples that are generated by adding small but purposeful distortions to natural examples. Previous studies to defend against adversarial examples mostly focused on refining the DNN models, but have either shown limited success or required expensive computation. We propose a new strategy, feature squeezing, that can be used to harden DNN models by detecting adversarial examples. Feature squeezing reduces the search space available to an adversary by coalescing samples that correspond to many different feature vectors in the original space into a single sample. By comparing a DNN model's prediction on the original input with that on squeezed inputs, feature squeezing detects adversarial examples with high accuracy and few false positives.This paper explores two feature squeezing methods: reducing the color bit depth of each pixel and spatial smoothing. These simple strategies are inexpensive and complementary to other defenses, and can be combined in a joint detection framework to achieve high detection rates against state-of-the-art attacks.

对卷积神经网络（CNN）的对抗性攻击的存在质疑这种模型对严重应用的适合度。攻击操纵输入图像，使得错误分类是在对人类观察者看上去正常的同时唤起的 - 因此它们不容易被检测到。在不同的上下文中，CNN隐藏层的反向传播激活（对给定输入的“特征响应”）有助于可视化人类“调试器” CNN“在计算其输出时对CNN”的看法。在这项工作中，我们提出了一种新颖的检测方法，以防止攻击。我们通过在特征响应中跟踪对抗扰动来做到这一点，从而可以使用平均局部空间熵自动检测。该方法不会改变原始的网络体系结构，并且完全可以解释。实验证实了我们对在Imagenet训练的大规模模型的最新攻击方法的有效性。

考虑到整个时间领域的信息有助于改善自动驾驶中的环境感知。但是，到目前为止，尚未研究暂时融合的神经网络是否容易受到故意产生的扰动，即对抗性攻击，或者时间历史是否是对它们的固有防御。在这项工作中，我们研究了用于对象检测的时间特征网络是否容易受到通用对抗性攻击的影响。我们评估了两种类型的攻击：整个图像和本地界面贴片的不可察觉噪声。在这两种情况下，使用PGD以白盒方式生成扰动。我们的实验证实，即使攻击时间的一部分时间都足以欺骗网络。我们在视觉上评估生成的扰动，以了解攻击功能。为了增强鲁棒性，我们使用5-PGD应用对抗训练。我们在Kitti和Nuscenes数据集上进行的实验证明了通过K-PGD鲁棒化的模型能够承受研究的攻击，同时保持基于地图的性能与未破坏模型的攻击。

尽管最近的密集预测问题的多任务学习的进步，但大多数方法都依赖于昂贵的标记数据集。在本文中，我们介绍了一个标签有效的方法，并在部分注释的数据上关注多密集预测任务，我们称之为多任务部分监督学习。我们提出了一种多任务培训程序，该程序成功利用任务关系在数据部分注释时监督其多任务学习。特别地，我们学会将每个任务对映射到联合成对任务空间，这使得通过在任务对上的另一个网络通过另一个网络以计算有效的方式共享信息，并通过保留高级信息来避免学习琐碎的交叉任务关系关于输入图像。我们严格证明，我们的提出方法有效利用了未标记的任务的图像，并且在三个标准基准测试中优于现有的半监督学习方法和相关方法。

在本文中，我们在不依赖于任何源域表示的情况下向“无监督域适应（UDA）的任务”的任务提供了一个解决方案。以前的UDA用于语义细分的方法使用在源域和目标域中的模型的同时训练，或者它们依赖于附加网络，在适应期间将源域知识重放到模型。相比之下，我们介绍了我们的小说无监督的批量适应（UBNA）方法，它将给定的预先训练模型适应未经使用的策略域而不使用 - 超出现有模型参数 - 任何源域表示（既不是数据或者，也可以在在线设置或仅以几滴方式使用从目标域中的几个未标记的图像中应用的。具体地，我们使用指数衰减的动量因子部分地将归一化层统计数据调整到目标域，从而将统计数据与两个域混合。通过评估语义分割的标准UDA基准测试，我们认为这优于一个没有适应的模型以及仅使用目标域中的统计数据的基线方法。与标准UDA方法相比，我们在源域表示的性能和使用之间报告权衡。

随着在图像识别中的快速进步和深度学习模型的使用，安全成为他们在安全关键系统中部署的主要关注点。由于深度学习模型的准确性和稳健性主要归因于训练样本的纯度，因此深度学习架构通常易于对抗性攻击。通过对正常图像进行微妙的扰动来获得对抗性攻击，这主要是人类，但可以严重混淆最先进的机器学习模型。什么特别的智能扰动或噪声在正常图像上添加了它导致深神经网络的灾难性分类？使用统计假设检测，我们发现条件变形自身偏析器（CVAE）令人惊讶地擅长检测难以察觉的图像扰动。在本文中，我们展示了CVAE如何有效地用于检测对图像分类网络的对抗攻击。我们展示了我们的成果，Cifar-10数据集，并展示了我们的方法如何为先前的方法提供可比性，以检测对手，同时不会与嘈杂的图像混淆，其中大多数现有方法都摇摇欲坠。

我们介绍了MGNET，这是一个多任务框架，用于单眼几何场景。我们将单眼几何场景的理解定义为两个已知任务的组合：全景分割和自我监管的单眼深度估计。全景分段不仅在语义上，而且在实例的基础上捕获完整场景。自我监督的单眼深度估计使用摄像机测量模型得出的几何约束，以便从单眼视频序列中测量深度。据我们所知，我们是第一个在一个模型中提出这两个任务的组合的人。我们的模型专注于低潜伏期，以实时在单个消费级GPU上实时提供快速推断。在部署过程中，我们的模型将产生密集的3D点云，其中具有来自单个高分辨率摄像头图像的实例意识到语义标签。我们对两个流行的自动驾驶基准（即CityScapes and Kitti）评估了模型，并在其他能够实时的方法中表现出竞争性能。源代码可从https://github.com/markusschoen/mgnet获得。

已知深度神经网络（DNN）容易受到用不可察觉的扰动制作的对抗性示例的影响，即，输入图像的微小变化会引起错误的分类，从而威胁着基于深度学习的部署系统的可靠性。经常采用对抗训练（AT）来通过训练损坏和干净的数据的混合物来提高DNN的鲁棒性。但是，大多数基于AT的方法在处理\ textit {转移的对抗示例}方面是无效的，这些方法是生成以欺骗各种防御模型的生成的，因此无法满足现实情况下提出的概括要求。此外，对抗性训练一般的国防模型不能对具有扰动的输入产生可解释的预测，而不同的领域专家则需要一个高度可解释的强大模型才能了解DNN的行为。在这项工作中，我们提出了一种基于Jacobian规范和选择性输入梯度正则化（J-SIGR）的方法，该方法通过Jacobian归一化提出了线性化的鲁棒性，还将基于扰动的显着性图正规化，以模仿模型的可解释预测。因此，我们既可以提高DNN的防御能力和高解释性。最后，我们评估了跨不同体系结构的方法，以针对强大的对抗性攻击。实验表明，提出的J-Sigr赋予了针对转移的对抗攻击的鲁棒性，我们还表明，来自神经网络的预测易于解释。

深度神经网络已被证明容易受到对抗图像的影响。常规攻击努力争取严格限制扰动的不可分割的对抗图像。最近，研究人员已采取行动探索可区分但非奇异的对抗图像，并证明色彩转化攻击是有效的。在这项工作中，我们提出了对抗颜色过滤器（ADVCF），这是一种新颖的颜色转换攻击，在简单颜色滤波器的参数空间中通过梯度信息进行了优化。特别是，明确指定了我们的颜色滤波器空间，以便从攻击和防御角度来对对抗性色转换进行系统的鲁棒性分析。相反，由于缺乏这种明确的空间，现有的颜色转换攻击并不能为系统分析提供机会。我们通过用户研究进一步进行了对成功率和图像可接受性的不同颜色转化攻击之间的广泛比较。其他结果为在另外三个视觉任务中针对ADVCF的模型鲁棒性提供了有趣的新见解。我们还强调了ADVCF的人类解剖性，该advcf在实际使用方案中有希望，并显示出比对图像可接受性和效率的最新人解释的色彩转化攻击的优越性。

深度神经网络（DNN）在近年来，包括自动驾驶感知任务，包括自主驾驶感知任务的令人印象深刻。另一方面，目前的深神经网络很容易被对抗性攻击所欺骗。此漏洞提高了重要的问题，特别是在安全关键型应用中。因此，攻击和捍卫DNN的研究已经获得了很多覆盖范围。在这项工作中，横跨距离估计，语义分割，运动检测和对象检测，对详细的对抗攻击应用于各种多任务视觉感知深网络。实验考虑了针对目标和未定位案件的白色和黑色盒子攻击，同时攻击任务并检查所有其他效果，除了检查应用简单防御方法的效果。我们通过比较和讨论实验结果，提出见解和未来工作来结束本文。攻击的可视化可在https://youtu.be/6aixn90Budy上获得。

深度神经网络针对对抗性例子的脆弱性已成为将这些模型部署在敏感领域中的重要问题。事实证明，针对这种攻击的明确防御是具有挑战性的，依赖于检测对抗样本的方法只有在攻击者忽略检测机制时才有效。在本文中，我们提出了一种原则性的对抗示例检测方法，该方法可以承受规范受限的白色框攻击。受K类分类问题的启发，我们训练K二进制分类器，其中I-th二进制分类器用于区分I类的清洁数据和其他类的对抗性样本。在测试时，我们首先使用训练有素的分类器获取输入的预测标签（例如k），然后使用k-th二进制分类器来确定输入是否为干净的样本（k类）或对抗的扰动示例（其他类）。我们进一步设计了一种生成方法来通过将每个二进制分类器解释为类别条件数据的无标准密度模型来检测/分类对抗示例。我们提供上述对抗性示例检测/分类方法的全面评估，并证明其竞争性能和引人注目的特性。