自主和半自动车辆的感知算法可以遇到具有错误物体检测的情况，例如路上的对象错误分类，这可能导致安全违规和可能致命的后果。虽然对象检测算法和在线度量学习的稳健性具有很大的工作，但对基准评分指标几乎没有研究，以确定可能错误分类的任何可能指标。强调探索在线采取这些评分指标的潜力，以便允许AV使基于感知的决定进行实时约束。在这项工作中，我们探讨了哪些指标作为在线指示符时，当感知算法和对象检测器发生故障时。我们的工作提供了关于在线指标的更好设计原则和特征的洞察力，以准确评估物体探测器的可信度。我们的方法采用了非对抗和现实的图像扰动，我们评估了各种定量度量。我们发现离线指标可以设计成考虑到真实世界的腐败，例如恶劣的天气状况，并且这些指标的分析可以为设计在线指标提供SEGUE。这是一个明确的下一步，因为它可以允许无错误的自主车辆感知和更安全的时间 - 关键和安全关键决策。

In this paper we establish rigorous benchmarks for image classifier robustness. Our first benchmark, IMAGENET-C, standardizes and expands the corruption robustness topic, while showing which classifiers are preferable in safety-critical applications. Then we propose a new dataset called IMAGENET-P which enables researchers to benchmark a classifier's robustness to common perturbations. Unlike recent robustness research, this benchmark evaluates performance on common corruptions and perturbations not worst-case adversarial perturbations. We find that there are negligible changes in relative corruption robustness from AlexNet classifiers to ResNet classifiers. Afterward we discover ways to enhance corruption and perturbation robustness. We even find that a bypassed adversarial defense provides substantial common perturbation robustness. Together our benchmarks may aid future work toward networks that robustly generalize.

深神网络的对象探测器正在不断发展，并用于多种应用程序，每个应用程序都有自己的要求集。尽管关键安全应用需要高准确性和可靠性，但低延迟任务需要资源和节能网络。不断提出了实时探测器，在高影响现实世界中是必需的，但是它们过分强调了准确性和速度的提高，而其他功能（例如多功能性，鲁棒性，资源和能源效率）则被省略。现有网络的参考基准不存在，设计新网络的标准评估指南也不存在，从而导致比较模棱两可和不一致的比较。因此，我们对广泛的数据集进行了多个实时探测器（基于锚点，关键器和变压器）的全面研究，并报告了一系列广泛指标的结果。我们还研究了变量，例如图像大小，锚固尺寸，置信阈值和架构层对整体性能的影响。我们分析了检测网络的鲁棒性，以防止分配变化，自然腐败和对抗性攻击。此外，我们提供了校准分析来评估预测的可靠性。最后，为了强调现实世界的影响，我们对自动驾驶和医疗保健应用进行了两个独特的案例研究。为了进一步衡量关键实时应用程序中网络的能力，我们报告了在Edge设备上部署检测网络后的性能。我们广泛的实证研究可以作为工业界对现有网络做出明智选择的指南。我们还希望激发研究社区的设计和评估网络的新方向，该网络着重于更大而整体的概述，以实现深远的影响。

近年来，由于3D数据收集和深度学习技术的进步，对点云的3D对象检测已取得了重大进展。然而，3D场景表现出很多变化，并且容易出现传感器的不准确性以及预处理过程中的信息丢失。因此，对于针对这些变化的设计技术至关重要。这需要详细的分析和理解此类变化的影响。这项工作旨在分析和基准基于流行的基于点的3D对象检测器，以针对几个数据损坏。据我们所知，我们是第一个研究基于点的3D对象探测器的鲁棒性的人。为此，我们设计和评估涉及数据添加，减少和更改的损坏。我们进一步研究了不同模块对局部和全球变化的鲁棒性。我们的实验结果揭示了一些有趣的发现。例如，与在点级别上使用变压器相比，我们表明在补丁或对象级别集成变压器的方法会增加鲁棒性。

Although Deep Neural Networks (DNNs) have achieved impressive results in computer vision, their exposed vulnerability to adversarial attacks remains a serious concern. A series of works has shown that by adding elaborate perturbations to images, DNNs could have catastrophic degradation in performance metrics. And this phenomenon does not only exist in the digital space but also in the physical space. Therefore, estimating the security of these DNNs-based systems is critical for safely deploying them in the real world, especially for security-critical applications, e.g., autonomous cars, video surveillance, and medical diagnosis. In this paper, we focus on physical adversarial attacks and provide a comprehensive survey of over 150 existing papers. We first clarify the concept of the physical adversarial attack and analyze its characteristics. Then, we define the adversarial medium, essential to perform attacks in the physical world. Next, we present the physical adversarial attack methods in task order: classification, detection, and re-identification, and introduce their performance in solving the trilemma: effectiveness, stealthiness, and robustness. In the end, we discuss the current challenges and potential future directions.

安全部署自动驾驶汽车（SDC）需要彻底模拟和现场测试。大多数测试技术考虑在仿真环境中的虚拟化SDC，而较少的努力旨在评估这些技术是否转移到并对物理现实世界的车辆有效。在本文中，我们在部署在物理小型车辆上的虚拟模拟对应物上时，我们利用驴车开源框架对SDC的测试测试。在我们的实证研究中，我们研究了虚拟和真实环境之间的行为和失败风险在大量损坏和对抗的环境中的可转移性。虽然大量测试结果在虚拟和物理环境之间进行转移，但我们还确定了有助于虚拟和物理世界之间的现实差距的关键缺点，威胁到应用于物理SDC时现有的测试解决方案的潜力。

对象检测神经网络模型需要在高度动态和安全至关重要的环境（例如自动驾驶或机器人技术）中可靠地执行。因此，在意外硬件故障（例如软误差）下验证检测的鲁棒性至关重要，这些故障可能会影响系统感知模块。基于平均精度的标准指标会在对象级别而不是图像级别产生模型漏洞估计。正如我们在本文中所显示的那样，这并不能提供直观或代表性的指标，表明是由基础记忆中的位翻转引起的无声数据损坏的安全性影响，而是导致典型断层诱导危害的过度估计或低估。为了关注与安全相关的实时应用程序，我们提出了一个新的度量IVMOD（图像漏洞测量的对象检测），以基于错误的图像检测（FPS）或假阴性为基于图像的对象检测，以量化漏洞（FNS）对象，结合严重性分析。对几个代表性对象检测模型的评估表明，即使是单个位翻转也可能导致严重的无声数据腐败事件，具有潜在的关键安全性，例如，（大于）生成的100 fps或最多可产生。 90％的真实阳性（TPS）在图像中丢失。此外，在单个卡住的情况下，可能会影响整个图像序列，从而导致暂时持续的幽灵检测，这些检测可能被误认为是实际对象（覆盖了大约83％的图像）。此外，场景中的实际物体被持续遗漏（最多约有64％的TPS）。我们的工作建立了对此类关键工作负载与硬件故障的安全相关脆弱性的详细理解。

由于捕获的图像中的严重噪音，弱光下的场景推断是一个具有挑战性的问题。减少噪音的一种方法是在捕获过程中使用更长的曝光。但是，在有运动（场景或相机运动）的存在下，较长的暴露会导致运动模糊，从而导致图像信息的丢失。这在这两种图像降解之间创造了权衡取舍：运动模糊（由于长期暴露）与噪声（由于曝光短），也称为本文中的双图像损坏对。随着摄像机的兴起，能够同时捕获同一场景的多次暴露，因此可以克服这一权衡。我们的主要观察结果是，尽管这些不同图像捕获的降解的数量和性质各不相同，但在所有图像中，语义内容保持不变。为此，我们提出了一种方法，以利用这些多曝光捕获在弱光和运动下的鲁棒推理。我们的方法建立在功能一致性损失的基础上，以鼓励这些单个捕获的类似结果，并利用其最终预测的合奏来实现强大的视觉识别。我们证明了方法对模拟图像的有效性以及具有多个暴露的真实捕获，以及对象检测和图像分类的任务。

现实世界的对抗例（通常以补丁形式）对安全关键计算机视觉任务中的深度学习模型（如在自动驾驶中的视觉感知）中使用深度学习模型构成严重威胁。本文涉及用不同类型的对抗性斑块攻击时，对语义分割模型的稳健性进行了广泛的评价，包括数字，模拟和物理。提出了一种新的损失功能，提高攻击者在诱导像素错误分类方面的能力。此外，提出了一种新的攻击策略，提高了在场景中放置补丁的转换方法的期望。最后，首先扩展用于检测对抗性补丁的最先进的方法以应对语义分割模型，然后改进以获得实时性能，并最终在现实世界场景中进行评估。实验结果表明，尽管具有数字和真实攻击的对抗效果，其影响通常在空间上限制在补丁周围的图像区域。这将打开关于实时语义分段模型的空间稳健性的进一步疑问。

用于计算机视觉任务的深度神经网络在越来越安全 - 严重和社会影响的应用中部署，激励需要在各种，天然存在的成像条件下关闭模型性能的差距。在包括对抗机器学习的多种上下文中尤为色难地使用的鲁棒性，然后指在自然诱导的图像损坏或改变下保持模型性能。我们进行系统审查，以识别，分析和总结当前定义以及对计算机愿景深度学习中的非对抗鲁棒性的进展。我们发现，该研究领域已经收到了相对于对抗机器学习的不成比例地注意力，但存在显着的稳健性差距，这些差距通常表现在性能下降中与对抗条件相似。为了在上下文中提供更透明的稳健性定义，我们引入了数据生成过程的结构因果模型，并将非对抗性鲁棒性解释为模型在损坏的图像上的行为，其对应于来自未纳入数据分布的低概率样本。然后，我们确定提高神经网络鲁棒性的关键架构，数据增强和优化策略。这种稳健性的这种因果观察表明，目前文献中的常见做法，关于鲁棒性策略和评估，对应于因果概念，例如软干预导致成像条件的决定性分布。通过我们的调查结果和分析，我们提供了对未来研究如何可能介意这种明显和显着的非对抗的鲁棒性差距的观点。

最近的作品表明，深度学习模型容易受到后门中毒攻击的影响，在这些攻击中，这些攻击灌输了与外部触发模式或物体（例如贴纸，太阳镜等）的虚假相关性。我们发现这种外部触发信号是不必要的，因为可以使用基于旋转的图像转换轻松插入高效的后门。我们的方法通过旋转有限数量的对象并将其标记错误来构建中毒数据集；一旦接受过培训，受害者的模型将在运行时间推理期间做出不良的预测。它表现出明显的攻击成功率，同时通过有关图像分类和对象检测任务的全面实证研究来保持清洁绩效。此外，我们评估了标准数据增强技术和针对我们的攻击的四种不同的后门防御措施，发现它们都无法作为一致的缓解方法。正如我们在图像分类和对象检测应用程序中所示，我们的攻击只能在现实世界中轻松部署在现实世界中。总体而言，我们的工作突出了一个新的，简单的，物理上可实现的，高效的矢量，用于后门攻击。我们的视频演示可在https://youtu.be/6jif8wnx34m上找到。

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

对象探测器对于许多现代计算机视觉应用至关重要。但是，即使是最新的对象探测器也不是完美的。在两个看起来与人眼类似的图像上，同一探测器可以做出不同的预测，因为摄像机传感器噪声和照明变化等小图像变形。这个问题称为不一致。现有的准确性指标不能正确解释不一致的情况，并且在该领域的类似工作仅针对人造图像扭曲的改善。因此，我们提出了一种使用非人工视频框架来测量对象检测一致性，随着时间的流逝，跨帧的方法来测量对象检测一致性。使用此方法，我们表明，来自多个对象跟踪挑战的不同视频数据集，现代对象检测器的一致性范围从83.2％至97.1％。最后，我们表明应用图像失真校正（例如.WEBP图像压缩和UNSHARP遮罩）可以提高一致性多达5.1％，而准确性没有损失。

视觉检测是自动驾驶的关键任务，它是自动驾驶计划和控制的关键基础。深度神经网络在各种视觉任务中取得了令人鼓舞的结果，但众所周知，它们容易受到对抗性攻击的影响。在人们改善其稳健性之前，需要对深层视觉探测器的脆弱性进行全面的了解。但是，只有少数对抗性攻击/防御工程集中在对象检测上，其中大多数仅采用分类和/或本地化损失，而忽略了目的方面。在本文中，我们确定了Yolo探测器中与物体相关的严重相关对抗性脆弱性，并提出了针对自动驾驶汽车视觉检测物质方面的有效攻击策略。此外，为了解决这种脆弱性，我们提出了一种新的客观性训练方法，以进行视觉检测。实验表明，针对目标方面的拟议攻击比分别在KITTI和COCO流量数据集中分类和/或本地化损失产生的攻击效率高45.17％和43.50％。此外，拟议的对抗防御方法可以分别在Kitti和Coco交通方面提高检测器对目标攻击的鲁棒性高达21％和12％的地图。

自治车辆和机器人需要越来越多的鲁棒性和可靠性，以满足现代任务的需求。这些要求特别适用于相机，因为它们是获取环境和支持行动的信息的主要传感器。相机必须保持适当的功能，并在必要时采取自动对策。但是，几乎没有作品，审查了相机的一般情况监测方法的实际应用，并在设想的高级别应用程序中设计对策。我们为基于数据和物理接地模型的相机提出了一种通用和可解释的自我保健框架。为此，我们通过比较传统和血液的机器学习的方法，确定一种可靠的两种可靠，实时的估计，用于诸如难以释放的情况（Defocus Blur，运动模糊，不同噪声现象和最常见的噪声现象和最常见的组合）的典型图像效果广泛的实验。此外，我们展示了如何根据实验（非线性和非单调）输入 - 输出性能曲线来调整相机参数（例如，曝光时间和ISO增益）以实现最佳的全系统能力，使用对象检测，运动模糊和传感器噪声作为示例。我们的框架不仅提供了一种实用的即用的解决方案，可以评估和维护摄像机的健康，但也可以作为扩展来解决更复杂的问题的基础，以凭经验组合附加的数据源（例如，传感器或环境参数或环境参数）为了获得完全可靠和强大的机器。

自主驾驶应用中的对象检测意味着语义对象的检测和跟踪通常是城市驾驶环境的原产，作为行人和车辆。最先进的基于深度学习的物体检测中的主要挑战之一是假阳性，其出现过于自信得分。由于安全问题，这在自动驾驶和其他关键机器人感知域中是非常不可取的。本文提出了一种通过将新的概率层引入测试中的深度对象检测网络来缓解过度自信预测问题的方法。建议的方法避免了传统的乙状结肠或Softmax预测层，其通常产生过度自信预测。证明所提出的技术在不降低真实阳性上的性能的情况下降低了误报的过度频率。通过yolov4和第二（基于LiDar的探测器）对2D-Kitti异点检测验证了该方法。该方法使得能够实现可解释的概率预测，而无需重新培训网络，因此非常实用。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

在对象检测中，当检测器未能检测到目标对象时，会出现假阴性。为了了解为什么对象检测产生假阴性，我们确定了五个“假负机制”，其中每个机制都描述了检测器体系结构内部的特定组件如何失败。着眼于两阶段和一阶段锚点对象检测器体系结构，我们引入了一个框架，用于量化这些虚假的负面机制。使用此框架，我们调查了为什么更快的R-CNN和视网膜无法检测基准视觉数据集和机器人数据集中的对象。我们表明，检测器的假负机制在计算机视觉基准数据集和机器人部署方案之间存在显着差异。这对为机器人应用程序开发的对象检测器的翻译具有影响。

随着点云上的3D对象检测依赖于点之间的几何关系，非标准对象形状可以妨碍方法的检测能力。然而，在安全关键环境中，在分销外和长尾样品上的鲁棒性是对规避危险问题的基础，例如损坏或稀有汽车的误读。在这项工作中，我们通过在训练期间考虑到变形的点云来大大改善3D对象探测器的概括到域名数据。我们通过3D-VFIEL实现这一点：一种新的方法，可以通过越野时代的载体衡量物体。我们的方法将3D点限制以沿着传感器视图幻灯片幻灯片，而既不添加也不添加它们中的任何一个。所获得的载体是可转移的，独立于样的和保持形状平滑度和闭塞。通过在训练期间使用这些载体场产生的变形来增强正常样本，我们显着改善了对不同形状物体的鲁棒性，例如损坏/变形汽车，即使仅在基蒂训练。为此，我们提出并分享开源Crashd：现实损坏和稀有汽车的合成数据集，具有各种碰撞情景。在Kitti，Waymo，我们的Crashd和Sun RGB-D上进行了广泛的实验，表明了我们对室内和室外场景的域外数据，不同型号和传感器，即LIDAR和TOF相机的技术的高度普遍性。我们的crashd数据集可在https://crashd-cars.github.io上获得。

The task of locating and classifying different types of vehicles has become a vital element in numerous applications of automation and intelligent systems ranging from traffic surveillance to vehicle identification and many more. In recent times, Deep Learning models have been dominating the field of vehicle detection. Yet, Bangladeshi vehicle detection has remained a relatively unexplored area. One of the main goals of vehicle detection is its real-time application, where `You Only Look Once' (YOLO) models have proven to be the most effective architecture. In this work, intending to find the best-suited YOLO architecture for fast and accurate vehicle detection from traffic images in Bangladesh, we have conducted a performance analysis of different variants of the YOLO-based architectures such as YOLOV3, YOLOV5s, and YOLOV5x. The models were trained on a dataset containing 7390 images belonging to 21 types of vehicles comprising samples from the DhakaAI dataset, the Poribohon-BD dataset, and our self-collected images. After thorough quantitative and qualitative analysis, we found the YOLOV5x variant to be the best-suited model, performing better than YOLOv3 and YOLOv5s models respectively by 7 & 4 percent in mAP, and 12 & 8.5 percent in terms of Accuracy.