由于自动驾驶系统变得更好,模拟自动堆栈可能失败的方案变得更加重要。传统上,这些方案对于一些关于将地理演奏器状态作为输入的规划模块而产生的一些场景。这不会缩放,无法识别所有可能的自主义故障,例如由于遮挡引起的感知故障。在本文中,我们提出了对基于LIDAR的自治系统产生了安全性临界情景的促进框架。鉴于初始交通方案,Advsim以物理卓越的方式修改演员的轨迹,并更新LIDAR传感器数据以匹配扰动的世界。重要的是,通过直接模拟传感器数据,我们获得对完整自主堆栈的安全关键的对抗方案。我们的实验表明,我们的方法是一般的,可以识别成千上万的语义有意义的安全关键方案,适用于各种现代自动驾驶系统。此外,我们表明,通过使用Advsim产生的情景训练,可以进一步改善这些系统的稳健性和安全性。
translated by 谷歌翻译
自治车辆的评估和改善规划需要可扩展的长尾交通方案。有用的是,这些情景必须是现实的和挑战性的,但不能安全地开车。在这项工作中,我们介绍努力,一种自动生成具有挑战性的场景的方法,导致给定的计划者产生不良行为,如冲突。为了维护情景合理性,关键的想法是利用基于图形的条件VAE的形式利用学习的交通运动模型。方案生成在该流量模型的潜在空间中制定了优化,通过扰乱初始的真实世界的场景来产生与给定计划者碰撞的轨迹。随后的优化用于找到“解决方案”的场景,确保改进给定的计划者是有用的。进一步的分析基于碰撞类型的群集生成的场景。我们攻击两名策划者并展示争取在这两种情况下成功地产生了现实,具有挑战性的情景。我们另外“关闭循环”并使用这些方案优化基于规则的策划器的超参数。
translated by 谷歌翻译
我们解决了由具有不同驱动程序行为的道路代理人填充的密集模拟交通环境中的自我车辆导航问题。由于其异构行为引起的代理人的不可预测性,这种环境中的导航是挑战。我们提出了一种新的仿真技术,包括丰富现有的交通模拟器,其具有与不同程度的侵略性程度相对应的行为丰富的轨迹。我们在驾驶员行为建模算法的帮助下生成这些轨迹。然后,我们使用丰富的模拟器培训深度加强学习(DRL)策略,包括一组高级车辆控制命令,并在测试时间使用此策略来执行密集流量的本地导航。我们的政策隐含地模拟了交通代理商之间的交互,并计算了自助式驾驶员机动,例如超速,超速,编织和突然道路变化的激进驾驶员演习的安全轨迹。我们增强的行为丰富的模拟器可用于生成由对应于不同驱动程序行为和流量密度的轨迹组成的数据集,我们的行为的导航方案可以与最先进的导航算法相结合。
translated by 谷歌翻译
自动驾驶汽车和卡车,自动车辆(AVS)不应被监管机构和公众接受,直到它们对安全性和可靠性有更高的信心 - 这可以通过测试最实际和令人信服地实现。但是,现有的测试方法不足以检查AV控制器的端到端行为,涉及与诸如行人和人机车辆等多个独立代理的交互的复杂,现实世界的角落案件。在街道和高速公路上的测试驾驶AVS无法捕获许多罕见的事件时,现有的基于仿真的测试方法主要关注简单的情景,并且不适合需要复杂的周围环境的复杂驾驶情况。为了解决这些限制,我们提出了一种新的模糊测试技术,称为AutoFuzz,可以利用广泛使用的AV模拟器的API语法。生成语义和时间有效的复杂驾驶场景(场景序列)。 AutoFuzz由API语法的受限神经网络(NN)进化搜索引导,以生成寻求寻找独特流量违规的方案。评估我们的原型基于最先进的学习的控制器,两个基于规则的控制器和一个工业级控制器,显示了高保真仿真环境中高效地找到了数百个流量违规。此外,通过AutoFuzz发现的基于学习的控制器进行了微调的控制器,成功减少了新版本的AV控制器软件中发现的流量违规。
translated by 谷歌翻译
许多最先进的ML模型在各种任务中具有优于图像分类的人类。具有如此出色的性能,ML模型今天被广泛使用。然而,存在对抗性攻击和数据中毒攻击的真正符合ML模型的稳健性。例如,Engstrom等人。证明了最先进的图像分类器可以容易地被任意图像上的小旋转欺骗。由于ML系统越来越纳入安全性和安全敏感的应用,对抗攻击和数据中毒攻击构成了相当大的威胁。本章侧重于ML安全的两个广泛和重要的领域:对抗攻击和数据中毒攻击。
translated by 谷歌翻译
现在是车辆轨迹预测是自动驾驶汽车的基本支柱。行业和研究社区都通过运行公共基准来承认这一柱的需求。而最先进的方法令人印象深刻,即,他们没有越野预测,他们对基准之外的城市的概括是未知的。在这项工作中,我们表明这些方法不会概括为新场景。我们提出了一种新颖的方法,可自动生成逼真的场景,导致最先进的模型越野。我们通过对抗场景生成的镜头来框架问题。我们推广基于原子场景生成功能的简单而有效的生成模型以及物理约束。我们的实验表明,可以在制作预测方法失败的方式中修改来自当前基准的超过60 000 \%$ 60 \%。我们进一步表明(i)生成的场景是现实的,因为它们确实存在于现实世界中,并且(ii)可用于使现有型号强大30-40%。代码可在https://sattack.github.io/处获得。
translated by 谷歌翻译
本文介绍了一种新的方法,为入境驾驶场景的自动车辆产生最佳轨迹。该方法使用两相优化过程计算轨迹。在第一阶段中,优化过程产生具有不同的曲率的闭形驾驶导向线。在第二阶段,该过程将驱动导向线作为输入输出,输出沿着导向线驾驶的车辆的动态可行,混蛋和时间最佳轨迹。该方法对于在弯曲道路上产生轨迹特别有用,其中车辆需要频繁加速和减速以适应离心机加速限制。
translated by 谷歌翻译
研究表明,自治车辆(AVS)在由人类驱动因素组成的交通环境中保守,不适应当地条件和社会文化规范。众所周知,如果存在理解人类驱动程序的行为,则可以设计社会意识的AVS。我们提出了一种利用机器学习来预测人类驱动程序的行为的方法。这类似于人类如何隐含地解释道路上司机的行为,只能观察其车辆的轨迹。我们使用图形理论工具从轨迹和机器学习中提取驾驶员行为特征,以在流量和驾驶员行为中获得车辆的提取轨迹之间的计算映射。与此域中的现有方法相比,我们证明我们的方法是强大的,一般的,并且可扩展到广泛的应用程序,如自主导航。我们评估我们在美国,印度,中国和新加坡捕获的现实世界交通数据集以及模拟中的方法。
translated by 谷歌翻译
深度神经网络(DNN)在近年来,包括自动驾驶感知任务,包括自主驾驶感知任务的令人印象深刻。另一方面,目前的深神经网络很容易被对抗性攻击所欺骗。此漏洞提高了重要的问题,特别是在安全关键型应用中。因此,攻击和捍卫DNN的研究已经获得了很多覆盖范围。在这项工作中,横跨距离估计,语义分割,运动检测和对象检测,对详细的对抗攻击应用于各种多任务视觉感知深网络。实验考虑了针对目标和未定位案件的白色和黑色盒子攻击,同时攻击任务并检查所有其他效果,除了检查应用简单防御方法的效果。我们通过比较和讨论实验结果,提出见解和未来工作来结束本文。攻击的可视化可在https://youtu.be/6aixn90Budy上获得。
translated by 谷歌翻译
发现危险场景在测试中至关重要,进一步改善驾驶政策。然而,进行有效的驾驶政策测试面临两个关键挑战。一方面,在测试训练有素的自主驾驶策略时,自然遇到危险情景的可能性很低。因此,通过纯粹的现实世界的道路测试发现这些情景非常昂贵。另一方面,这项任务需要正确确定事故责任。收集错误归属责任的情景将导致过度保守的自治驾驶策略。更具体地说,我们的目标是发现是自主车辆负责(AV-Orderible),即测试驾驶政策的脆弱性的危险场景。为此,这项工作通过基于多智能体增强学习来查找AV负责的方案(星)提出了安全测试框架。星星指导其他交通参与者生产AV-Consocalize情景,并通过引入危险仲裁奖励(Har)来制作不受检测的驾驶政策行为不端行为。哈尔使我们的框架能够发现多样化,复杂和AV负责任的危险场景。针对三种环境中四种不同驾驶政策的实验结果表明星星可以有效地发现AV负责任的危险情景。这些方案确实对应于测试驾驶策略的漏洞,因此对其进一步的改进是有意义的。
translated by 谷歌翻译
自动化驾驶系统(ADSS)近年来迅速进展。为确保这些系统的安全性和可靠性,在未来的群心部署之前正在进行广泛的测试。测试道路上的系统是最接近真实世界和理想的方法,但它非常昂贵。此外,使用此类现实世界测试覆盖稀有角案件是不可行的。因此,一种流行的替代方案是在一些设计精心设计的具有挑战性场景中评估广告的性能,A.k.a.基于场景的测试。高保真模拟器已广泛用于此设置中,以最大限度地提高测试的灵活性和便利性 - 如果发生的情况。虽然已经提出了许多作品,但为测试特定系统提供了各种框架/方法,但这些作品之间的比较和连接仍然缺失。为了弥合这一差距,在这项工作中,我们在高保真仿真中提供了基于场景的测试的通用制定,并对现有工作进行了文献综述。我们进一步比较了它们并呈现开放挑战以及潜在的未来研究方向。
translated by 谷歌翻译
深度神经网络容易受到来自对抗性投入的攻击,并且最近,特洛伊木马误解或劫持模型的决定。我们通过探索有界抗逆性示例空间和生成的对抗网络内的自然输入空间来揭示有界面的对抗性实例 - 通用自然主义侵害贴片的兴趣类 - 我们呼叫TNT。现在,一个对手可以用一个自然主义的补丁来手臂自己,不太恶意,身体上可实现,高效 - 实现高攻击成功率和普遍性。 TNT是普遍的,因为在场景中的TNT中捕获的任何输入图像都将:i)误导网络(未确定的攻击);或ii)迫使网络进行恶意决定(有针对性的攻击)。现在,有趣的是,一个对抗性补丁攻击者有可能发挥更大的控制水平 - 选择一个独立,自然的贴片的能力,与被限制为嘈杂的扰动的触发器 - 到目前为止只有可能与特洛伊木马攻击方法有可能干扰模型建设过程,以嵌入风险发现的后门;但是,仍然意识到在物理世界中部署的补丁。通过对大型视觉分类任务的广泛实验,想象成在其整个验证集50,000张图像中进行评估,我们展示了TNT的现实威胁和攻击的稳健性。我们展示了攻击的概括,以创建比现有最先进的方法实现更高攻击成功率的补丁。我们的结果表明,攻击对不同的视觉分类任务(CIFAR-10,GTSRB,PUBFIG)和多个最先进的深神经网络,如WieredEnet50,Inception-V3和VGG-16。
translated by 谷歌翻译
基于深度神经网络(DNN)的智能信息(IOT)系统已被广泛部署在现实世界中。然而,发现DNNS易受对抗性示例的影响,这提高了人们对智能物联网系统的可靠性和安全性的担忧。测试和评估IOT系统的稳健性成为必要和必要。最近已经提出了各种攻击和策略,但效率问题仍未纠正。现有方法是计算地广泛或耗时,这在实践中不适用。在本文中,我们提出了一种称为攻击启发GaN(AI-GaN)的新框架,在有条件地产生对抗性实例。曾经接受过培训,可以有效地给予对抗扰动的输入图像和目标类。我们在白盒设置的不同数据集中应用AI-GaN,黑匣子设置和由最先进的防御保护的目标模型。通过广泛的实验,AI-GaN实现了高攻击成功率,优于现有方法,并显着降低了生成时间。此外,首次,AI-GaN成功地缩放到复杂的数据集。 Cifar-100和Imagenet,所有课程中的成功率约为90美元。
translated by 谷歌翻译
在本文中,我们描述了如何利用明亮的调制光源(例如,廉价,离心激光器)来利用CMOS图像传感器中的电子滚动快门。我们展示了七种不同CMOS相机的攻击,从IoT廉价到半专业监控摄像机,以突出滚动快门攻击的广泛适用性。我们模拟了影响不受控制的设置中滚动快门攻击的基本因素。然后,我们对对象检测任务的攻击作用进行了详尽的评估,研究了攻击参数的效果。我们验证了我们对两个独立相机收集的经验数据的模型,表明通过简单地使用来自相机数据表的信息,对手可以准确地预测注入的失真大小并相应地优化它们的攻击。我们发现,通过选择适当的攻击参数,对手可以通过最先进的探测器隐藏高达75%的物体。我们还调查了与NA \“{i} vers致盲攻击相比攻击的隐秘,表明常见的图像失真度量无法检测到攻击存在。因此,我们向骨干展示了一种新的,准确和轻巧的增强对象检测器的网络识别滚动快门攻击。总体而言,我们的结果表明,滚动快门攻击可以大大降低基于视觉智能系统的性能和可靠性。
translated by 谷歌翻译
安全部署自动驾驶汽车(SDC)需要彻底模拟和现场测试。大多数测试技术考虑在仿真环境中的虚拟化SDC,而较少的努力旨在评估这些技术是否转移到并对物理现实世界的车辆有效。在本文中,我们在部署在物理小型车辆上的虚拟模拟对应物上时,我们利用驴车开源框架对SDC的测试测试。在我们的实证研究中,我们研究了虚拟和真实环境之间的行为和失败风险在大量损坏和对抗的环境中的可转移性。虽然大量测试结果在虚拟和物理环境之间进行转移,但我们还确定了有助于虚拟和物理世界之间的现实差距的关键缺点,威胁到应用于物理SDC时现有的测试解决方案的潜力。
translated by 谷歌翻译
受益于深度神经网络的发展,多物体跟踪(MOT)取得了积极进展。目前,基于实时的联合检测跟踪(JDT)的MOT跟踪器增加了越来越多的关注并导出了许多优秀的型号。然而,JDT跟踪器的稳健性很少研究,因为它的成熟协会算法攻击MOT系统是挑战,因为其成熟的协会算法被设计为在跟踪期间对错误进行稳健。在这项工作中,我们分析了JDT跟踪器的弱点,并提出了一种新的逆势攻击方法,称为Tracklet-Switch(Trasw),反对MOT的完整跟踪管道。具体地,旨在为重新ID特征和对象检测而生成对抗性示例的推挽损失和中心跳跃优化。 Trasw可以通过攻击极少帧来欺骗跟踪器无法跟踪后续帧中的目标。我们使用MOT挑战数据集(即2DMOT15,MOT17和MOT20)评估我们在高级深度跟踪器(即FAIRMOT,JDE,BYTTRATTRATT)上的方法。实验表明,通过仅对单一目标攻击平均攻击五个帧,Trasw可以通过仅攻击五个帧来实现超过95%的高度成功率,并且对于多目标攻击的相当高的成功率超过80%。该代码可在https://github.com/derryhub/fairmot-attack获得。
translated by 谷歌翻译
背景信息:在过去几年中,机器学习(ML)一直是许多创新的核心。然而,包括在所谓的“安全关键”系统中,例如汽车或航空的系统已经被证明是非常具有挑战性的,因为ML的范式转变为ML带来完全改变传统认证方法。目的:本文旨在阐明与ML为基础的安全关键系统认证有关的挑战,以及文献中提出的解决方案,以解决它们,回答问题的问题如何证明基于机器学习的安全关键系统?'方法:我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述(SLR),涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题,被认为是ML认证的主要支柱:鲁棒性,不确定性,解释性,验证,安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题,并提取了提取的论文的总结。结果:单反结果突出了社区对该主题的热情,以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系,以加深域名研究。最后,它还说明了必须在上面提到的主要支柱之间建立连接的必要性,这些主要柱主要主要研究。结论:我们强调了目前部署的努力,以实现ML基于ML的软件系统,并讨论了一些未来的研究方向。
translated by 谷歌翻译
机器学习模型容易受到对抗攻击的影响。在本文中,我们考虑将模型分发给多个用户的场景,其中恶意用户尝试攻击另一个用户。恶意用户探测其模型的副本以搜索对抗性样本,然后向受害者模型提出发现的样本以复制攻击。我们指出,通过将模型的不同副本分发给不同的用户,我们可以减轻攻击,使得在一份副本上发现的对手样本不会在另一个副本上工作。我们首先观察到培训具有不同随机性的模型确实减轻了某种程度的这种复制。但是,没有保证和再培训是计算昂贵的。接下来,我们提出了一种灵活的参数重写方法,可直接修改模型的参数。该方法不需要额外的训练,并且能够以更可控的方式在不同拷贝中诱导不同的对抗性样本。实验研究表明,我们的方法可以显着减轻攻击,同时保持高分类准确性。从这项研究中,我们认为有许多有价值的方向值得探索。
translated by 谷歌翻译
由于它们在各个域中的大量成功,深入的学习技术越来越多地用于设计网络入侵检测解决方案,该解决方案检测和减轻具有高精度检测速率和最小特征工程的未知和已知的攻击。但是,已经发现,深度学习模型容易受到可以误导模型的数据实例,以使所谓的分类决策不正确(对抗示例)。此类漏洞允许攻击者通过向恶意流量添加小的狡猾扰动来逃避检测并扰乱系统的关键功能。在计算机视觉域中广泛研究了深度对抗学习的问题;但是,它仍然是网络安全应用中的开放研究领域。因此,本调查探讨了在网络入侵检测领域采用对抗机器学习的不同方面的研究,以便为潜在解决方案提供方向。首先,调查研究基于它们对产生对抗性实例的贡献来分类,评估ML的NID对逆势示例的鲁棒性,并捍卫这些模型的这种攻击。其次,我们突出了调查研究中确定的特征。此外,我们讨论了现有的通用对抗攻击对NIDS领域的适用性,启动拟议攻击在现实世界方案中的可行性以及现有缓解解决方案的局限性。
translated by 谷歌翻译
对基于机器学习的分类器以及防御机制的对抗攻击已在单一标签分类问题的背景下广泛研究。在本文中,我们将注意力转移到多标签分类,其中关于所考虑的类别中的关系的域知识可以提供自然的方法来发现不连贯的预测,即与培训数据之外的对抗的例子相关的预测分配。我们在框架中探讨这种直觉,其中一阶逻辑知识被转换为约束并注入半监督的学习问题。在此设置中,约束分类器学会满足边际分布的域知识,并且可以自然地拒绝具有不连贯预测的样本。尽管我们的方法在训练期间没有利用任何对攻击的知识,但我们的实验分析令人惊讶地推出了域名知识约束可以有效地帮助检测对抗性示例,特别是如果攻击者未知这样的约束。
translated by 谷歌翻译