轨迹预测是自动车辆(AVS)执行安全规划和导航的关键组件。然而,很少有研究分析了轨迹预测的对抗性稳健性,或者调查了最坏情况的预测是否仍然可以导致安全规划。为了弥合这种差距,我们通过提出普通车辆轨迹来最大化预测误差来研究轨迹预测模型的对抗鲁棒性。我们在三个模型和三个数据集上的实验表明,对手预测将预测误差增加超过150%。我们的案例研究表明,如果对手在对手轨迹之后驱动靠近目标AV的车辆,则AV可以进行不准确的预测,甚至不安全的驾驶决策。我们还通过数据增强和轨迹平滑探索可能的缓解技术。
translated by 谷歌翻译
不同对象之间的闭塞是多对象跟踪(MOT)中的典型挑战,这通常导致由于丢失的检测到的对象导致较差的跟踪结果。多对象跟踪中的常见做法是重新识别出现后的错过对象。虽然重新识别可以提高跟踪性能,但是需要培训型号的身份的注释。此外,这种重新识别的做法仍然不能在探测器错过时跟踪那些高度遮挡的物体。在本文中,我们专注于在线多目标跟踪和设计两种新颖的模块,无监督的重新识别学习模块和遮挡估计模块,处理这些问题。具体地,所提出的无监督重新识别学习模块不需要任何(伪)身份信息,也不需要缩放性问题。所提出的遮挡估计模块尝试预测闭塞发生的位置,其用于估计探测器错过对象的位置。我们的研究表明,当应用于最先进的MOT方法时,所提出的无监督的重新识别学习与监督重新识别学习相当,并且通过所提出的遮挡估计模块进一步改善了跟踪性能。
translated by 谷歌翻译
通过使用图像级分类掩模监督其学习过程,弱监督对象本地化(WSOL)放宽对对象本地化的密度注释的要求。然而,当前的WSOL方法遭受背景位置的过度激活,并且需要后处理以获得定位掩模。本文将这些问题归因于背景提示的不明显,并提出了背景感知分类激活映射(B-CAM),以便仅使用图像级标签同时学习对象和背景的本地化分数。在我们的B-CAM中,两个图像级功能,由潜在背景和对象位置的像素级别功能聚合,用于从对象相关的背景中净化对象功能,并表示纯背景样本的功能,分别。然后基于这两个特征,学习对象分类器和背景分类器,以确定二进制对象本地化掩码。我们的B-CAM可以基于提出的错开分类损失以端到端的方式培训,这不仅可以改善对象本地化,而且还抑制了背景激活。实验表明,我们的B-CAM在Cub-200,OpenImages和VOC2012数据集上优于一级WSOL方法。
translated by 谷歌翻译
我们介绍了一种新的数据驱动方法,具有基于物理的前沿,从单个偏振图像到场景级正常估计。来自偏振(SFP)的现有形状主要专注于估计单个物体的正常,而不是野外的复杂场景。高质量场景级SFP的关键障碍是复杂场景中缺乏现实世界的SFP数据。因此,我们贡献了第一个现实世界场景级SFP数据集,具有配对输入偏振图像和地理正常映射。然后,我们提出了一种基于学习的框架,具有多头自我注意模块和观察编码,该框架被设计为处理由场景级SFP中的复杂材料和非正交投影引起的增加的偏振模糊。由于偏振光和表面法线之间的关系不受距离的影响,我们训练的模型可以广泛地展开到远场户外场景。实验结果表明,我们的方法在两个数据集中显着优于现有的SFP模型。我们的数据集和源代码将公开可用于\ url {https://github.com/chenyanglei/sfp-wild}。
translated by 谷歌翻译
基于梯度的残差训练的方法(RESNET)通常需要输入数据的前进通过,然后将误差梯度反向传播到更新模型参数,这变得耗费网络变得更深。为了破坏前向和向后模式的算法锁定和利用同步模块并行性,辅助变量方法最近吸引了很多兴趣,但遭受了重大的沟通开销和缺乏数据增强。在这项工作中,通过交易外部辅助变量的存储和重新计算,建立了一种用于跨多个计算设备训练现实Resnet的新颖联合学习框架。更具体地,每个独立处理器的输入数据是从其低容量辅助网络(AUXNET)生成的,这允许使用数据增强并实现前向解锁。然后并行地执行后向通过,每个丢失函数源自惩罚或增强拉格朗日(AL)方法。最后,采用所提出的AUXNET通过端到端培训过程重现更新的辅助变量。我们展示了我们在CIFAR-10,CIFAR-100和Imagenet数据集中展示了我们对RESNET和WIMERESNET的效果,实现了传统的层串行训练方法的加速,同时保持了可比的测试精度。
translated by 谷歌翻译
由于自我关注模块的二次空间和时间复杂性,基于变压器的模型在处理长序列中是不高的。为了解决此限制,建议通过分别通过低维投影和行选择来降低线性(模数对数因子)的二次复杂度。这两种型号本质上连接,并了解他们的连接,我们介绍了矩阵素描的理论框架。基于理论分析,我们提出了Skeinformer加速自我关注,进一步提高了三个精心设计的组件的自我关注的准确性:列采样,自适应行标准化和飞行员采样重新利用。关于长距离竞技场(LRA)基准的实验表明,我们的方法以始终如一的较小时间/空间占地面积优于替代方案。
translated by 谷歌翻译
在本文中,我们首先尝试调查深度哈希学习与车辆重新识别的集成。我们提出了一个深度哈希的车辆重新识别框架,被称为DVHN,这基本上减少了存储器使用,并在预留最接近的邻居搜索精度的同时提高检索效率。具体地,〜DVHN通过联合优化特征学习网络和哈希码生成模块,直接为每个图像直接学习离散的紧凑型二进制哈希代码。具体地,我们直接将来自卷积神经网络的输出限制为离散二进制代码,并确保学习的二进制代码是对分类的最佳选择。为了优化深度离散散列框架,我们进一步提出了一种用于学习二进制相似性保存散列代码的交替最小化方法。在两个广泛研究的车辆重新识别数据集 - \ textbf {sportid}和\ textbf {veri} - 〜〜\ textbf {veri} - 〜已经证明了我们对最先进的深哈希方法的方法的优越性。 2048美元的TextBF {DVHN}价格可以实现13.94 \%和10.21 \%的准确性改进\ textbf {map}和\ textbf {stuckbf {stank @ 1}的\ textbf {stuckid(800)} dataSet。对于\ textbf {veri},我们分别实现了35.45 \%和32.72 \%\ textbf {rank @ 1}和\​​ textbf {map}的性能增益。
translated by 谷歌翻译
我们提出了一种小说的无参考质量评估度量,图像转移点云质量评估(IT-PCQA),用于3D点云。对于质量评估,深度神经网络(DNN)在无参考度量设计上显示了令人信服的性能。但是,无引用PCQA最具挑战性的问题是我们缺乏大规模的主观数据库来驱动强大的网络。我们的动机是人类视觉系统(HVS)是决策者,无论质量评估的媒体类型如何。利用自然图像的丰富主观评分,我们可以通过DNN探讨人类感知的评估标准,并将预测的能力转移到3D点云。特别是,我们将自然图像视为源域和点云作为目标域,并通过无监督的对抗域适应推断云质量。为了提取有效的潜在特征并最小化域差异,我们提出了分层特征编码器和条件鉴别网络。考虑到最终目的是回归客观评分,我们在条件鉴别网络中引入了一种新的条件跨熵损失,以惩罚阻碍质量回归网络的收敛的负样本。实验结果表明,该方法可以实现比传统的无参考度量更高的性能,甚至与全引用度量的相当结果。该方法还表明,在没有昂贵和繁琐的主观评估的情况下评估特定媒体内容质量的可行性。
translated by 谷歌翻译
神经辐射场(NERF)最近获得了令人印象深刻的新型观点综合能力的普及。本文研究了幻觉的nerf问题:即,在一组旅游形象的一天的不同时间恢复现实的nerf。现有解决方案采用NERF具有可控外观嵌入,以在各种条件下呈现新颖的视图,但不能以看不见的外观呈现视图 - 一致的图像。为了解决这个问题,我们提出了一种用于构建幻觉的nerf的端到端框架,称为H-nerf。具体地,我们提出了一种外观幻觉模块,以处理时变的外观,并将其转移到新颖的视图中。考虑到旅游图像的复杂遮挡,引入防遮挡模块以准确地分解静态受体的静态对象。合成数据和真实旅游照片集合的实验结果表明,我们的方法不仅可以幻觉所需的外观,还可以从不同视图中呈现无遮挡图像。项目和补充材料可在https://rover-xingyu.github.io/h-nerf/上获得。
translated by 谷歌翻译
深度加强学习(DRL)在解决许多应用中解决了序贯决策时的巨大潜力。尽管在现实世界的情景下部署DRL时,尽管具有很有希望的表现,但存在实际差距。一个主要障碍是过度拟合的问题,导致DRL学习的政策的普遍性差。特别是,对于具有观测数据的离线DRL,模型选择是一个具有挑战性的任务,因为没有用于仿真环境的绩效演示的地面真相,与模拟环境的在线设置相比。在这项工作中,我们提出了一种悲观的模型选择(PMS)方法,用于脱机DRL,具有理论上的保证,它具有可用于查找一组候选模型中的最佳政策的可怕有效框架。还提出了两种精致的方法来解决DRL模型在识别最佳政策方面的潜在偏见。数值研究表明了我们对现有方法方法的卓越性能。
translated by 谷歌翻译