语义分割需要大量像素方式的注释,以容许准确的模型。在本文中,我们提出了一种基于视频预测的方法,通过综合新的训练样本来扩展训练集,以提高语义分割网络的准确性。我们利用视频预测模型预测未来帧的能力,以便预测未来的标签。还提出了联合传播策略以减少合成样品中的错误比对。我们证明了由合成样本增加的数据集上的训练分割模型导致准确性的显着改善。此外,我们引入了一种新颖的边界标签松弛技术,该技术使得对沿着对象边界的注释噪声和传播伪像具有鲁棒性。我们提出的方法在Cityscapes上实现了83.5%的最新技术,在CamVid上实现了82.9%。没有模型合奏的单一模型在KITTI语义分割测试集上达到了72.8%mIoU,超过了ROBchallenge 2018的获奖作品。我们的代码和视频可以在以下网址找到://nv-adlr.github.io/publication/2018 -分割。
translated by 谷歌翻译
当前最先进的视频理解方法采用时间抖动来模拟以不同帧速率分析视频。但是,这对于多速率视频效果不佳,其中动作或子动作的速度不同。帧采样率应根据不同的运动速度而变化。在这项工作中,我们提出了一个简单但有效的策略,称为随机时间跳过,以解决这种情况。该策略通过随机抽样评估培训有效地处理多速率视频。这是一种详尽的方法,可以涵盖所有的运动速度变化。此外,由于大量的时间跳过,我们的网络可以看到最初覆盖超过100帧的视频剪辑。这样的时间范围足以分析大多数动作/事件。我们还介绍了一种能够识别人类动作识别的改进运动图的一种感知识别光流学习方法。我们的框架是端到端的可训练,实时运行,并在六个广泛采用的视频基准测试中实现了最先进的性能。
translated by 谷歌翻译
深度神经网络已经在计算机视觉领域取得了一系列突破,提供了足够的注释训练数据集。对于具有有限标签数据的新任务,流行的方法是通过微调将预训练模型中学到的知识转移到新任务。经典的模式调整利用了训练有素的神经网络似乎学习跨域特征的事实。在转学习期间,这些功能得到平等对待。在本文中,我们通过引入传输模块来探索特征选择在模式调整中的影响,该模块为从预训练模型中提取的特征分配权重。所提出的传输模块证明了用于将模型从源域转移到目标域的特征选择的重要性。它被证明可以显着改善微调结果,而且只有极小的额外计算成本。我们还将辅助分类器作为额外的正则化器,以避免过度拟合。最后,我们基于我们的传输模块构建了一个门控传输网络(GTN),并在六个不同的任务上实现了最先进的结果。
translated by 谷歌翻译
本文研究条件生成对抗网络(cGAN),以克服使用地理标记媒体进行地理发现的基本限制,即其稀疏和不均匀的空间分布。我们训练cGAN生成给定顶部图像的位置的地平​​面视图。我们展示了“虚假”的地面图像是自然的,并且在结构上与真实图像类似。更重要的是,我们显示生成的图像代表了位置,并且由cGAN学习的表示是提供信息的。特别地,我们表明,使用我们的框架生成的密集特征图对于土地覆盖分类比在空间上插入从稀疏地面级图像中提取的特征的方法更有效。据我们所知,我们的第一部作品是使用cGAN在头顶图像的基础上生成地面视图,并探索学习表示的好处。
translated by 谷歌翻译
分析人类行为的视频涉及理解视频帧之间的时间关系。最先进的动作识别方法依赖于传统的光流估计方法来预先计算CNN的信息。这种两阶段方法计算成本高,存储要求高,而不是端到端可训练的。在本文中,我们提出了一种新颖的CNN架构,它隐含地捕获相邻帧之间的运动信息。我们将我们的方法命名为隐藏的双流CNN,因为它只将原始视频帧作为输入并直接预测动作类而不显式计算光流。我们的端到端方法比其两阶段基线快10倍。四个具有挑战性的识别数据集的实验结果:UCF101,HMDB51,THUMOS14和ActivityNet v1.2表明我们的方法明显优于以前的最佳实时方法。
translated by 谷歌翻译
本报告概述了利用大数据革命和大规模计算解决多信使天体物理学中的重大计算挑战的最新工作,特别强调实时发现活动。该文件承认了多信使天体物理学的跨学科性质,由物理学家,天文学,计算机科学,数据科学,软件和网络基础设施社区的成员编写,他们参加了NSF-,DOE-和NVIDIA资助的“多信使天体物理学的深度学习”。 :实时发现规模“研讨会,于2018年10月17日至19日在国家超级计算应用中心举办。本报告的重点包括一致同意这对于加速新型信号处理算法的开发和部署至关重要。利用人工智能(AI)和高性能计算之间的协同作用,最大限度地发挥Multi-Messenger天体物理学的潜在科学发现。我们讨论了实现这一努力的关键方面,即(i)为多信使天体物理学设计和利用可扩展和计算效率高的AI算法;(ii)数字模拟天体物理资源的网络基础设施要求,以及处理和解释多信使天体物理学数据; (iii)管理引力波探测和触发以实现电磁和天体粒子跟踪; (iv)利用未来发展的机器和深度学习以及网络基础设施资源的愿景与大数据时代的发现规模相结合; (v)需要建立一个社区,将领域专家与数据科学家一起进行平等,以最大限度地加速发现多信天体物理学的新兴领域。
translated by 谷歌翻译
本文介绍了概率Chekov(p-Chekov),一种机会约束运动规划系统,可应用于运动不确定性和不完备状态信息下的高自由度(DOF)机器人。给定过程和观测噪声模型,它可以找到满足用户指定的碰撞概率界限的可行轨迹。利用我们在确定性运动规划中的先前工作,将轨迹优化集成到稀疏路线图框架中,p-Chekov在其高维任务的规划速度方面表现出优势。 P-Chekov将线性二次高斯运动规划方法结合到机器人状态概率分布的估计中,将正交理论应用于航路点碰撞风险估计,并采用风险分配方法来分配航路点之间允许的故障概率。与其他现有的风险意识计划者不同,p-Chekov可以应用于高DOF机器人规划任务,而不会使环境凸起。本文的实验结果表明,这种p-Chekov系统可以有效地降低碰撞风险,并满足用户指定的机会限制,适用于高自由度机器人的典型实际规划方案。
translated by 谷歌翻译
我们对几个基于代表抽样和基于优化的运动规划器进行了评估,然后介绍了一个集成的运动规划系统,该系统将轨迹优化的最新进展纳入稀疏路线图框架。通过4个常见应用场景的实验,每个场景共有5000个测试用例,我们发现单独基于优化的基于采样的规划器对于需要快速规划时间的现实问题是无效的。据我们所知,这是第一项工作,它提供了基于大量实验的最先进的运动规划器的系统和全面的评估。然后,我们将不同的独立规划器与轨迹优化相结合。结果表明,稀疏路线图和轨迹优化的结合提供了优于其他基于标准采样的规划器组合的优越性能。通过使用多查询路线图而不是为每个规划问题生成全新的轨迹,我们对扩展的认可,例如与跨规划问题的轨迹相关联的持久控制策略信息。此外,路线图的稀疏性导致的次优性以及来自环境的意外干扰都可以通过实时轨迹优化过程来克服。
translated by 谷歌翻译
递归神经网络(RNN)模型广泛用于处理由潜在树结构控制的顺序数据。以前的工作表明,RNN模型(特别是基于长短期记忆(LSTM)的模型)可以学习利用底层树结构。但是,它的性能始终落后于基于树的模型。这项工作提出了一种新的归纳biasOrdered神经元,它强制执行隐藏状态神经元之间更新频率的顺序。我们证明有序神经元可以将thelatent树结构明确地整合到循环模型中。为此,我们提出了一种新的RNNunit:ON-LSTM,它在四个不同的任务上取得了良好的性能:语言建模,无监督解析,有针对性的句法评估和逻辑推理。
translated by 谷歌翻译