强化学习算法通常需要数百万个环境交互才能在稀疏奖励设置中学习成功的策略。 HindsightExperience Replay(HER)作为一种技术被引入,通过重新设想不成功的轨迹作为成功的轨迹,通过取代原先预期的目标来提高样本效率。但是,此方法不适用于目标配置未知且必须从观察中推断的视域。在这项工作中,我们展示了如何使用在相对较少的目标快照上训练的生成模型来成功幻觉成功的视觉轨迹。据我们所知,这是第一项工作,代理政策仅以其国家为条件。 Wethen将此模型应用于离散和连续设置中的强化学习代理。我们在3D环境和模拟机器人应用程序中显示导航和拾取任务的结果。我们的方法显示了标准RL算法和从先前工作得到的基线的标记改进。
translated by 谷歌翻译
现代光流方法利用在场景内检测和匹配的显着场景特征点作为稀疏到密集光流估计的基础。然而,当前的特征检测器要么给出稀疏的非单向云(导致流动不准确),要么缺乏帧率实时应用的效率。在这项工作中,我们使用新的基于密度梯度的特征(DeGraF)作为稀疏 - 密集光流方案的输入。这包括三个阶段:1)有效检测均匀分布的基于梯度的特征(DeGraF); 2)通过强大的局部光流进行特征跟踪; 3)边缘保持流量插值,以恢复整体光流。与这三级流水线中的其他流行特征检测器相比,DeGraF特征的可调密度和均匀性产生了更高密度的光流估计。此外,可比较的特征检测速度也很好地实现了实时光流恢复的目的。对已建立的真实世界基准数据集的评估在自动驾驶车辆环境中显示出最佳性能,其中DeGraF-Flow显示了在非GPU方法中具有竞争性计算效率的准确性方面的预测结果,包括在概念上类似的EpicFlow方法中显着提高了速度。
translated by 谷歌翻译
尽管存在固有的不明确定义,但异常检测是机器学习和视觉场景理解中相当兴趣的研究工作。通常,异常检测被认为是基于某种正态度量在给定数据分布中检测异常值。现实世界异常检测问题中最重要的挑战是可用数据对于正常性(即非异常)高度不平衡并且包含所有可能的异常样本的大部分子集 - 因此限制了良好建立的监督学习方法的使用。相比之下,我们介绍了无监督异常检测模型,仅对正常(非异常,丰富)样本进行训练,以便了解域的正态分布,从而根据与该模型的偏差检测异常。我们提出的方法采用编码器 - 解码器卷积神经网络,跳过连接,彻底捕捉高维图像空间中正常数据分布的多尺度分布。此外,利用针对该选择的体系结构的对抗性训练方案,在高维图像空间和更低维的潜在向量空间编码中提供了优越的重建。在训练期间最小化图像和隐藏向量空间内的重建误差度量,使模型根据需要学习正态性的分布。因此,在随后的测试和部署期间的较高重构度量指示了与该正态分布的偏差,因此指示了异常。在X射线安全屏幕的背景下,对已建立的异常检测基准和具有挑战性的真实数据集的实验表明了这种提议方法的独特前景。
translated by 谷歌翻译
本文通过脑机接口(BCI)解决人体机器人远程操作在人体解剖学环境中的挑战。我们利用基于卷积神经网络(CNN)的基于图像和信号的理解,有助于实时物体检测和基于干 - 脑电图(EEG)的人体皮层脑生物信号解码。我们采用最新进展的indry-EEG技术来传输和收集来自受试者的皮质波形,同时受试者注意直接从机器人正在环境中产生的环境产生的可变稳态视觉诱发电位(SSVEP)刺激。为此,我们建议使用新的可变BCI刺激,通过机载机器人摄像机流式传输的实时视频作为SSVEP的视觉输入,其中CNN检测到的自然场景对象被改变并且以不同的频率(10Hz,12Hz和15Hz)闪烁)。这些刺激不类似于传统刺激 - 因为闪烁区域的尺寸和它们的屏幕位置都根据场景中检测到的场景对象而改变。通过干EEG启用SSVEP以这种方式选择屏幕上的对象,有助于通过第二CNN方法将人类皮质脑信号在线解码为遥操作机器人命令(接近物体,在特定方向上移动:向右,向左或向后)。该SSVEP解码模型通过先验离线实验数据来训练,其中对于所有受试者存在非常相似的视觉输入。由此产生的离线分类表明了极高的性能,并且对于多个测试对象的实时机器人导航实验,平均精度分别为96%和90%。
translated by 谷歌翻译
我们提出了一种深度形状模板(DeepSfT),一种新颖的深度神经网络(DNN)方法,用于解决在单个单眼图像中观察到的可变形物体的实时自动配准和3D重建.DeepSfT推进了最先进的技术在各个方面。与现有的DNN SfT方法相比,它是第一个处理任意对象几何,拓扑和表面表示的完全卷积实时方法。它也不需要对真实数据进行地面真实登记,并且可以很好地扩展到具有大量元素的非常复杂的对象模型。与之前的非DNN SfT方法相比,它不涉及运行时的数值优化,并且是非基本的,宽基线的解决方案,不需要,也不会受到基于特征的匹配的影响。它能够处理具有显着变形和视点变化的单个图像,并且能很好地处理夹杂物,弱纹理和模糊的核心挑战。 DeepSfT基于残余编码器 - 解码器结构和精炼块。它采用对象模型的模拟渲染和使用标准RGB-D摄像机捕获的真实数据进行半监督自动微调的监督学习的新颖组合进行端到端训练。用于微调和运行时的相机可以使用不同,使DeepSfT适用于实际应用。我们证明,DeepSfT通过定量和定性评估显着优于最先进的宽基线方法。
translated by 谷歌翻译
我们提出了一种读取嵌入平面3D打印表面的数字数据的方法。数据以二进制数组的形式组织,并以受QR码启发的方式嵌入到表面纹理中。检索方法的核心是卷积神经网络,输出表面纹理位置的置信度映射值1比特。随后,通过在置信度图上应用的一系列简单图像处理和统计操作来检索比特阵列。在各种照明条件下以及用各种材料颜色打印的对象上从各种摄像机视图捕获的图像的广泛实验表明,所提出的方法很好地概括并且实现了在实际应用中所需的精度水平。
translated by 谷歌翻译
无监督的表示学习在多种应用中取得了优异的成果。它是一种特别强大的工具,可以通过部分或嘈杂的观察来学习环境的良好表现。在部分可观察的域中,表示编码信念状态是很重要的,这是迄今为止所观察到的观察的充分统计量。在本文中,我们研究是否有可能使用现代神经结构来学习这种信念表示。具体而言,我们关注一步帧预测和对比预测编码(CPC)的两种变体作为学习表示的目标函数。为了评估这些学习的代表性,我们测试他们如何能够预测关于环境潜在状态的各种信息,例如,代理在3D迷宫中的位置。我们表明,这三种方法都能够学习环境的信念表示,它们不仅编码国家信息,还编码其不确定性,这是信仰状态的一个重要方面。我们还发现,对于CPC多步骤预测和行动调节是视觉复杂环境中的关键功能信念表示。神经表征捕获信念信息的能力有可能刺激部分可观察领域的学习和规划的新进展,其中利用不确定性对于最优决策制定至关重要。
translated by 谷歌翻译
美国的阿片类药物流行病每年夺去40,000多人的生命,估计有超过200万美国人患有阿片类药物。过量处方和滥用处方阿片类药物在该流行病中起着重要作用。处方阿片类药物和被诊断患有阿片类药物使用障碍的个体具有多种潜在的健康状态。针对处方阿片类药物使用,阿片类药物使用障碍和过量服用的政策干预通常无法解释这种变化。为了识别与阿片类药物使用和阿片类药物使用障碍相关的潜在健康状态或表型,我们使用概率主题建模与来自处方阿片类药物的绝大多数人的医学诊断历史。我们证明我们学到的表型可以预测未来阿片类药物使用相关的结果。此外,我们展示了学习的表型如何为阿片类药物处方的变异性提供重要的背景。了解个体健康状况和处方阿片类药物使用的异质性可以帮助确定解决这一公共卫生危机的政策干预措施。
translated by 谷歌翻译
我们引入了样式增强,一种基于随机样式传递的新形式的数据增强,用于提高卷积神经网络(CNN)在分类和基于回归的任务上的鲁棒性。在训练过程中,我们的风格增强使纹理,对比度和颜色随机化,同时保留形状和语义内容。这是通过调整任意样式传输网络来执行样式随机化,通过从多元正态分布中采样输入样式嵌入而不是从样式图像中推断它们来实现的。除了标准分类实验,我们还研究了样式扩充(以及通常的数据增强)对域转移任务的影响。我们发现数据增强显着提高了对域移位的鲁棒性,并且可以用作域自适应的简单,域不可知替代方案。将样式增强与七种传统增强技术相结合进行比较,我们发现它可以很容易地与它们结合以提高网络性能。我们通过域转移实验分类和单眼深度估计验证了我们的技术的有效性,说明了泛化中的一致性。
translated by 谷歌翻译
最近的汽车视觉工作几乎专注于处理前向摄像头。然而,未来的自动驾驶汽车将无法实现更全面的环绕感应,类似于人类驾驶员,可以由360 {\ deg}全景摄像机提供。我们提出了一种方法,以适应在传统的直线图像上开发的当代深度网络架构,以便在equirectangular 360 {\ deg}全景图像上工作。为了解决注释的全景汽车数据集可用性问题,我们通过风格和投影变换来调整当代汽车数据集,促进当代算法的跨域再训练,以实现全景成像。按照这种方法,我们重新训练和调整现有的架构,以从单眼全景图像中恢复车辆的场景深度和3D姿态,而不需要任何全景训练标签或校准参数。我们的方法在人群全景图像上定性评估,并定量使用汽车环境模拟器,以提供全景图像中的第一个基准技术。
translated by 谷歌翻译