强化学习算法通常需要数百万个环境交互才能在稀疏奖励设置中学习成功的策略。 HindsightExperience Replay(HER)作为一种技术被引入,通过重新设想不成功的轨迹作为成功的轨迹,通过取代原先预期的目标来提高样本效率。但是,此方法不适用于目标配置未知且必须从观察中推断的视域。在这项工作中,我们展示了如何使用在相对较少的目标快照上训练的生成模型来成功幻觉成功的视觉轨迹。据我们所知,这是第一项工作,代理政策仅以其国家为条件。 Wethen将此模型应用于离散和连续设置中的强化学习代理。我们在3D环境和模拟机器人应用程序中显示导航和拾取任务的结果。我们的方法显示了标准RL算法和从先前工作得到的基线的标记改进。
translated by 谷歌翻译
贝叶斯脑假设,预测处理和变分自由能最小化通常用于基于世界的准确生成模型来描述感知过程。然而,生成模型不需要对环境进行真实的表示。我们建议他们可以(并且应该)用来描述与行为相关的感觉运动关系,而不是精确的世界记录。
translated by 谷歌翻译
处理大型文件集在许多领域都具有重要意义,尤其是在犯罪调查和防御领域,在这些领域,组织可能会出现大量需要在有限时间内处理的扫描文件。然而,就扫描文档和需要处理的页面的复杂性而言,这个问题更加严重。通常包含许多不同的元素,每个元素都需要被处理和理解。文本识别是这个过程的主要任务,通常取决于文本的类型,无论是手写还是机器打印。因此,在决定要应用的识别方法之前,识别涉及文本类别的先前分类。如果文档包含手写和机器打印的文本,这将带来更具挑战性的任务。在这项工作中,我们提供了一个通用的流程,用于在包含混合手写和机器打印文本的扫描文档中进行文本识别,而无需对文本进行分类。我们使用几个开源图像处理和文本识别包1实现了所提出的流程。使用IAM手写数据库中的特别开发的变体进行评估,其中我们实现了包含打印和手写文本的平均转录精度接近80%。
translated by 谷歌翻译
卷积网络中的域对齐旨在了解有助于源和目标数据集的联合学习的特定于层的特征对齐的程度。虽然在卷积网络中越来越流行,但之前没有尝试在recurrentnetworks中实现域对齐。与空间特征类似,源域和目标域都可能表现出可以联合学习和对齐的时间依赖性。在本文中,我们介绍了双域LSTM(DDLSTM),这种架构可以同时学习两个域的时间依赖性。对于单层和多层LSTM架构,它对输入到隐藏和隐藏到隐藏的权重执行交叉污染的批量标准化,并学习交叉污染的参数。我们使用三个数据集评估DDLSTM机架级动作识别,一次一对,并报告平均准确度增加3.5%。建议的DDLSTM架构优于标准,微调和批量标准化的LSTM。
translated by 谷歌翻译
X射线行李安全检查广泛用于维护航空和运输安全。特别感兴趣的是对特定类别物体(如电子,电子设备和液体)的自动安全X射线分析的关注。但是,在处理潜在的异常物品时,手动检查这些物品是一项挑战。在这里,我们提出了一种双卷积神经网络(CNN)架构,用于在复杂的安全X射线图像中进行自动异常检测。我们利用基于区域(R-CNN),基于掩模的CNN(掩模R-CNN)和检测结构(例如RetinaNet)的最新进展来为特定的感兴趣对象类提供对象定位变体。随后,利用一系列已建立的CNN对象和细粒度类别分类方法,我们在对象异常检测中将其形成为两类问题(异常或良性)。虽然最佳执行对象定位方法能够以超过六级X射线物体检测问题的97.9%平均平均精度(mAP)执行,但随后的两级异常/良性分类能够在对象异常检测中实现66%的性能。 。总的来说,这种表现既包括在杂乱的X射线安全图像的背景下对物体异常检测的挑战和承诺。
translated by 谷歌翻译
使用X射线扫描仪进行行李检查现已成为航空安全的常规方法,具有自动威胁检测方法,基于3D X射线计算机断层扫描(CT)图像,在航空安全行业内称为自动威胁识别(ATR)。与对新出现的威胁信号的适应性相比,这些当前策略使用预定义的威胁物质签名。为了解决这个问题,自适应自动威胁识别(AATR)的概念在之前的工作中由\ cite {to7}提出。在本文中,我们提出了一种基于这种X射线CT行李扫描图像的AATR解决方案。这旨在解决在屏幕要求内快速发展的威胁签名的问题。理想地,在这些安全扫描仪内部署的检测算法应该易于适应不同的情况,同时具有不同的威胁特征要求(例如,威胁材料,对象的物理特性)。我们使用一种新颖的自适应机器学习方法来解决这个问题,我们的解决方案包括多尺度3D CT图像分割算法,用于对象材料识别的多类支持向量机(SVM)分类器以及实现方法适应性的策略。在针对AATR研究专门收集的开放和隔离的3D CTbaggage图像数据集上进行实验。我们提出的方法在识别和适应方面都表现良好。总的来说,我们的方法可以实现大约90%的检测概率,概率为低于20%的非警报。我们的AATR显示了适应不同类型材料的能力,甚至是训练数据中没有的未知材料,适应不同的检测概率和适应威胁对象的不同尺度。
translated by 谷歌翻译
无监督域适应旨在将知识从源域转移到目标域,以便可以在没有该域的任何显式标记信息的情况下识别目标域数据。问题设置的一个限制是在训练期间需要从目标域测试数据,尽管没有标签,这阻止了训练模型被直接应用于对看不见的测试实例进行分类。我们制定了一个新的跨领域分类问题,这个问题来自真实世界的情景,其中标记数据可用于目标域中的一个类子集(已知类),并且我们期望识别属于任何类(已知和未见过的类)的新样本。学习模型。这是一个广义的零镜头学习问题,其中辅助信息来自标记样本形式的源域,而不是传统零射击学习中常用的类级语义表示。我们提出了无监督和零射击学习条件的统一域适应框架。我们的方法从源和目标域学习一个联合子空间,以便子空间中两个数据的投影可以是不变的并且易于分离。我们使用监督的局部保留投影(SLPP)作为启用技术,并在无监督和零镜头学习条件下进行实验,在三个域适应基准数据集上实现最先进的结果:Office-Caltech,Office31和Office-Home。
translated by 谷歌翻译
在心理学和神经科学中,将认知系统描述为输入/输出设备是常见的,其中感知和运动功能以简单的前馈,开环方式实现。在这种观点中,感知和行动被视为封装模块,它们之间的相互作用有限。虽然认知科学的实体和主动方法已经挑战了大脑作为输入/输出设备的理想化,但我们认为,即使是最近使用闭环架构对系统进行建模的尝试仍然依赖于运动和感知功能之间的强烈分离。以前,我们我们认为模块化的主流概念与控制理论的分离原则强烈相似。在这项工作中,我们提出了一个基于分离原理实现结构的感觉运动环的最小模型。我们将其与认知科学中的流行的感知和行为表达联系起来,并在例如外部力量不是由代理人建模时显示其局限性。这些力可以看作是代理人不能直接控制的变量,即来自环境的扰动或由其他代理引起的干扰。作为体现认知科学启发的替代方法,我们提出了基于主动推理框架的模块化架构。我们证明了该架构对未知外部输入的鲁棒性,并表明在线性模型中实现这一机制的机制等同于整体控制。
translated by 谷歌翻译
现代光流方法利用在场景内检测和匹配的显着场景特征点作为稀疏到密集光流估计的基础。然而,当前的特征检测器要么给出稀疏的非单向云(导致流动不准确),要么缺乏帧率实时应用的效率。在这项工作中,我们使用新的基于密度梯度的特征(DeGraF)作为稀疏 - 密集光流方案的输入。这包括三个阶段:1)有效检测均匀分布的基于梯度的特征(DeGraF); 2)通过强大的局部光流进行特征跟踪; 3)边缘保持流量插值,以恢复整体光流。与这三级流水线中的其他流行特征检测器相比,DeGraF特征的可调密度和均匀性产生了更高密度的光流估计。此外,可比较的特征检测速度也很好地实现了实时光流恢复的目的。对已建立的真实世界基准数据集的评估在自动驾驶车辆环境中显示出最佳性能,其中DeGraF-Flow显示了在非GPU方法中具有竞争性计算效率的准确性方面的预测结果,包括在概念上类似的EpicFlow方法中显着提高了速度。
translated by 谷歌翻译
尽管存在固有的不明确定义,但异常检测是机器学习和视觉场景理解中相当兴趣的研究工作。通常,异常检测被认为是基于某种正态度量在给定数据分布中检测异常值。现实世界异常检测问题中最重要的挑战是可用数据对于正常性(即非异常)高度不平衡并且包含所有可能的异常样本的大部分子集 - 因此限制了良好建立的监督学习方法的使用。相比之下,我们介绍了无监督异常检测模型,仅对正常(非异常,丰富)样本进行训练,以便了解域的正态分布,从而根据与该模型的偏差检测异常。我们提出的方法采用编码器 - 解码器卷积神经网络,跳过连接,彻底捕捉高维图像空间中正常数据分布的多尺度分布。此外,利用针对该选择的体系结构的对抗性训练方案,在高维图像空间和更低维的潜在向量空间编码中提供了优越的重建。在训练期间最小化图像和隐藏向量空间内的重建误差度量,使模型根据需要学习正态性的分布。因此,在随后的测试和部署期间的较高重构度量指示了与该正态分布的偏差,因此指示了异常。在X射线安全屏幕的背景下,对已建立的异常检测基准和具有挑战性的真实数据集的实验表明了这种提议方法的独特前景。
translated by 谷歌翻译