以顺序方式学习任务的能力对于人工智能的发展至关重要。一般而言,神经网络不具备此功能,并且人们普遍认为灾难性遗忘是连接模型的必然特征。我们表明,有可能克服这种限制并培养能够保持他们长期没有经历过的专业知识的网络。我们的方法通过有选择地减慢重量重要任务的权重学习来记住任务。我们通过基于MNIST手写数字数据集解决一组分类任务并依次学习几个Atari 2600游戏,证明我们的方法是可扩展和有效的。
translated by 谷歌翻译
我们介绍了自然神经网络,这是一种新颖的算法系列,它通过在训练期间调整其内部表示来加速收敛,从而改进Fisher矩阵的条件。特别地,我们展示了一个特定的例子,它采用神经网络权重的简单有效的重新参数化,通过隐式地增白在每一层获得的表示,同时保留网络的前馈计算。通过提出的Projected Natural GradientDescent算法(PRONG)可以有效地训练此类网络,该算法通过许多参数更新来分摊这些重新参数化的成本,并且与镜像下降在线学习算法密切相关。我们强调了我们的方法对无监督和监督学习任务的好处,并通过训练大规模的ImageNet Challenge数据集来展示其可扩展性。
translated by 谷歌翻译
为了监测复杂基础设施(例如航空器,运输或能源网络)的行为,部署了高速率传感器以准连续时间捕获多变量数据,通常是未标记的,以便快速检测可能危及平稳运行的异常现象。感兴趣的系统。对这种功能性质量数据的统计分析提出了许多具有挑战性的方法论问题。本文的主要目标是将最初专用于有限维观测的流行隔离森林(IF)方法扩展到功能数据。主要困难在于各种各样的拓扑结构,这些拓扑结构可以配备一系列功能,以及可以表征异常曲线的多种模式。我们以灵活的方式解决(随机)分割功能空间的问题,以便逐步隔离任何轨迹,这是算法效率的关键因素。除了算法的详细描述之外,还详细研究了计算复杂性和稳定性问题。根据所提出的IF算法变体提供的观测异常程度的评分函数,定义并讨论了Functional StatisticalDepth函数以及多变量函数扩展。数值实验为所提出的扩展的准确性提供了强有力的经验证据。
translated by 谷歌翻译
无人监督的人员重新识别(Re-ID)方法包括使用经过仔细标记的源数据集进行训练,然后对未标记的目标数据集进行推广,即人员身份信息不可用。受域调整技术的启发,这些方法避免了代价高昂,繁琐且经常难以承受的贴标签过程。本文研究了摄像机索引信息的使用,即哪个摄像机捕获了哪个图像,用于监督人员Re-ID。更准确地说,受领域适应对抗方法的启发,我们开发了一个对抗框架,其中特征提取器的输出应该对人Re-ID有用,同时应该欺骗相机鉴别器。我们将所提出的方法称为摄像机对偶传输(CAT)。我们评估对抗性变体,以及每种变体实现的相机稳健性。我们报告了交叉数据集ReIDperformance,我们将我们的方法的变体与几种最先进的方法进行比较,从而表明了在无人监督的人Re-ID的对抗框架内利用相机索引信息的兴趣。
translated by 谷歌翻译
最近在强化学习(RL)社区取得的突破在学习和部署真实世界机器人系统的政策方面取得了显着进展。然而,即使使用当前最先进的算法和计算资源,这些算法仍然受到高样本复杂性的困扰,因此训练时间长,特别是对于高自由度(DOF)系统。新兴政策缺乏可靠的稳定性或稳健性保证也引起了人们的担忧。本文旨在通过以下方式减轻这些缺点:(1)用一个简单的复杂,高DOF系统建模,(2)明确使用正向和反向运动而不强迫RL算法自己“学习”它们,(3)学习笛卡尔空间中的运动政策而不是联合空间。在本文中,这些方法适用于JPL的Robosimian,但可以很容易地在具有基础和末端效应器的任何系统上使用。这些运动政策可以在几分钟内完成,并在一台笔记本电脑上进行培训。我们将得到的学习策略的鲁棒性与其他控制方法的结果进行了比较。本文附带的视频可以在http://youtu.be/xDxxSw5ahnc找到。
translated by 谷歌翻译
这项工作推导出封闭形式的表达式,用于计算根据一般路径权重(一条路径)从网络中采样的路径上的存在和节点共同出现次数的期望。基本思想是当两个节点一起出现在网络(最好是短路径)上时,它们被认为是相似的。针对规则路径和命中路径获得结果,并且作为计算节点之间的新协方差和相关度量的基础。半监督分类的实验表明,与其他最先进的距离和相似性相比,引入的相似性度量提供了竞争性能。
translated by 谷歌翻译
基于随机矩阵理论的协​​方差距离统计估计的最新进展,本文提出了一个改进的协方差和精度矩阵估计,适用于广泛的度量系列。该方法在很大程度上优于样本协方差矩阵估计并与最先进的方法竞争,同时在计算上更简单。线性和二次判别分析的应用也显示出显着的增益,因此表明对统计机器学习的实际兴趣。
translated by 谷歌翻译
世界上绝大多数语言对都是资源不足的,因为他们几乎没有可用的并行数据。不幸的是,机器翻译(MT)系统目前在这种设置中不能很好地工作。除了在有限监督下学习的技术挑战之外,还存在另一个挑战:评估在低资源语言对上训练的方法非常困难,因为很少有自由和公开可用的基准。在这项工作中,我们从维基百科页面中获取句子,并在两个非常低资源的语言对中引入新的评估数据集,即尼泊尔语 - 英语和僧伽罗语 - 英语。这些是具有非常不同的形态和语法的语言,对于这些语言,很少有域外并行数据可用,并且可以自由地使用相对大量的单语数据。我们描述了收集和交叉检查翻译质量的过程,并使用多种学习设置报告基线性能:完全监督,弱监督,半监督和全监督。我们的实验表明,目前最先进的方法在该基准测试中表现相当差,对研究低资源MT的研究社区构成了挑战。有关重现实验的数据和代码,请访问https://github.com/facebookresearch/flores。
translated by 谷歌翻译
用于强化学习的最先进的分布式算法依赖于多个独立的代理,这些代理同时在并行环境中学习,同时异步更新共同的共享策略。此外,分散控制架构(例如,CPG)可以协调关节机器人的空间分布部分以实现系统 - 目标。在这项工作中,我们通过学习分散控制策略来研究分布式学习和分散控制之间的关系,以便在具有挑战性的环境中进行关节机器人的运动。为此,我们提出了一种利用异步优势行为者 - 评论(A3C)算法结构的方法,为单个关节机器人提供了一种学习集中控制策略的自然方法。我们的主要贡献显示,A3C算法中的各个代理可以由机器人身体的独立控制部分定义,从而能够在单个机器人上进行分布式学习,以实现高效的硬件实现。我们在asnake和六足机器人上呈现非结构化地形的闭环运动结果,使用分散的控制器分别在离线和在线学习。该论文的预印本于2018年10月提交给IEEE机器人交易(T-RO)期刊,并有条件地在2019年1月作为常规论文发表。
translated by 谷歌翻译
最近的研究已经证明了生成预训练对于英语自然语言理解的效率。在这项工作中,我们将这种方法扩展到多种语言,并展示了跨语言预训练的有效性。我们提出了两种学习跨语言语言模型的方法:一种是仅依赖于单语数据的监督模式,另一种是监督使用并行数据的方法。一种新的跨语言语言模型目标。我们在跨语言分类,无监督和监督机器翻译方面取得了最先进的成果。在XNLI上,我们的方法以绝对增益4.9%的精度推动了现有技术。在无人监督的机器翻译中,我们在WMT'16德语 - 英语上获得了34.3 BLEU,提高了超过9个BLEU的先前技术水平。在有监督的机器翻译中,我们在WMT'16罗马尼亚语 - 英语上获得了38.5 BLEU的最新技术水平,超过了以前的最佳方法超过4个BLEU。我们的代码和预训练模型将公开发布。
translated by 谷歌翻译