变序序列建模是人工和自然智能中的一个重要问题。虽然过度完备隐马尔可夫模型(HMMs),理论上具有表示长期时间结构的能力,但它们常常难以学习并收敛到局部最小值。我们通过使用受生物学启发的简单稀疏结构来约束HiddenMarkov模型(HMM),我们可以使它有效地学习变量序列。我们将此模型称为克隆HMM(CHMM),因为稀疏性结构强制许多隐藏状态确定性地映射到相同的发射状态。具有超过10亿个参数的CHMM可以在GPU上进行有效训练,而不会受到标准HMM的信用扩散问题的严重影响。与n-gram和序列记忆器不同,CHMM可以在任意长距离上建模时间依赖性,并识别其中带有“洞”的上下文。与RecurrentNeural Networks相比,CHMM是可以原生地处理不确定性的生成模型。此外,CHMM返回一个高阶图,表示数据的时间结构,可用于社区检测,以及构建分层模型。我们的实验表明,CHMM可以在字符级语言建模任务上击败字符串,序列记忆器和LSTM。在需要变量订单序列建模和处理不确定性的一些任务中,CHMM可以是这些方法的可行替代方案。
translated by 谷歌翻译
工业中重型机械的遥操作通常要求操作员靠近工厂并使用操纵杆输入装置在每个执行器级别上发出命令。然而,这是非直观的并且使得期望的工作属性成为具有挑战性的任务,需要操作员完成广泛且昂贵的培训。尽管如此,操作员疲劳常常对人身安全,项目及时性,成本和质量产生影响。虽然由于不可预测性以及环境和任务的动态性质而无法实现完全自动化,但共享控制范例允许操作员在直观的,任务通知的控制空间中发布高级命令,同时使机器人优化以实现期望的工作属性。在本文中,我们比较了许多遥操作模式,探索控制输入的尺寸数量以及最直观的控制空间。我们对绩效指标的实验评估是基于众所周知的Fitts法则量化任务难度,以及衡量影响任务绩效的约束力的衡量标准。我们的实验表明,当人类提交命令在低维任务空间而不是联合空间操作时,可以实现更高的性能。
translated by 谷歌翻译
机器学习可以帮助我们解决上下文大数据分析和分类中的问题,以及玩Go等复杂游戏中的问题。但是它是否也可以用于寻找新的协议和算法,如大规模量子通信?在这里,我们展示机器学习可用于识别中心量子协议,包括远距传送,纠缠净化和量子中继器。这些方案在长距离量子通信中具有重要意义,它们的发现在量子信息处理领域占据了一席之地。然而,学习代理的有用性超出了仅仅重新生成已知协议的范围;相同的方法允许人们找到改进的长距离通信问题的解决方案,特别是在处理信道噪声和分段距离不均匀的不对称情况时。我们的研究结果基于投射模拟的使用,投影模拟是一种学习代理模型,它将执行学习和决策制定结合在一个物理动机框架中。学习代理具有通用门集,并且通过奖励方案指定所需任务。从技术角度来看,学习者必须处理随机环境和反应。我们利用anidea让人想起分层技能获取,其中解决方案tosub-problems被学习并在整个方案中重复使用。这对于远程通信方案的开发尤为重要,并为在量子网络的设计和实现中使用机器学习开辟了道路。
translated by 谷歌翻译
我们调查了解由图像及其字幕传达的信息(要点)的问题,例如,在网站或新闻文章中找到的。为此,我们提出了一种方法,以大量的方式捕捉图像 - 字幕对的含义。机器可读知识,以前被证明对文本理解非常有效。我们的方法识别超出其表示的对象的内涵:对图像理解的重要性集中于对象的表示,即它们的字面意义,我们的工作解决了内涵的识别,即对象的标志性意义,以理解图像的信息。我们将视图理解视为在广泛覆盖的概念词汇表中表示图像标题对的任务,例如由维基百科提供的概念,并且将要点检测作为概念排序问题,将图像标题对作为查询。为了彻底调查对要点理解的问题,我们制作了一个超过300个图像标题对的金标准和超过8,000个gist注释,涵盖了不同抽象层次的各种主题。我们使用该数据集来实验地对来自异构资源(即图像和文本)的信号的贡献进行基准测试。平均精度(MAP)为0.69的最佳结果表明,通过组合这两个维度,我们能够更好地理解图像标题对的含义,而不仅仅是使用语言或视觉信息。我们在接收自动生成的输入时测试我们的要点检测方法的稳健性,即使用自动生成的图像标签或生成的标题,并证明了端到端自动化过程的可行性。
translated by 谷歌翻译
通过引入有序测试案例,Lexicase选择可以实现非常好的解决方案质量。然而,词典选择的计算复杂性可能会禁止其在许多应用中的使用。在本文中,我们介绍了BatchTournament Selection(BTS),这是一种锦标赛和词汇选择的混合体,其比词汇选择快一个数量级,同时提供具有竞争力的解决方案质量。对许多回归数据集的测试表明,BTS在平均绝对误差方面与词典选择相比较,同时加速高达25倍。令人惊讶的是,BTS和玻璃酶选择在多样性和性能方面几乎没有差异。这表明批次和有序测试案例是完全不同的机制,它们具有促进个体专业化的相同的一般原则。这项工作引入了一种有效的算法,揭示了词典成功背后的主要原则,可能为算法开辟新的可能性。
translated by 谷歌翻译
现实世界的优化问题通常具有成本和时间的昂贵目标函数。希望找到几乎没有功能评估的近似最优解。代理辅助优化器倾向于通过用基于几个评估点建立的有效数学模型替换实函数来减少所需的函数评估次数。对于包括SACOBRA在内的许多代理辅助优化器而言,条件数高的问题是一个挑战。为了解决这些问题,我们在黑盒优化范例中提出了一种新的在线白化操作方法。我们展示了一系列高调节功能,即在线美白解决了SACOBRA的早期问题,并且与普通的SACOBRA相比,优化误差减少了10到1e12,尽管它会增加许多额外的功能评估。协方差矩阵自适应进化策略(CMA-ES)具有非常多的函数评估甚至更低的误差,而SACOBRA在昂贵的设置中表现更好(小于1e03函数评估)。如果我们计算所有可并行化的函数评估(人口评估在CAS-ES中,我们的方法中的在线白化)作为一次迭代,即使从长远来看,bothalgorithms也具有相当的强度。这适用于尺寸D <= 20的问题。
translated by 谷歌翻译
多语言神经机器翻译(NMT)模型能够在多种源语言和目标语言之间进行翻译。尽管有各种方法来训练这些模型,但他们在零镜头翻译方面存在困难:在不一致的语言对之间进行翻译。在本文中,我们首先诊断出为什么最先进的多语言NMT模型纯粹依赖于参数共享,而不能普遍化为看不见的语言对。然后,我们在NMT编码器上提出了辅助损失,它们跨语言强加了代表性不变性。 Oursimple方法极大地提高了零镜头翻译质量,而无需在监督方向上进行调整。在WMT14English-FrenchGerman上,我们首次实现了与旋转相同的零射击性能。我们还演示了IWSLT 2017共享任务中多语言方法的简易可扩展性。
translated by 谷歌翻译
神经形态硬件的超参数和学习算法通常是手工选择的。相比之下,他们旨在模仿的大脑中神经元网络的超参数和学习算法已经通过广泛的进化和发展过程进行了优化,这些过程具有特定的计算和学习任务范围。有时这个过程是通过遗传算法模拟的,但这些过程需要自己设计细节,并倾向于提供有限范围的改进。我们采用其他强大的无梯度优化工具,例如交叉熵方法和进化策略,以便将生物优化过程的功能传递给神经形态硬件。作为一个例子,我们表明这种方法产生的神经形态代理可以从奖励中非常有效地学习。特别地,元可塑性,即它们使用的学习规则的优化,实质上增强了硬件的基于奖励的学习能力。此外,我们首次展示了学习到学习从这些硬件中获益,特别是从先前的学习经验中提取抽象知识的能力,加速学习新的但相关的任务。学习学习特别适合加速神经形态硬件,因为它可以执行所需的大量网络计算。
translated by 谷歌翻译
Quadrotor稳定控制器通常需要仔细,模型特定的调整以确保安全操作。我们使用强化学习来训练对多个不同的物理四轮转子非常好地转移的策略模拟。我们的政策是低水平的,即我们将转子船直接映射到电机输出。经过训练的控制策略对于外部干扰非常强大,并且可以承受诸如此类的苛刻的初始条件。我们展示了不同的培训方法(成本函数的变化,噪声建模,域随机化的使用)如何影响飞行性能。据我们所知,这是第一项证明简单神经网络可以在不使用稳定PD控制器的情况下学习稳定的低级四旋翼控制器的工作;以及分析单一政策传输能力的第一项工作到多个四旋翼飞行器。
translated by 谷歌翻译
诸如行人之类的跟踪对象的动态变化的问题通过诸如使用贝叶斯公式的交互多模型(IMM)过滤器之类的方法来解决。通过遵循目前使用深度神经网络的趋势,本文提出了一种基于RNN的IMM滤波器替代方案。类似于IMM滤波器解决方案,所呈现的基于RNN的模式将概率值分类为执行的动态,并且基于它们,在未来的行人轨迹上输出多模态分布。对合成数据进行了评估,反映了典型的行人动作。
translated by 谷歌翻译