安全可靠的道路导航系统是实现全自动车辆的关键组成部分。 NVIDIA最近提出了一种端到端算法,该算法可以通过使用一个卷积神经网络直接从前摄像机的原始像素学习转向命令。在本文中,我们利用原始图像之外的辅助信息,设计一种称为辅助任务网络(ATN)的新型网络结构,以帮助提高驾驶性能,同时保持最小训练数据和端到端训练方法的优势。在该网络中,我们通过从图像识别任务中传递特征,将人类先验知识引入到车辆导航中。图像语义分割被用作导航的辅助任务。我们通过引入LSTM模块和光流到网络来考虑时间信息。最后,我们将车辆运动学与传感器融合步骤相结合。我们在Udacity仿真环境和real-worldComma.ai数据集中讨论了我们的方法相对于最先进的视觉导航方法的好处。
translated by 谷歌翻译
我们提出了一种探索方法,该方法结合了超前搜索基础学习技能及其动态,并将其用于操纵策略的强化学习(RL)。我们的技能是使用现有的多目标RL公式在类似于选项或宏观反应的简单环境中学习分离的多目标政策。粗略技能动态,即由(完全)技能执行引起的状态转换被学习并且在先行搜索期间展开。策略搜索受益于探索期间的临时实验,虽然它本身可以在低级别的基本规则上运行,因此由此产生的策略不会受到粗略技能链导致的次优性和不灵活性的影响。我们表明,提议的探索策略能够比当前最先进的RL方法更快地有效地学习复杂的操作策略,并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略,而不是指导探索。假设所提出的探索策略比现有的最先进的RL方法更快地有效地学习复杂的操作策略,并且比使用选项或参数化技术作为策略本身的构建块的方法收敛到更好的策略,而不是guidingexploration 。
translated by 谷歌翻译
我们探讨了学习将空间任务分解成段的问题,例如绘制机器人覆盖大对象的问题。受经典决策树算法构造输入空间的结构化分区的能力的启发,我们制定了分解对象的问题。分段作为解析方法。我们深刻地认识到,将对象分解为段的解析树的派生类似于由ID3构造的决策树,这可以在地面实况可用时完成。我们学会模仿专家解析oracle,这样我们的神经解析器可以推广解析自然图像而不需要groundtruth。我们以AggreVaTeD的确定性行为者 - 批评变体的形式引入了一种新的确定性策略梯度更新DRAG(即,DeteRministically AGgrevate),以训练我们的神经解析器。从另一个角度来看,我们的方法是适用于模仿学习设置的确定性政策梯度的变体。通过使用DRAG训练我们的神经解析器提供的确定性策略表示使其能够胜过艺术状态和强化学习方法。
translated by 谷歌翻译
在人群中导航的机器人需要能够计划安全,有效和人类可预测的轨迹。这是一个特别具有挑战性的问题,因为它需要机器人预测人群中的未来人类预测,其中每个人都隐含地相互协作以避免碰撞。人类轨迹预测的先前方法已经模拟了人类之间的相互作用作为接近度的函数。然而,这并不一定是正确的,因为我们附近的一些人在同一方向上移动可能不像其他人那么重要,但可能在未来与我们发生冲突。在这项工作中,我们提出了社交注意,这是一种新颖的轨迹预测模型,可以捕捉每个人在人群中导航时的相对重要性,而不管他们的接近程度如何。我们在两个可公开获得的人群数据集上展示了我们的方法对最先进方法的表现,并分析了经过培训的注意力模型,以便更好地了解人群在人群中航行时所处理的周围环境。
translated by 谷歌翻译
代码转换(CS)的语言识别,在对话中两种或多种语言之间的交替现象,传统上是在每个令牌使用单一语言的假设下进行的。然而,如果至少一种语言在形态上是丰富的,则大量单词可以由来自多于一种语言的语素(单词内CS)组成。在本文中,我们将语言识别任务扩展到子词级,这样它包括拆分混合词,同时用languageID标记每个部分。我们进一步提出了该任务的模型,该模型基于分段恢复神经网络。在一个新的西班牙语 - Wixarika数据集和一个改编的德国 - 土耳其数据集的实验中,我们提出的模型分别比我们的最佳基线略微更好或大致相当。然而,考虑到混合词,它强烈地胜过所有基线。
translated by 谷歌翻译
在集体机器人系统中,为复杂任务自动生成控制器仍然是一个具有挑战性的问题。复杂机器人行为的开放式演变可能是一种可能的解决方案,其中模式形成和自组织的内在驱动因素可能被证明是重要的。我们通过将预测网络作为与行动选择网络配对的世界模型进行演化,在集体机器人系统中实现这种驱动。良好预测给予适应性,这导致偏向易于预测的环境和以紧急模式形式的行为,即最小企业的环境。对于新兴模式的不同质量,没有任务依赖的偏见或任何其他明确的预测。需要对动作,传感器模型和环境进行有效配置以刺激复杂行为的出现。我们研究自组装,以增加场景的复杂性,同时将我们的模拟复杂性限制在agrid世界,以管理这种方法的可行性。我们研究了不同群体密度和环境形状对出现模式的影响。此外,我们研究了进化如何偏向于所需模式的出现。我们通过对组装模式造成损害并观察自组织的自我修复过程来分析所产生的自组装行为的弹性。总之,我们进化了群体行为以进行弹性自组装并成功地设计了自组织模拟。在未来的工作中,我们计划将我们的方法转移到一群真实的机器人身上。
translated by 谷歌翻译
机器人的手动引导已被证明是编程轨迹和运动学教学的有用工具。然而,手动引导通常被分配给拥有关节扭矩传感器(JTS)的机器人。在这里,我们建议通过使用一个增强现实(AR)设备,即微软的Hololens,向缺少这些传感器的机器人扩展手部指导。增强现实设备已经被设想为一种有用的补充,可以简化机器人编程并提高与机器人紧密相关的人的态势感知能力。我们通过使用配准算法来引用机器人以将机器人模型与空间网格匹配。然后使用内置的手部跟踪能力来计算手相对于机器人的位置。通过将手部运动分解为正交旋转,可以实现完全无传感器的手部引导,而无需构建机器人本身的动态模型。我们对通常使用的工业机械手KUKA KR-5进行了第一次测试。
translated by 谷歌翻译
不同传感器捕获的数据可用性的急剧和近期增加加上其相当多的异质性质对于有效和高效地处理远程数据提出了严峻挑战。然而,遥感和辅助数据集的这种增加开辟了以联合方式利用多模态数据集的可能性,以进一步改善处理方法的性能,而不是考虑到手头的应用。因此,多源数据融合受到全世界研究人员的广泛关注,适用于各种各样的应用。此外,由于几个空间传感器的重新访问能力,时间信息与遥感数据的空间和/或光谱/反向散射信息的集成是可能的,并有助于从2D / 3D数据的表示转移到4D数据结构,其中时间变量为信息提取算法添加了新信息和挑战。有大量研究工作涉及多源和多时相数据融合,但不同模式的融合方法已根据各研究界的不同路径扩展。本文汇集了多源和多时相数据融合方法在不同研究社区方面的进展,并为不同层次的研究人员(即学生,研究人员和资深研究人员)提供了一个全面的,针对学科的起点,愿意对这一具有挑战性的话题进行新的研究。提供足够的细节和参考。
translated by 谷歌翻译
动词出现在不同的句法环境或框架中。我们研究了人工神经网络是否编码了推断动词的特殊帧选择属性所必需的语法区别。我们引入了五个数据集,统称为FAVA,总共包含大约10k个用于语法可接受性标记的句子,说明了不同的语言参数结构变更。然后,我们测试模型是否可以使用单独嵌入的句子来区分可接受的英语动词框架组合与不可接受的组合。为了汇总证据,我们进一步构建了相应的词级数据集LaVA,并研究是否可以从词嵌入中提取相同的句法特征。我们的模型对某些口头变化进行了可靠的分类,但没有对其他变体进行分类,这表明虽然这些表示确实编码了细粒度的词汇信息,但它不完整或难以提取。此外,单词和句子级模型之间的差异表明,在单词嵌入中出现的一些信息不会传递给下游句子嵌入。
translated by 谷歌翻译
CoNLL - SIGMORPHON 2018共享关于形态学生成的监督学习的任务,其特征在于来自103种不同语言的数据集。除了延长生成变形形式的早期监督任务所涉及的语言数量之外,今年共享任务还包括一项新的第二项任务,该任务要求参与者在词义上下文中反映单词,类似于完形填空任务。第二项任务包括七种语言。任务1收到27个提交,任务2收到6个提交。这两个任务都有低,中,高数据条件。几乎所有的提交都有一个神经元件,并建立在2017年早期共享任务的高排名系统上。在变形任务(任务1)中,去年的变形任务中出现的52种语言中有41种在资源匮乏的环境中表现出了最佳效果。完形填空任务(任务2)被证明是困难的,很少有提交设法能够在简单的神经基线系统和引理重复基线上不断改进。
translated by 谷歌翻译