我们介绍了一组九个挑战任务,测试理解功能词。这些任务是通过结构化突变数据集的句子来创建的,以便能够理解特定类型的功能词(例如,介词,wh-words)。使用这些探测任务,我们探索了各种预训练目标对句子编码器(例如,语言建模,CCG超级标准和自然语言推理(NLI))对学习代表的影响。我们的结果表明,对CCG进行预训练 - 我们最常用的语法 - 在我们的探究任务中平均表现最佳,这表明句法知识有助于词汇理解。语言建模也显示出强大的性能,支持其广泛用于预训练最先进的NLP模型。总的来说,没有预训练目标支配董事会,我们的功能词探测任务突出了预训练目标之间的几个直观差异,例如,NLI有助于理解否定。
translated by 谷歌翻译
关于语境化词语表示问题的研究 - 用于句子理解的可重用神经网络组件的发展 - 最近出现了一系列进展,其中心是使用ELMo等方法进行语言建模的无监督预训练任务。本文提供了第一个大规模的系统研究,比较了该语境中不同的预训练任务,既作为语言建模的补充,也作为潜在的替代。该研究的主要结果支持使用语言模型作为预训练任务,并使用语言模型的多任务学习在可比模型中设置新的技术水平。然而,仔细观察这些结果可以发现令人担忧的强大基线和跨越目标任务的惊人变化的结果,这表明广泛使用的预训练和冻结句子编码器的范例可能不是进一步工作的理想平台。
translated by 谷歌翻译
Universal Morphology UniMorph项目旨在改善NLP如何处理世界各地语言的复杂形态。该项目使用通用标记集UniMorph模式发布带注释的形态数据。每个变形形式都与引理相关联,引理通常具有其潜在的词义,以及来自我们模式的一组形态特征。如果可用,还会根据每种语言提供额外的支持数据和工具。 UniMorph位于马里兰州巴尔的摩市约翰霍普金斯大学语言和语音处理中心(CLSP),由DARPA LORELEI计划赞助。本文详细介绍了自LREC 2016中描述的最初UniMorph版本以来对项目资源的收集,注释和传播所取得的进展。太阳资源}}
translated by 谷歌翻译
Heterogeneous network embedding (HNE) is a challenging task due to the diverse node types and/or diverse relationships between nodes. Existing HNE methods are typically unsupervised. To maximize the profit of utilizing the rare and valuable supervised information in HNEs, we develop a novel Active Heterogeneous Network Embedding (Ac-tiveHNE) framework, which includes two components: Discriminative Heterogeneous Network Embedding (DHNE) and Active Query in Heterogeneous Networks (AQHN). In DHNE, we introduce a novel semi-supervised heterogeneous network embedding method based on graph convolutional neu-ral network. In AQHN, we first introduce three active selection strategies based on uncertainty and representativeness, and then derive a batch selection method that assembles these strategies using a multi-armed bandit mechanism. ActiveHNE aims at improving the performance of HNE by feeding the most valuable supervision obtained by AQHN into DHNE. Experiments on public datasets demonstrate the effectiveness of ActiveHNE and its advantage on reducing the query cost.
translated by 谷歌翻译
我们提出了一个结合了分层规划和机器学习的思想的导航系统。该系统使用传统的全局规划器来计算朝向目标的最佳路径,并使用深度局部轨迹规划器和速度控制器来计算运动命令。系统的后者组件通过注意机制调整机器人的行为,使其朝向目标移动,避开障碍物,并尊重近距离行人的空间。所提出的深度模型的结构和使用注意机制都使得系统的执行可以解释。我们的仿真实验表明,所提出的架构优于基线,可以将全局计划信息和传感器数据直接映射到velocitycommands。与手工设计的传统导航系统相比,所提出的方法表现出更一致的性能。
translated by 谷歌翻译
We propose to learn a hierarchical prior in the context of variational autoencoders to avoid over-regularisation resulting from a standard normal prior distribution. To incentivise an informative latent representation of the data by learning a rich hierarchical prior, we formulate the objective function as the Lagrangian of a constrained-optimisation problem and propose an optimisation algorithm inspired by Taming VAEs. To validate our approach, we train our model on the static and binary MNIST, Fashion-MNIST, OMNIGLOT, CMU Graphics Lab Motion Capture, 3D Faces, and 3D Chairs datasets, obtaining results that are comparable to state-of-the-art. Furthermore, we introduce a graph-based interpolation method to show that the topology of the learned latent representation correspond to the topology of the data manifold.
translated by 谷歌翻译
本文介绍了Stanford Doggo,这是一种准直驱四驱动的动力运动。该机器人匹配或超过最先进的腿式机器人的常见性能指标。在垂直跳跃敏捷性(平均垂直速度的衡量标准)方面,斯坦福Doggo与最佳表现的动画匹配超过之前的最佳机器人22%。我们的整体设计架构着重于我们的准直接驱动设计方法。复制这个机器人的硬件和软件是开源的,只需要手工工具进行制造和组装,成本不到3000美元。
translated by 谷歌翻译
本文介绍了一种全方位的空中操纵平台,用于对非结构化环境进行鲁棒性和响应性交互,以实现基于接触的检测。完全驱动的倾转旋翼天线系统配备了一个刚性安装的末端执行器,能够施加6度的自由力和扭矩,解耦系统的平移和旋转动力学,并在保持稳定性的同时实现与环境的精确互动。具有选择性表观惯性的阻抗控制器被配制成允许在一定自由度下的顺应性,同时在其它自由度中实现精确的轨迹跟踪和干扰抑制。实验证明了干扰抑制,推 - 滑相互作用以及具有深度伺服的板载状态估计以与局部相互作用。该系统也被验证为基于接触的混凝土基础设施无损检测的工具。
translated by 谷歌翻译
我们用i.i.d中的squareloss函数分析了多智能体分散非参数回归的概念下分布式梯度下降的学习性能。样本分配给代理。我们证明了ifagents在网络规模方面拥有足够多的样本,然后分布梯度下降通过多次迭代实现最佳统计速率,这些迭代可以通过八卦矩阵的频谱差的倒数除以样本数来扩展到阈值。每个代理人拥有一个依赖于问题的权力。门槛的存在来自统计学。它编码存在“大数据”机制,其中所需迭代的数量不依赖于网络拓扑。在这种情况下,分布式梯度下降实现了最佳统计速率,迭代次数与网络中所有样本的梯度下降一致。如果通信延迟足够小,则与单机协议相比,分布式协议在运行时产生线性加速。这与分散的优化算法形成对比,后者不利用统计数据,仅产生线性加速图,其中光谱间隙远离零。我们的结果利用了代理人持有的数量的统计集中,并为分散方法中的统计和通信之间的相互作用提供了新的视角。在具有源/容量假设的标准非参数设置中给出了边界。
translated by 谷歌翻译
尽管过去已经建立了许多用于自动驾驶的研究车辆平台,但硬件设计,源代码和经验教训尚未提供给下一代示范者。这为研究界提供了基于实际评估的结果的努力,因为建立和维护研究车辆的工程知识丢失了。在本文中,我们分析了我们将开源驱动堆栈转移到研究工具的方法。我们将硬件和软件设置放在其他演示器的上下文中,并指出了导致我们选择的硬件和软件设计的标准。具体来说,我们讨论了Apollo驱动堆栈到我们研究工具的系统布局的映射,包括与执行器的通信通过在实时硬件平台上运行的控制器和传感器设置的集成。通过我们收集的经验教训,我们鼓励其他研究小组在未来更快地设置此类系统。
translated by 谷歌翻译