我们介绍了一种利用深度语境嵌入的多语言转移的新方法,该方法以无人监督的方式预训练。虽然与静态对应物相比,已经证明上下文嵌入可以产生更丰富的意义表示,但由于它们的动态性质,对齐它们会带来挑战。为此,我们构造原始单语空间的与上下文无关的变体,并利用它们的映射来导出依赖于上下文的空间的对齐。该映射容易支持处理目标语言,通过上下文感知嵌入改进传输。 Ourexperimental结果证明了这种方法对于依赖性解析的零镜头和几次镜头学习的有效性。具体来说,我们的方法始终优于以前最先进的6种目标语言,平均提高了6.8 LAS点。
translated by 谷歌翻译
单词顺序和形态学标记等类型学属性如何影响神经序列模型获取语言语法的能力? RNN的句法表现的跨语言比较(例如,主题 - 动词一致性预测)由于任何两种语言在多种类型学特性以及训练语料库中的差异而不同的事实而变得复杂。我们提出了一个解决这些问题的范例:我们创建了英语的合成版本,它与单个参数中的英语不同,并根据经过验证的英语语料库生成这些语言的语料库。我们报告了一系列实验,其中训练RNN来预测每种合成语言中动词的一致性特征。在其他调查结果中,(1)表现为主体 - 动词 - 对象顺序(如英语)高于主语 - 宾语 - 动词顺序(日语),表明RNN具有新近偏差; (2)预测与主体和客体的协商(多重协议)分别改进了对各自的过度预测,表明潜在的句法知识转移到两个任务中; (3)明显的形态学案例使得协议预测显着更容易,无论词序如何。
translated by 谷歌翻译
工程和算法的最新发展使得量子计算的实际应用在不久的将来成为可能。现有的量子编程语言和编译器使用由1和2量子比特(量子比特)门组成的量子汇编语言。量子编译器框架将此量子组件转换为电信号(称为控制脉冲),在特定物理设备上实现指定的计算。然而,由1和2-qubit逻辑ISA定义的操作与其基础物理实现之间存在混淆,因此将逻辑指令直接转换为控制脉冲的当前实践导致低效,高延迟的程序。为了解决这种低效问题,我们提出了一种通用量子编译方法,该方法将多个逻辑运算聚合到更大的单元中,一次操作多达10个量子位。我们的方法通过以下方式优化这些聚合:(1)找到交换中间操作,从而产生更有效的时间表;(2)创建针对聚合优化的自定义控制脉冲(而不是单独的1和2-qubit操作)。与标准的基于门的编译相比,所提出的方法实现了高级量子软件和低级物理量子硬件的更深层次的垂直集成。我们在超导量子体系结构的模拟上评估我们关于重要近期量子应用的方法。我们提出的方法提供平均加速$ 5 \ times $,最高$ 10 \ times $。因为延迟直接影响量子计算的可行性,我们的结果不仅提高了性能,而且还有可能比其他方面更快地实现量子计算。
translated by 谷歌翻译
大批量SGD对于深度神经网络的缩放训练非常重要。但是,如果没有微调超参数调度,模型的泛化可能会受到阻碍。我们建议使用批量增加:在同一批次中使用不同的数据增强来复制样本实例。批量增加充当正则化器和加速器,增加了广义化和性能扩展。我们分析了结合对梯度方差的影响,并表明它可以凭经验改善各种深度神经网络和数据集的收敛性。我们的结果表明,批量增加减少了必要的SGD更新数量,以达到与最先进技术相同的精度。总的来说,这种简单而有效的方法通过允许同时使用更多计算资源来实现更快的训练和更好的通用化。
translated by 谷歌翻译
用于高维最近邻搜索问题(NNS)的大多数有效次线性时间索引算法基于环境空间$ \ mathbb {R} ^ d $的空间分区。受最近关于通用度量空间NNS的理论工作的启发[Andoni,Naor,Nikolov,Razenshteyn,Waingarten STOC 2018,FOCS 2018],我们开发了一个新的框架,用于构建这样的分区,将问题简化为平衡图分区,然后通过监督分类。我们分别用KaHIP图分区器[Sanders,Schulz SEA 2013]和神经网络实例化这种通用方法,以获得一种称为NeuralLocality-Sensitive Hashing(Neural LSH)的新分区程序。在NNS的几个标准基准测试中,我们的实验表明,通过Neural LSH找到的分区始终优于通过基于量化和树的方法找到的分区。
translated by 谷歌翻译
人们以快速而灵活的方式学习,而这些方式并未被机器模仿。一旦一个人学会了一个新的动词“dax”,他或她就可以毫不费力地理解如何“dax two”,“walk and dax”或“dax vig”。最近在自然语言处理的机器学习方面取得了惊人的进步,但最好的算法需要大量的经验和奋斗来以组合的方式概括新的概念。为了更好地理解这些独特的人类能力,我们通过类似语言的教学学习任务来研究人的组成技能。我们的研究结果表明,人们可以从很少的例子中学习和使用新颖的功能概念(少量学习),成功地将熟悉的功能应用到新颖的输入中。人们也可以用复杂的方式组合概念,超越所提供的演示。另外两个实验检验了人们在解决这些任务时所做出的假设和诱导偏见,揭示了三种偏见:互斥性,一对一映射和标志性连接。讨论认知建模的意义以及具有更像人类语言学习能力的建筑机械的潜力。
translated by 谷歌翻译
为自动驾驶汽车设计驾驶政策是一项艰巨的任务。最近的研究表明,对于直接从原始感官输入预测驾驶员的政策进行端到端(E2E)培训。由于易于标记数据收集并且因为避免了手工制作的特征,所以它很吸引人。诸如可解释性,安全执行和学习效率等明确的回归限制了该方法的实际应用。在本文中,我们修改了基本的E2E架构,以解决这些缺点,同时保留端到端学习的力量。我们提出的架构中的一个关键因素是将学习问题表达为轨迹学习。我们还应用高斯混合模型损失来应对多模态数据,并采用风险风险度量,风险条件值,以强调罕见事件。我们分析了每个概念的影响,并在TORCS模拟器的高速公路中展示了驾驶性能。视频可在以下链接中找到:https://www.youtube.com/watch?v = 1JYNBZNOe_4
translated by 谷歌翻译
解决难题本身就是一个难题,即使这些碎片都是正方形并构建了自然图像。但是,如果这些理想条件不成立呢?一个这样的应用领域是考古学,其中从其片段恢复anartifact是非常重要的。从计算机视觉的角度来看,解决考古难题是非常具有挑战性的,因为有三个额外的困难:碎片具有一般形状;它们是有争议的,特别是在边界处(对于匹配应该存在最强的线索);并且各部分之间的有效转换域是连续的。本文的主要贡献是一个全自动和通用的算法,解决了这个有趣领域的解谜问题。我们展示了我们最先进的方法能够正确地重新组装数十个破碎的工件和壁画。
translated by 谷歌翻译
胶质瘤是最常见的原发性脑恶性肿瘤,具有不同程度的侵袭性,可变预后和各种异质性组织亚区域,即肿瘤周围水肿/侵入组织,坏死核心,活性和非增强核心。这种内在的异质性也被用于它们的放射性表型,因为它们的子区域通过在多参数磁共振成像(mpMRI)扫描中传播的不同强度分布来描绘,反映了不同的生物学特性。它们的异质形状,范围和位置是其中的一部分。使这些肿瘤难以切除的因素,在某些情况下无法手术。切除肿瘤的数量也是纵向扫描中考虑的一个因素,用于评估表观肿瘤以进行潜在的进展诊断。此外,有越来越多的证据表明,各种肿瘤亚区域的准确分割可以为定量图像分析提供预测患者整体的基础。生存。该研究评估了在国际脑肿瘤分割(BraTS)挑战的最后七个实例(即2012-2018)期间用于mpMRI扫描中的脑肿瘤图像分析的最先进的机器学习(ML)方法。具体而言,我们专注于i)评估术前mpMRI扫描中各种神经胶质瘤亚区的分割,ii)通过肿瘤亚区的纵向生长评估潜在的肿瘤进展,超出RECIST标准的使用,以及iii)预测整体术前mpMRI扫描对经历完全切除的患者的生存率。最后,我们研究了为每个任务确定最佳ML算法的挑战,考虑到除了在每个挑战实例上多样化之外,多机构mpMRI BraTS数据集也是一个不断发展/不断发展的数据集。
translated by 谷歌翻译