Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, SysML, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.
translated by 谷歌翻译
从存储在数据库中的数据中学习是关系引擎中越来越多的重要功能。使用较低精度输入数据的方法由于其总体较高的效率而特别受关注,但是在数据库中,这些方法具有隐藏的成本:将实际值量化为较小的数量是昂贵的步骤。为了解决这个问题,本文提出了MLWeaving,一种数据结构和硬件加速技术,旨在加速广义线性模型数据库的学习。 ML-Weaving提供紧凑的内存表示,可以在任何精度级别上进行数据的检测。 MLWeaving还利用基于FPGA的加速器的日益增加的可用性来提供随机梯度下降的高效实现。在MLWeaving中采用的解决方案在空间方面(因为它可以处理相同设计上的任何分辨率)和资源(通过使用位串行乘法器)比现有设计更有效。 MLWeaving还可以在训练期间调整精度,而不是固定的精度水平。我们使用简单,动态的精确计划来说明这一点。实验结果表明,与一阶方法的低精度CPU实现相比,MLWeaving实现了高达16的性能提升。
translated by 谷歌翻译
本文提出了区分Cuneiform脚本中语言和方言的方法,Cuneiform脚本是世界上最早的书写系统之一。我们报告了P​​Z团队在VarDialEvaluation Campaign 2019范围内组织的Cuneiform LanguageIdentification(CLI)共享任务中获得的结果。该任务包括两种语言,苏美尔语和阿卡德语。后者分为六种方言:旧巴比伦,中巴比伦外围,标准巴比伦,新巴比伦,晚巴比伦和新亚述。我们使用经过各种SVM模型训练的元分类器来完成任务,并且我们展示了该系统在此任务中的有效性。我们提交的0.738 F1得分在区分七种语言和方言中得分,并且在八场比赛中排名第四。
translated by 谷歌翻译
深度学习模型在几个问题上表现出色,但是他们的培训过程往往需要大量的计算和人力资源用于培训和标签,限制了可以解决的问题类型。因此,需要小标记训练集的有效训练方法的设计是一个重要的研究方向,可以更有效地利用资源。为解决这个问题而设计的两种方法尤其令人感兴趣:数据增强和主动学习。数据增加通过人工生成新的训练点来实现这一目标,而主动学习则依赖于选择由甲骨文标记的未标记训练样本的“信息量最大”子集。虽然在实践中是成功的,但数据增强可能浪费计算资源,因为它不加区分地生成不保证提供信息的样本,并且主动学习选择可能不足以用于训练过程的一小部分信息样本(来自大量注释的集合)。在本文中,我们提出了一种贝叶斯生成主动深度学习方法,将主动学习与数据增强相结合 - 我们提供理论和经验证据(MNIST,CIFAR - $ \ {10,100 \} $和SVHN),我们的方法有更有效的培训和更好的分类结果比数据增强和主动学习。
translated by 谷歌翻译
我们提出了一种方法,该方法基于三重态损失函数的优化,显着提高了深度距离度量学习的效率。基于三元组丢失函数的朴素优化的这种训练过程的一个时期具有运行时复杂度O(N ^ 3),其中N是训练样本的数量。这种优化的扩展性很差,并且提出的解决这一高度复杂性问题的最常见方法是基于对训练过程所需的三元组集进行子采样。在该领域中探索的Anotherapproach依赖于引入类质心的三重态损失的ad-hoc线性化(就N而言),必须使用每个小批量的整个训练集来优化它 - 这意味着这种方法的天真实现已经运行时间复杂度O(N ^ 2)。这种复杂性问题通常通过差的但计算上便宜的近似优化方法来减轻。在本文中,我们首先提出了一个关于使用类质心线性化三重态损失的可靠理论,其中主要结论是我们的新线性损失代表了三重态损失的紧密上限。此外,基于上述理论,我们提出了不再需要质心优化步骤的训练算法,这意味着我们的方法是具有有保证的线性运行时复杂度的领域中的第一个。我们表明,使用提出的上限训练深度远程学习方法比基于小波的方法快得多,同时在基准数据集(CUB-200-2011和CAR196)中产生竞争性检索精度结果。
translated by 谷歌翻译
在本文中,我们重新审视了从社交媒体中自动识别仇恨言论的问题。我们使用基于简化组合递归神经网络(RNN)的系统来完成任务。我们测试了SemEval-2019任务5:仇恨言语多语种检测Twitter(HatEval)共享任务数据集中的移民和女性。 HatEval组织者提供的数据集包含从Twitter检索到的英语和西班牙语帖子,注释了仇恨内容及其目标的存在。在本文中,我们将我们系统获得的结果与共享任务中的其他条目进行比较。我们系统化的竞争表现在英语赛道的62个系统中的子任务A中排名第7。
translated by 谷歌翻译
当前一代外科医生需要广泛的培训互操作,以发展特定的灵巧技能,这些技能独立于医学知识。从操纵任务培训课程进度可以模拟手术任务,但时间有限。为解决这个问题,我们建议将手术机器人训练与触觉反馈(HF)结合起来,以提高技能获取能力。本文介绍了我们的触觉设备的初步但有前途的结果,旨在支持外科手势的训练。我们正在进行的工作与将RFEN II平台中的HF集成有关。
translated by 谷歌翻译
在本文中,我们提出了一种使用具有加性余量softmax的双向双编码器来学习多语言句子嵌入的方法。嵌入能够在UnitedNations(UN)并行语料库检索任务上实现最先进的结果。在所有测试的语言中,系统达到86%或更高的P @ 1。我们使用通过我们的方法检索的对来获得NMT模型,这些模型实现了与在黄金对上训练的模型相似的性能。我们探索通过平均我们的嵌入来构建的简单文档级嵌入。在UN文档级检索任务中,对于所有实验语言对,文档嵌入在P @ 1上达到约97%。最后,我们在BUCC挖掘任务上评估所提出的模型。与当前最先进的模型相比,具有原始余弦相似性得分的学习嵌入获得了有竞争力的结果,并且与第二阶段的得分手在这项任务上达到了新的最新水平。
translated by 谷歌翻译
Wasserstein距离及其变化,例如切片的Wasserstein(SW)距离,最近引起了机器学习社区的注意。具体地说,SW距离具有与Wasserstein距离相似的特性,同时计算起来更简单,因此可用于各种应用,包括生成建模和一般监督/无监督学习。在本文中,我们首先阐明了SW距离和Radon变换之间的数学联系。 Wethen利用广义Radon变换来定义概率测度的一个新的距离族,我们称之为广义的Wasserstein(GSW)距离。我们还表明,类似于SWdistance,GSW距离可以扩展到最大GSW(max-GSW)距离。然后我们提供GSW和max-GSW距离确实是距离的条件。最后,我们比较了所提出的距离在几个生成建模任务中的数值性能,包括SW流和SWauto编码器。
translated by 谷歌翻译
本文讨论了规划具有定向障碍物检测传感器的机器人的问题,该传感器必须在杂乱的环境中移动。规划目标是通过找到包括传感器在内的完整机器人的路径来保持安全,该路径确保机器人在传感器看到之前不会移动到工作空间的任何部分。虽然大量的工作已经解决了这个问题的一个版本,其中传感器的“视野”是机器人周围的球体,但是很少有工作机器人具有狭窄或遮挡的视野。我们给出了问题的正式定义,几种具有不同计算权衡的解决方法,以及示例域中的实验结果。
translated by 谷歌翻译