Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, SysML, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.
translated by 谷歌翻译
通过随机梯度下降(SGD)对大规模机器学习模型,特别是深度神经网络的分布式训练正变得司空见惯。已经提出了几种通信减少方法,例如量化,大批量方法和梯度稀疏化。迄今为止,梯度稀疏化方法 - 其中每个节点按大小对梯度进行排序,并且仅传递组件的子集,在本地累积其余组件 - 已知产生一些最大的实际增益。这些方法可以将每步的通信量减少多达三个数量级,同时保持模型精度。然而,这一系列方法目前还没有理论上的合理性。这是我们在本文中提出的问题。我们证明,在分析假设下,对于数据并行SGD,通过局部误差校正按幅度稀疏梯度为凸面和非凸面光滑目标提供收敛保证。主要的见解是,由于数量的选择,稀疏化方法隐含地保持了陈旧更新的最大影响的界限。我们的分析和经验验证还表明,这些方法确实需要分析条件才能很好地收敛,证明现有的启发式方法是正确的。
translated by 谷歌翻译
随机梯度下降(SGD)是机器学习中的一种基本算法,代表了训练几种经典模型的优化主干,从回归到神经网络。鉴于最近对分布式机器学习的实际关注,在分布式环境中执行的不一致和噪声更新下,已经致力于该算法的收敛性质的重要工作。然而,令人惊讶的是,这种经典算法在标准共享存储器模型中的收敛特性仍然不是很清楚。在这项工作中,我们解决了这个差距,并为经典异步共享内存模型中的强无效自适应对手提供了无锁并发随机梯度下降的新收敛边界。我们的结果给出了在同时设置中执行基本SGD算法的“异步价格”的上限和下限。他们表明,这种经典的优化工具可以更快地收敛,并且具有比以前在异步迭代中已知的更广泛的参数。同时,我们展示了系统中的最大延迟与SGD可以收敛的速率之间的基本权衡,其控制了该算法仍然可以有效工作的参数集。
translated by 谷歌翻译
最近机器学习的快速发展背后的主要驱动因素之一是有效的系统支持。尽管存在进展,但将计算密集型机器学习工作负载扩展到大量计算节点仍然是一项具有挑战性的任务。在本文中,我们通过提出SparCML来解决这一挑战,SparCML是机器学习应用程序的通用可扩展通信层。 SparCML建立在这样的观察之上:许多分布式机器学习算法要么具有自然稀疏的通信模式,要么具有可以在结构化路径中进行稀疏化的更新以提高性能,而不会损失收敛性或准确性。为了利用这种洞察力,我们分析,设计和实现了一组用于稀疏输入数据的通信高效协议,并结合了可以利用这些原语的高效机器学习算法。我们的通信协议通过允许过程提供异构大小的稀疏输入数据向量来概括标准集合操作。 Ourgeneric通信层增加了额外的功能,例如支持非阻塞(异步)操作和支持低精度数据表示。我们在一系列大规模机器学习应用程序和目标体系结构上实验验证了我们的算法结果,表明与现有方法和框架相比,我们可以利用稀疏性来实现数量级的运行时节省。
translated by 谷歌翻译
互联网的非索引部分(Darknet)已成为合法和非法匿名活动的避风港。鉴于这些网络的规模,可靠地监控其活动必然依赖于自动工具,尤其是NLP工具。然而,人们对通过Darknet传达的特征文本以及这个领域的NLP工具如何做得很少知之甚少。本文解决了这一差距,并对暗网中合法和非法文本的特征进行了深入调查,并将其与具有类似内容的清晰网站进行比较,作为控制条件。以药物相关网站为测试案例,我们发现销售合法和非法药物的文本具有多种语言特征,可以区分彼此,以及控制条件,其中包括POS标签的分布,以及其命名实体的覆盖范围。在维基百科。
translated by 谷歌翻译
在本文中,我们专注于面部表情翻译任务,并提出一个新的表达式条件GAN(ECGAN),它可以学习基于一个额外的表达属性从一个图像域到另一个图像域的映射。所提出的ECGAN是通用框架,并且适用于不同的表达生成任务,其中特定的面部表情可以通过条件属性标签容易地控制。此外,我们还介绍了一种新颖的面膜,以减少背景变化的影响。此外,我们提出了在野外进行面部表情生成和识别的整个框架,其包括两个模块,即生成和识别。最后,我们在几个公共面部数据集上评估我们的框架,其中主体具有不同的种族,光照,遮挡,姿势,颜色,内容和背景条件。尽管这些数据集非常多样化,但定性和定量结果都表明我们的方法能够准确,稳健地生成面部表达。
translated by 谷歌翻译
在过去几年中,人们越来越关注学习基于物理基础的语言理解任务的模型,例如popularblocks world domain。这些工作通常将此问题视为单一进程,其中人工操作员发出指令,并评估自动代理执行它的能力。在本文中,我们采用第一个steptowards来增加这种交互的带宽,并建议一个包含建议,关于任务的高级观察的协议,这可以帮助消除代理的预测。我们评估我们对块世界任务的方法,并表明即使是简单的建议也可以帮助实现显着的性能提升。为了帮助减少提供建议所需的工作量,我们还要探索可以改善结果的模型自生建议。
translated by 谷歌翻译
机器人装配代表了一组用于执行学习和变量合规控制的基准问题,其具有复杂的接触操纵。将强化学习应用于物理机器人的关键挑战之一是样本的复杂性,需要大量的学习经验。我们通过模型引导探索将迭代重构模型纳入学习过程,从而缓解了这个样本复杂性问题。然而,拟合物理环境的局部模型是一个主要困难。在这项工作中,aKalman滤波器用于将自适应线性动力学与来自分析描述的粗糙模型相结合,并证明比现有方法提供更准确的预测。实验结果表明,所提出的模型拟合策略可以结合到模型预测控制器中,为学习加速产生良好的探索行为,同时保留不确定环境下无模型强化学习的优势。除了样本复杂性之外,在操作期间不可避免的机器人过载也会限制学习效率。为了解决这个问题,我们提出了一种方法来限制合规控制系统中最大可能的潜在能量,从而将接触力保持在合理范围内。
translated by 谷歌翻译
自动生成图像的描述性标题是计算机视觉领域中一个经过深入研究的领域。然而,现有的评估方法侧重于测量两个句子之间的相似性,而忽略了字幕的细粒度语义。在我们描绘人物与品牌产品交互的图像设置中,品牌产品的主题,谓词,对象和名称是生成的标题的重要评估标准。使用这些约束生成图像标题是我们在这项工作中要解决的新挑战。通过同时预测描述人 - 产品交互属性的整数值,我们在多任务学习环境中优化深度神经网络架构,从而显着提高了字幕质量。此外,我们引入了一个新的度量,允许我们评估生成的字幕是否符合我们的要求(即主题,谓词,对象和产品名称),并描述一系列关于字幕质量的实验以及如何通过方法解决图像评级的注释问题称为软目标。我们还表明,我们的新颖的以子句为中心的度量标准也适用于其他图像字幕数据集,例如流行的MSCOCO数据集。
translated by 谷歌翻译
我们研究了不同扰动类型之间的深度神经网络的对抗鲁棒性的转移。虽然大多数关于对抗性实例的工作都集中在$ L_ \ infty $和$ L_2 $ -bounded扰动上,但这些并没有捕获对手可用的所有类型的扰动。目前的工作评估了5种不同类型的32次攻击,对抗100个ImageNet子集的对抗模型。我们的实证结果表明,对广泛的扰动大小进行评估对于理解扰动类型之间的对抗鲁棒性转移是必要的。我们进一步证明针对一种扰动类型的鲁棒性可能并不总是意味着可能有时会损害对其他扰动类型的鲁棒性。鉴于这些结果,我们建议对各种扰动类型和大小的对抗性防御进行评估。
translated by 谷歌翻译