Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, SysML, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.
translated by 谷歌翻译
本文的目的是设计新的多层神经网络体系结构,用于流量的多尺度模拟,同时考虑观测数据和物理建模概念。我们的方法使用深度学习概念结合局部多尺度模型简化方法来预测流动力学。使用降阶模型概念对于构建稳健的深度学习架构非常重要,因为降阶模型提供了更少的自由度。流动力学可以被认为是多层网络。更确切地说,在时刻$ n + 1 $的解决方案(例如,压力和饱和度)取决于时间$ n $处的解决方案和输入参数,例如渗透率字段,强制项和初始条件。可以将该解决方案视为多层网络,其中每个层通常是非线性前向映射,并且层的数量与内部时间步长相关。我们将依靠严格的模型减少概念来定义每个层的未知数和连接。在每个层中,我们的降阶模型将提供前向映射,该映射将使用可用数据进行修改(“训练”)。为此目的使用降阶模型是至关重要的,它将识别影响区域和适当数量的变量。由于缺乏可用数据,培训将根据需要补充计算数据,并在数据丰富和数据不足模型之间进行插值。我们还将使用深度学习算法来训练简化模型离散系统的元素。我们将介绍我们的方法和数值结果的主要成分。数值结果表明,使用深度学习和多尺度模型,我们可以改进以可用数据为条件的正演模型。
translated by 谷歌翻译
机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的模型,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习模型的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
本文涉及在图形模型中估计模型参数。将其描述为信息几何优化问题,并引入包含额外元参数的解剖梯度下降策略。我们表明,我们的方法是图形模型中用于学习的着名EM方法的强有力替代方案。实际上,我们基于自然梯度的策略导致学习最终目标函数的最佳参数,而不是试图拟合可能与真实不对应的分布。我们支持我们的理论发现与金融市场中的趋势检测问题,并表明学习模型表现出更好的传统实践方法,并且不易过度拟合。
translated by 谷歌翻译
利用数据增强进行神经网络训练的一个关键挑战是从候选操作的大型搜索空间中选择有效的增强策略。适当选择的增强政策可以带来显着的泛化改进;然而,对于普通用户来说,最先进的方法如AutoAugment在计算上是不可行的。在本文中,我们引入了一种新的数据增强算法,即基于种群的增强(PBA),它生成非平稳增强策略,而不是固定的增强策略。我们证明了PBA可以与CIFAR-10,CIFAR-100和SVHN上的AutoAugment的性能相匹配,总体计算量减少了三个数量级。在CIFAR-10上,我们实现了1.46%的平均测试误差,这是对当前最先进技术的一点点改进。 PBA的代码是开源的,可以通过以下网址获得://github.com/arcelien/pba。
translated by 谷歌翻译
虽然目前的通用游戏(GGP)系统促进了用于游戏的人工智能(AI)的有用研究,但它们通常是特定的,并且计算效率低。在本文中,我们描述了一个名为Ludii的“ludemic”通用游戏系统的初始版本,该系统具有为AI研究人员以及相关领域的游戏设计师,历史学家,教育工作者和从业者提供有效工具的潜力。 Ludiidefines游戏作为ludemes的结构,即高级,易于理解的游戏概念。我们通过概述其主要优点来建立Ludii的基础:通用性,可扩展性,可理解性和效率。实验上,Ludii优于Tiltyard GGP存储库中所有可用游戏的基于命题网络的最有效的Game DescriptionLanguage(GDL)reasoners之一。
translated by 谷歌翻译
模块化子系统的组件正在投入使用,以便在交通,医疗保健和工业自动化等高风险,时间关键任务中执行传感,推理和决策。我们通过使用强化学习来指导组成系统的一组交互模块的配置,从而增加了整体计算系统效用的机会。在全系统范围内进行优化的挑战是一个组合问题。通过修改其配置来提高特定模块性能的本地尝试通常会导致系统性能的整体效用损失,因为下游模块的输入分布急剧变化。我们提出了metareasoning技术,它考虑了输入的丰富表示,监视整个管道的状态,并在运行中调整模块的配置,以最大化系统操作的效用。我们通过各种强化学习技术在现实世界和合成管道中显示出显着的改进。
translated by 谷歌翻译
选择性估计长期以来用于密度估计的统计工具。为了捕获关系表的丰富多变量分布,我们建议使用一种新型的高容量统计模型:深度似然模型。然而,这些模型的直接应用导致有限的估计器,其对于范围和通配符谓词的评估来说过于昂贵。为了制作真正可用的估算器,我们在可能性模型之上开发了蒙特卡罗集成方案,该方案可以使用数十个或更多过滤器来有效地处理范围查询。像经典概要一样,我们的估算器在没有监督的情况下总结了数据。与以前的解决方案不同,我们的估算器近似于联合数据分布,没有任何独立性假设。当在真实世界数据集上进行评估并与实际系统和主要技术家族进行比较时,我们的基于似然模型的估计器在尾部实现了单位数乘法误差,比第二种最佳方法提高了40-200 $ \次精度,并且是空间和运行时间效率高达。
translated by 谷歌翻译
我们提出了神经引导的RANSAC(NG-RANSAC),它是来自鲁棒优化的经典RANSAC算法的扩展。 NG-RANSAC使用先验信息来改进模型假设搜索,增加了寻找离群最小集的机会。以前的作品使用启发式的边信息,如手工制作的描述距离来指导假设搜索。相比之下,我们以原则的方式学习假设搜索,这样我们可以在训练期间优化任意任务丢失,从而大大改进经典的计算机视觉任务。我们提出了NG-RANSAC的两个进一步扩展。首先,使用inlier计数本身作为训练信号允许我们以自我监督的方式训练神经指导。其次,我们将神经引导与可区分的RANSAC结合起来构建神经网络,该神经网络关注输入数据的某些部分并使输出预测尽可能好。我们评估NG-RANSAC的各种计算机视觉任务,即对极几何的估计,地平线估计和相机重新定位。与最先进的学习者相比,我们可以获得优越或具有竞争力的结果,包括最新的学习者。
translated by 谷歌翻译
检测驾驶员的意图是自驾车的一项基本任务,是预测车道变更和停车等突发事件所必需的。转向信号灯和紧急闪光灯传达这样的意图,提供几秒钟的潜在关键反应时间。在本文中,我们建议通过使用深入神经网络来检测视频序列中的信号,该神经网络推导出空间和时间信息。我们对超过一百万帧的实验表明,在非常具有挑战性的情况下,每帧精度很高。
translated by 谷歌翻译