Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, SysML, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.
translated by 谷歌翻译
生成长期和语义连贯的报告来描述医学图像,对于弥合视觉和语言模式,整合医学领域知识以及生成逼真和准确的描述提出了巨大的挑战。我们提出了一种新颖的知识驱动的编码,检索,释义(KERP)方法,该方法将基于传统知识和检索的方法与基于现代学习的方法相协调,以实现准确和稳健的医学报告生成。具体而言,KERP将医疗报告生成分解为明确的医学异常图学习和随后的自然语言建模。 KERP首先使用Encode模块,通过结合先前的医学知识,将视觉特征转换为结构化异常图;然后是基于检测到的异常检索文本模板的检索模块;最后,一个复述模块根据具体情况重写模板。 KERP的核心是提出的通用实现单元---图形变换器(GTR),它可以动态地转换多个域的图形结构数据之间的高级语义,例如询问图形,图像和序列。实验表明,所提出的方法生成结构化和健壮的报告,支持准确的异常描述和可解释的注意区域,在两个医学报告基准上实现最先进的结果,具有最佳医学异常和疾病分类准确性以及改善的人文评价表现。
translated by 谷歌翻译
贝叶斯优化(BO)是指用于对昂贵的黑盒函数进行全局优化的一套技术,它使用函数的内省贝叶斯模型来有效地找到最优值。虽然BO已经在许多应用中成功应用,但现代优化任务迎来了传统方法失败的新挑战。在这项工作中,我们展示了Dragonfly,这是一个开源Python库,用于可扩展和强大的BO.Dragonfly包含多个最近开发的方法,允许BO应用于具有挑战性的现实世界环境;这些包括更好的处理更高维域的方法,当昂贵函数的廉价近似可用时处理多保真评估的方法,优化结构化组合空间的方法,例如神经网络架构的空间,以及处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,以及优化具有不同变量类型和附加约束的过复杂域。我们将Dragonfly与一套用于全局优化的其他软件包和算法进行比较,并证明当上述方法集成时,它们可以显着改善BO的性能。 Dragonfly图书馆可在dragonfly.github.io上找到。
translated by 谷歌翻译
简单和全面是必要的,以便在解释黑箱决策系统时简明扼要地提供大量信息。然而,现有的可解释的机器学习方法不能同时考虑简洁性和全面性,这可能导致多余的解释。我们提出了一种系统无关的可解释方法,通过采用鼓舞人心的信息理论原则,信息瓶颈原理,提供了一个简短而全面的解释。使用信息理论目标,VIBI选择关于输入(简要性)最大压缩的实例关键特征,并且关于由该输入(综合)上的黑盒做出的决定提供信息。所选择的关键特征充当信息瓶颈,作为每个黑盒决策的简明解释。我们表明,VIBI在人类和定量指标评估的可解释性和保真度方面优于其他可解释的机器学习方法。
translated by 谷歌翻译
优化昂贵的查询功能是科学和工程中的常见任务,其中将查询数量保持在最低限度是有益的。流行的策略是贝叶斯优化(BO),其利用概率模型来完成该任务。今天大多数BO使用高斯过程(GP)或其他一些替代模型。但是,我们可能希望使用一组广泛的贝叶斯建模技术来捕获复杂系统并减少查询数量。概率程序(PP)是现代工具,允许灵活的模型组合,先验信息的结合和自动参考。在本文中,我们开发了ProBO,这是BO的框架,仅使用大多数PP共有的标准操作。这允许用户放入任意PP实现并直接在BO中使用它。为此,我们描述了可以在我们的框架中自动使用的流行采集功能的黑盒版本,没有特定于模型的推导,并展示了如何优化这些功能。我们还引入了一个模型,我们将其称为贝叶斯专家产品,它集成到ProBO中,可用于组合使用不同PP实现的多个模型的信息。我们展示了使用多个PP实现的经验结果,并与标准BO方法进行了比较。
translated by 谷歌翻译
我们确定了鲁棒性和准确性之间的权衡,这是在设计防御对抗性实例时的一个主要原则。虽然这个问题已经在经验上得到广泛研究,但仍有许多未知关注这种权衡的理论基础。在这项工作中,我们根据对抗性示例的风险与非对抗性示例的风险之间的差距来量化交易。挑战是在代理损失方面提供这个数量的紧密限制。我们根据分类校准损失给出该数量的最佳上限,其与最坏情况下的下限匹配。在我们的理论分析的启发下,我们还设计了一种新的防御方法TRADES,以对抗对抗性,而不是准确性。我们提出的算法在实际数据集中实验性地表现良好。该方法论是我们进入神奇的2018年对抗视觉挑战赛的基础,我们在强劲的模型赛道中赢得了1,995份参赛作品中的第一名,以平均$ $ ell_2 $的价格超过亚军奖金$ 11.41 \%$扰动距离。
translated by 谷歌翻译
近年来,文本生成在不同的基础上取得了显着进展,例如从头开始生成文本的最常见设置,以及新兴的检索和重写范例。文本填充,填补句子或段落的文本部分,在现实生活中也有很多用途,但尚未被充分探索。以前的工作集中在限制设置上,要么假设每个缺失部分有一个单词,要么限制到文本末尾的单个缺失部分。本文研究了文本填充的一般任务,其中输入文本可以具有任意数量的要填充的部分,每个部分可能需要任意未知数量的部分。我们研究了该任务的各种方法,包括具有段感知位置编码和双向上下文建模的自我关注模型。我们通过屏蔽具有不同策略的文本来创建广泛的监督数据。实验表明,自我关注模型在很大程度上优于其他人,为未来的研究奠定了坚实的基础。
translated by 谷歌翻译
诸如循环网络的序列生成模型可以使用一组学习算法来训练。例如,最大似然学习是简单而有效的,但却遭受暴露偏差问题。像政策梯度这样的强化学习可以解决问题,但可能会限制探索效率。还从不同的角度开发了各种其他算法,例如RAML,SPG和数据噪声。本文建立了这些算法之间的正式联系。我们提出了时间化的熵正则化策略优化公式,并表明明显不同的算法都可以作为框架的特殊实例重新制定,唯一的区别是奖励函数的配置和一些超参数。统一解释提供了对探索和学习效率的不同属性的系统观点。此外,在此框架的基础上,提出了一种新的算法,在现有的算法中进行动态插值,以提高学习效果。机器翻译和文本摘要的实验证明了该算法的优越性。
translated by 谷歌翻译
抽取式摘要对于医生更好地管理和消化电子健康记录(EHR)非常有用。然而,监督模型的训练需要疾病特定的医学背景,因此非常昂贵。我们研究了如何利用多个EHR之间的内在相关性来生成伪标签并训练没有外部注释的监督模型。对真实患者数据的实验验证了我们的模型在总结患者的关键疾病特异性信息方面是有效的。
translated by 谷歌翻译
我们通过新的架构设计研究了缓解GAN训练过程中的不稳定性问题。 minimax和maximin目标值之间的差异可以作为替代梯度下降在GAN优化中遇到的困难的代理。在这项工作中,我们给出了关于GAN的多发电机架构的好处的新结果。我们表明,当生成器的数量随着$ \ widetilde {O}(1 / \ epsilon)$的增加而增加时,minimax间隙缩小到$ \ epsilon $。这改善了$ \ widetilde {O}(1 / \ epsilon ^ 2)$的最佳结果。 ourtechniques的核心是Shapley-Folkman引理对于通用minimax问题的一种新颖应用,其中在文献中只有当目标函数局限于aconstraint优化问题的拉格朗日函数时才知道该技术。我们提出的Stackelberg GAN在合成数据集和现实数据集中都可以进行实验,与先前的基准数据集上的多生成器GAN相比,Fr \'echetInception Distance提高了$ 14.61 \%$。
translated by 谷歌翻译