贝叶斯优化(BO)是指用于对昂贵的黑盒函数进行全局优化的一套技术,它使用函数的内省贝叶斯模型来有效地找到最优值。虽然BO已经在许多应用中成功应用,但现代优化任务迎来了传统方法失败的新挑战。在这项工作中,我们展示了Dragonfly,这是一个开源Python库,用于可扩展和强大的BO.Dragonfly包含多个最近开发的方法,允许BO应用于具有挑战性的现实世界环境;这些包括更好的处理更高维域的方法,当昂贵函数的廉价近似可用时处理多保真评估的方法,优化结构化组合空间的方法,例如神经网络架构的空间,以及处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,以及优化具有不同变量类型和附加约束的过复杂域。我们将Dragonfly与一套用于全局优化的其他软件包和算法进行比较,并证明当上述方法集成时,它们可以显着改善BO的性能。 Dragonfly图书馆可在dragonfly.github.io上找到。
translated by 谷歌翻译
优化昂贵的查询功能是科学和工程中的常见任务,其中将查询数量保持在最低限度是有益的。流行的策略是贝叶斯优化(BO),其利用概率模型来完成该任务。今天大多数BO使用高斯过程(GP)或其他一些替代模型。但是,我们可能希望使用一组广泛的贝叶斯建模技术来捕获复杂系统并减少查询数量。概率程序(PP)是现代工具,允许灵活的模型组合,先验信息的结合和自动参考。在本文中,我们开发了ProBO,这是BO的框架,仅使用大多数PP共有的标准操作。这允许用户放入任意PP实现并直接在BO中使用它。为此,我们描述了可以在我们的框架中自动使用的流行采集功能的黑盒版本,没有特定于模型的推导,并展示了如何优化这些功能。我们还引入了一个模型,我们将其称为贝叶斯专家产品,它集成到ProBO中,可用于组合使用不同PP实现的多个模型的信息。我们展示了使用多个PP实现的经验结果,并与标准BO方法进行了比较。
translated by 谷歌翻译
Raven的Progressive Matrices是评估人类测试者流体智力的广泛使用的测试之一。类似地,本文介绍了基于几何推广的零射击学习测试,以测量深度生成模型的快速学习能力和内部一致性。对最先进的生成模型进行的实证研究分析可以识别出跨类概念概括的可行性。在此过程中,我们介绍了无限世界,一个可评估,可扩展,多模态,轻量级的数据集和零射击智能度量ZSI。拟议的测试将人类空间和数字推理任务浓缩为其简单的几何形式。在生成的几何图形,图像大小和数量的数字特征中,数据集可以扩展到无限的理论极限。系统地分析最先进模型的内部一致性,识别他们的瓶颈,并提出一种主动优化方法,用于少量射击和零射击学习。
translated by 谷歌翻译
诸如ELMo(Peters等人,2018)和BERT(Devlin等人,2018)之类的语境词嵌入模型在最近几个月中已经显着改善了许多自然语言处理(NLP)任务的性能。然而,这些模型已经在专业语料库中进行了最低限度的探索,例如临床文本;此外,在临床领域,没有公开可用的预训练BERT模型。在这项工作中,我们通过探索和发布临床文本的BERT模型来满足这一需求:一个用于通用临床文本,另一个用于特定的放电摘要。我们证明,与非特定嵌入相比,使用特定于域的模型可以在三个常见的临床NLP任务上获得性能提升。这些特定领域的模型在两个临床去识别任务上并不是非常有效,并且认为这是去识别源文本和合成非去识别任务文本之间差异的解剖结果。
translated by 谷歌翻译
医学成像模式和相关放射学报告之间的联合嵌入有可能为临床社区提供显着的益处,从跨域检索到报告的条件生成到多模式表示学习的更广泛目标。在这项工作中,我们建立基线联合嵌入结果,通过局部和全球检索方法测量即将发布的MIMIC-CXR数据集,包括胸部X射线图像和相关的放射学报告。我们在此任务上检查有监督和无监督的方法,并显示具有学习表示的文档检索任务,只需要有限的监督来产生与那些有效监督方法相当的结果。
translated by 谷歌翻译
在这项工作中,我们使用机器学习衍生的信任评分来表征医患关系。我们证明这个分数在统计上具有显着的种族关联性,并且通过直接建立信任,我们发现在护理方面的差异比在种族分层方面要差。我们进一步证明,不信任表明结果更糟,但只是与生理上创造的严重程度评分弱相关。最后,我们描述了情感分析实验,表明患有较高水平的不信任患者的经历和与其照顾者的相互作用更差。这项工作是衡量医疗领域更公平机器学习的一个步骤。
translated by 谷歌翻译