优化昂贵的查询功能是科学和工程中的常见任务,其中将查询数量保持在最低限度是有益的。流行的策略是贝叶斯优化(BO),其利用概率模型来完成该任务。今天大多数BO使用高斯过程(GP)或其他一些替代模型。但是,我们可能希望使用一组广泛的贝叶斯建模技术来捕获复杂系统并减少查询数量。概率程序(PP)是现代工具,允许灵活的模型组合,先验信息的结合和自动参考。在本文中,我们开发了ProBO,这是BO的框架,仅使用大多数PP共有的标准操作。这允许用户放入任意PP实现并直接在BO中使用它。为此,我们描述了可以在我们的框架中自动使用的流行采集功能的黑盒版本,没有特定于模型的推导,并展示了如何优化这些功能。我们还引入了一个模型,我们将其称为贝叶斯专家产品,它集成到ProBO中,可用于组合使用不同PP实现的多个模型的信息。我们展示了使用多个PP实现的经验结果,并与标准BO方法进行了比较。
translated by 谷歌翻译
Raven的Progressive Matrices是评估人类测试者流体智力的广泛使用的测试之一。类似地,本文介绍了基于几何推广的零射击学习测试,以测量深度生成模型的快速学习能力和内部一致性。对最先进的生成模型进行的实证研究分析可以识别出跨类概念概括的可行性。在此过程中,我们介绍了无限世界,一个可评估,可扩展,多模态,轻量级的数据集和零射击智能度量ZSI。拟议的测试将人类空间和数字推理任务浓缩为其简单的几何形式。在生成的几何图形,图像大小和数量的数字特征中,数据集可以扩展到无限的理论极限。系统地分析最先进模型的内部一致性,识别他们的瓶颈,并提出一种主动优化方法,用于少量射击和零射击学习。
translated by 谷歌翻译
贝叶斯优化(BO)是指一种全局优化函数$ f $的方法,它只能通过点评估来访问。它通常用于评估$ f $的设置。 BO在机器学习中的常见情况是模型选择,其中不可能对统计模型的泛化性能进行分析建模,并且我们采用噪声和昂贵的训练和验证程序来选择最佳模型。传统的BO方法专注于欧几里德和类别域,在模型选择的上下文中,只允许调整机器学习算法的标量超参数。然而,随着对深度学习的兴趣激增,对校正网络\ emph {架构}的需求不断增加。在这项工作中,我们开发了NASBOT,一个基于高斯过程的BO框架,用于神经架构搜索。为了实现这一点,我们在神经网络体系结构的空间中开发了一个距离度量,可以通过最优的传输程序有效地计算。该距离可能对深度学习社区具有独立的兴趣,因为它可能在BO之外找到应用。我们证明NASBOT在多层感知器和卷积神经网络的几个基于交叉验证的模型选择任务中执行其他架构搜索的替代方案。
translated by 谷歌翻译
医学成像模式和相关放射学报告之间的联合嵌入有可能为临床社区提供显着的益处,从跨域检索到报告的条件生成到多模式表示学习的更广泛目标。在这项工作中,我们建立基线联合嵌入结果,通过局部和全球检索方法测量即将发布的MIMIC-CXR数据集,包括胸部X射线图像和相关的放射学报告。我们在此任务上检查有监督和无监督的方法,并显示具有学习表示的文档检索任务,只需要有限的监督来产生与那些有效监督方法相当的结果。
translated by 谷歌翻译
在这项工作中,我们使用机器学习衍生的信任评分来表征医患关系。我们证明这个分数在统计上具有显着的种族关联性,并且通过直接建立信任,我们发现在护理方面的差异比在种族分层方面要差。我们进一步证明,不信任表明结果更糟,但只是与生理上创造的严重程度评分弱相关。最后,我们描述了情感分析实验,表明患有较高水平的不信任患者的经历和与其照顾者的相互作用更差。这项工作是衡量医疗领域更公平机器学习的一个步骤。
translated by 谷歌翻译