机器学习可以通过学习模型预测个人治疗效果(ITE)来帮助个性化决策支持。这项工作研究了基于预测的决策制定的可靠性,以决定在观察其协变量$ \ tilde {x} $和预测结果$ \ hat {p}(\ tilde {y } \ mid \ tilde {x},a)$。一个例子是个体化医学以及给予患者哪种治疗的决定。从观察数据中学习这些模型时的一个常见问题是平衡,即治疗/控制协变量分布的差异,已知增加上限。预计ITE估计误差。我们建议通过估计网站模型的S型错误率来评估决策可靠性,该错误率是模型推断治疗效果符号错误的概率。此外,我们使用估计可靠性作为主动学习的标准,以便收集新的(可能是昂贵的)观察结果,而不是基于不可靠的预测做出强制选择。我们在两个决策任务中证明了这种决策意识主动学习的有效性:二元结果的模拟数据和具有合成和连续治疗结果的医学数据集。
translated by 谷歌翻译
本文讨论了具有稀缺但高维数据的广义线性模型的预测推理和特征选择。我们认为,在许多情况下,人们可以从理论上证明两阶段方法合理的决策中受益:首先,构建一个可能非预测的非稀疏模型,然后找到表征预测的特征的最小子集。在第一步中建立的模型称为\ emph {参考模型},在后一步骤中的操作称为预测\ emph {projection}。这种方法的关键特征是它在稀疏性和预测准确性之间找到了极好的权衡,并且收益来自于利用包括先验和来自左边特征的可用信息。我们回顾了遵循这一原则的几种方法,并提供了新的方法论贡献。我们提出了一种新的投影技术,它可以完成两种现有技术,并且计算准确,快速。我们还提出了一种使用fastleave-one-out交叉验证评估特征选择过程的方法,该方法允许简单直观的模型大小选择。此外,我们证明了一个有助于理解投射方法可能有益的条件的定理。通过几个模拟和现实世界的例子说明了这些好处。
translated by 谷歌翻译
虽然总是可以计算出对后分布的变分近似,但是用这种近似法发现问题可能很困难。我们提出了两种诊断算法来缓解这一问题。帕累托平滑重要性采样(PSIS)诊断为关节分布提供了良好的偏差测量,同时改善了估计中的误差。基于变分仿真的校准(VSBC)评估点估计的平均性能。
translated by 谷歌翻译
无可能性推理引擎(ELFI)是一个Python软件库,用于执行无可用推理(LFI)。 ELFI提供了一种方便的语法,用于将LFI中的组件(例如先验,模拟器,摘要或距离)安排到称为ELFI图的网络中。这些组件可以用各种语言实现。独立的ELFI图可以与任何可用的推理方法一起使用而无需修改。在ELFI中实现的中心方法是无可能性推理的贝叶斯优化(BOLFI),最近已经证明通过代理建模距离可以将无可能性推断加速到几个数量级。 ELFI还具有内置的输出数据存储支持,可用于重用和分析,并支持从多个核到群集环境的计算并行化。 ELFI旨在实现可扩展性,并提供扩展其功能的接口。这使得向ELFI添加新的推理方法变得简单并且自动与内置功能兼容。
translated by 谷歌翻译
贝叶斯优化(BO)是一种全局优化策略,旨在通过使用高斯过程(GP)作为代理模型,找到昂贵的黑盒函数的最小值,通常在$ \ mathcal {R} ^ d $的compactsubset上定义。目标。尽管当前可用的采集功能以不同程度的成功来实现该目标,但是通常观察到搜索空间的轮廓的过度探索效应。然而,在诸如机器学习算法的配置之类的问题中,功能域保守地大并且具有高概率,全局最小值不在域的边界上。我们提出了一种方法,通过在搜索空间边界的\ gp中添加虚拟导数观察,将此知识结合到搜索过程中。我们使用GP的属性来对目标的偏导数施加条件。该方法适用于任何采集功能,它易于使用并且一致地减少了优化目标所需的评估次数,而不管所使用的采集如何。我们在广泛的实验比较中说明了ourapproach的好处。
translated by 谷歌翻译
近似贝叶斯计算(ABC)是贝叶斯推理的一种方法,当可能性不可用时,但是可以从模型中进行模拟。然而,许多ABC算法需要大量的模拟,这可能是昂贵的。为了降低计算成本,已经提出了贝叶斯优化(BO)和诸如高斯过程的模拟模型。贝叶斯优化使人们可以智能地决定在哪里评估模型下一个,但是常见的BO策略不是为了估计后验分布而设计的。我们的论文解决了文献中的这一差距。我们建议计算ABC后验密度的不确定性,这是因为缺乏模拟来准确估计这个数量,并且定义了测量这种不确定性的aloss函数。然后,我们建议选择下一个评估位置,以尽量减少预期的损失。实验表明,与普通BO策略相比,所提出的方法通常产生最准确的近似。
translated by 谷歌翻译
多年来,心理学,教育学,统计学和机器学习的研究人员一直在开发提高学习速度,保留和普遍性的实用方法,这项工作取得了成功。许多这些方法都植根于共同的基本原则,这些原则似乎在人和机器上都会导致学习和过度学习。我将对这项工作的一小部分进行回顾,以指出可能值得探索的机器和人类学习中的潜在新颖应用。
translated by 谷歌翻译