Cloud computing holds the promise of reduced costs through economies of scale. To realize this promise, cloud computing vendors typically solve sequential resource allocation problems, where customer workloads are packed on shared hardware. Virtual machines (VM) form the foundation of modern cloud computing as they help logically abstract user compute from shared physical infrastructure. Traditionally, VM packing problems are solved by predicting demand, followed by a Model Predictive Control (MPC) optimization over a future horizon. We introduce an approximate formulation of an industrial VM packing problem as an MILP with soft-constraints parameterized by the predictions. Recently, predict-and-optimize (PnO) was proposed for end-to-end training of prediction models by back-propagating the cost of decisions through the optimization problem. But, PnO is unable to scale to the large prediction horizons prevalent in cloud computing. To tackle this issue, we propose the Predict-and-Critic (PnC) framework that outperforms PnO with just a two-step horizon by leveraging reinforcement learning. PnC jointly trains a prediction model and a terminal Q function that approximates cost-to-go over a long horizon, by back-propagating the cost of decisions through the optimization problem \emph{and from the future}. The terminal Q function allows us to solve a much smaller two-step horizon optimization problem than the multi-step horizon necessary in PnO. We evaluate PnO and the PnC framework on two datasets, three workloads, and with disturbances not modeled in the optimization problem. We find that PnC significantly improves decision quality over PnO, even when the optimization problem is not a perfect representation of reality. We also find that hardening the soft constraints of the MILP and back-propagating through the constraints improves decision quality for both PnO and PnC.
translated by 谷歌翻译
我们有兴趣估计深神经网络的不确定性,这些神经网络在许多科学和工程问题中起着重要作用。在本文中,我们提出了一个引人注目的新发现,即具有相同权重初始化的神经网络的合奏,在数据集中受到持续偏差的转移而训练会产生稍微不一致的训练模型,其中预测的差异是强大的指标。认知不确定性。使用神经切线核(NTK),我们证明了这种现象是由于NTK不变的部分而发生的。由于这是通过微不足道的输入转换来实现的,因此我们表明可以使用单个神经网络(使用我们称为$ \ delta- $ uq的技术)来近似它,从而通过边缘化效果来估计预测周围的不确定性偏见。我们表明,$ \ delta- $ uq的不确定性估计值优于各种基准测试的当前方法 - 异常拒绝,分配变化下的校准以及黑匣子功能的顺序设计优化。
translated by 谷歌翻译
准确地检测出具有不同语义和协变量转移相对于分布的数据(ID)数据的分布外(OOD)数据对于部署安全可靠的模型至关重要。当处理高度结果应用(例如医学成像,自动驾驶汽车等)时,情况尤其如此。目的是设计一个可以接受ID数据有意义变化的检测器,同时还拒绝了OOD制度的示例。在实践中,可以通过使用适当的评分函数(例如能量)来实现一致性来实现此双重目标,并校准检测器以拒绝一组策划的OOD数据(称为离群曝光或不久的OE)。尽管OE方法被广泛采用,但由于现实世界情景的不可预测性,组装代表性的OOD数据集既昂贵又具有挑战性,因此最新设计了无OE探测器的趋势。在本文中,我们做出了一个令人惊讶的发现,即控制对ID变化的概括和暴露于不同(合成)异常值的示例对于同时改善语义和模态转移检测至关重要。与现有方法相反,我们的方法样本在潜在空间中嵌入式体系,并通过负数据扩展构建异常示例。通过一项关于医学成像基准(MedMnist,ISIC2019和NCT)的严格实证研究,我们在语义和模态转移下的现有无OE,OOD检测方法上表现出显着的性能增长(AUROC中的15美元\%-35 \%$)。
translated by 谷歌翻译
对于科学家来说,准确的密度功能的系统开发一直是数十年来的挑战。尽管机器学习(ML)在近似功能中的新兴应用,但所得的ML功能通常包含数十万个参数,这与常规的人类设计的符号符号函数构成了巨大的差距。我们提出了一个新的框架,符号功能进化搜索(SYFES),该搜索会自动以符号形式构造准确的功能,该功能比人类更便宜,并且比其他ML功能更易于评估,并且更易于整合到现有的密度功能理论代码。我们首先表明,没有先验知识,Syfes从头开始重建了已知的功能。然后,我们证明,从现有的功能性$ \ omega $ b9.7亿v演变,Syfes发现了一种新的功能性GAS22(Google Accelated Science 22),在主要组化学数据库的测试集中,大多数分子类型的表现更好( MGCDB84)。我们的框架为利用计算能力的新方向开发了符号密度函数的系统开发。
translated by 谷歌翻译