我们提出了一种自适应方法来构建贝叶斯推理的高斯过程,并使用昂贵的评估正演模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们通过最大化高斯过程模型与噪声观测数据拟合的预期改进来自适应地构建训练设计。对合成数据模型问题的数值实验证明了所获得的自适应设计与固定非自适应设计相比,在前向模型推断成本的精确后验估计方面的有效性。
translated by 谷歌翻译
对抗攻击和防御的开发技术是建立可靠机器学习及其应用的重要研究领域。许多现有方法采用高斯随机变量来探索数据空间,以找到最具对抗性(攻击性)或最少对抗性(防御性)点。然而,当要求探索遵循大多数现实世界数据分布所展示的复杂结构时,高斯分布不一定是最佳选择。在本文中,我们研究了随机变量的统计数据如何影响这种随机的walkepploration。具体来说,我们概括了边界攻击,最先进的基于黑盒决策的攻击策略,并提出了L''evy-Attack,其中随机游走由对称的$ \ alpha $ -stablerandom变量驱动。我们对MNIST和CIFAR10数据集的实验表明,L \'evy-Attack可以更有效地探索图像数据空间,并显着提高性能。我们的结果还可以深入了解白盒攻击场景中最近发现的事实,即选择用于测量对抗模式幅度的标准是必不可少的。
translated by 谷歌翻译
根据域相关概念对深度神经网络预测的解释在医学应用中可能是有价值的,其中理由对于决策的信心是重要的。在这项工作中,我们提出了一种方法,可以在层的激活空间中利用连续概念测量作为回归概念向量(RCV)。沿着RCV的决策函数的方向导数表示网络对增加给定概念测量值的敏感性。当应用于乳腺癌分级时,核质地在乳腺淋巴结样本中的肿瘤检测中作为相关概念出现。我们通过统计分析评估得分稳健​​性和一致性。
translated by 谷歌翻译
在Wu等人的关于“使用变分自回归网络求解统计力学”的评论中,我们提出了一种微妙但强有力的修正方法。我们证明了他们的方法的固有抽样误差可以通过使用基于神经网络的MCMC或重要性抽样来校正,这导致了物理量的渐近无偏估计。由于VAN的奇异特性,这种修改是可能的,即它们提供精确的样本概率。通过这些修改,我们相信他们的方法可能对各种重要的物理领域产生更大的影响,包括强相互作用理论和统计物理学。
translated by 谷歌翻译
我们提出了一种神经网络压缩的通用框架,该框架由最小描述长度(MDL)原理驱动。为此,我们首先为神经网络的熵提供表达式,该表达式根据其位大小明确地测量其复杂性。然后,我们将神经网络压缩问题形式化为熵约束优化目标。该目标推广了文献中提出的许多压缩技术,因为修剪或减少网络权重元素的基数可以看出熵的特殊情况 - 最小化技术。此外,我们推导出目标的连续松弛,允许使用基于梯度的优化技术来最小化它。最后,weshow我们可以在不同的网络架构和数据集上达到最先进的压缩结果,例如:在类似vGG的架构上实现x71压缩增益。
translated by 谷歌翻译
前景和沉积盆地演化模型的复杂且计算上昂贵的特征对于有效推理和优化方法的开发提出了重大挑战。贝叶斯推断提供了用于自由模型参数的估计和不确定性量化的方法。在我们之前的工作中,并行回火贝叶斯兰德被开发为景观和盆地演化模拟软件巴兰兹的参数估计和不确定性量化的框架。并行回火Bayeslands具有高性能计算功能,可并行运行数十个处理内核,以提高计算效率。尽管使用了并行计算,但由于需要绘制数千个样本并进行评估,因此该过程仍具有计算挑战性。在大规模景观和盆地演化问题中,单个模型评估可能需要几分钟到几小时,在某些情况下甚至几天。代理辅助优化已成功应用于许多工程问题。这促使其在优化和参考方法中的应用适用于地质学和地球物理学中的复杂模型。通过开发计算上廉价的代理来模拟昂贵的模型,可以加速并行回火贝叶斯兰德。在本文中,我们提出了代理辅助平行回火的应用,其中代理模仿包括侵蚀,沉积物运输和沉积在内的景观演化模型,通过估计模型给出的似然函数。我们使用机器学习模型作为代理,从并行调温算法生成的样本中学习。结果表明,该方法在保持解决方案质量的同时显着降低整体计算成本。
translated by 谷歌翻译
深度学习已被证明可以学习有效的表示,如图像,文本或音频等结构化数据。在本章中,我们提出了能够学习分子和材料的有效表示的神经网络架构。特别是,连续滤波器卷积网络SchNet准确地预测了各种数据集上的组成和配置空间的化学特性。除此之外,我们分析获得的表示,以找到其空间和化学性质与化学直觉一致的证据。
translated by 谷歌翻译
现代机器学习方法的性能很大程度上取决于它们的超参数配置。选择配置的一种简单方法是使用默认设置,通常与新算法的发布和实现一起提出。这些默认值通常以临时方式选择,以便在各种数据集上运行良好。为了解决这个问题,已经提出了不同的自动超参数配置算法,其为每个数据集选择最佳配置。这种原则性方法通常可以提高性能,但会增加算法的复杂性和计算成本。作为对此的替代,我们建议从先前经验结果的大型数据库中学习一组互补的默认值。在新数据集上选择适当的配置,然后只需要在该集合上进行简单,有效的,并行的并行搜索。我们证明了我们提出的方法与随机搜索和贝叶斯优化相比的有效性和有效性。
translated by 谷歌翻译
将图形表示为矢量是一项具有挑战性的任务;理想情况下,表示应易于计算并有助于图表之间的有效比较,适合特定数据和分析任务。不幸的是,“一刀切”的解决方案是无法实现的,因为不同的分析任务可能需要对全局或局部图特征进行不同的关注。我们以自我监督的方式开发SGR,这是我们的知识,方法,用于学习图表表示。基于光谱图分析,SGR无缝地结合了上述所有理想的特性。在广泛的实验中,我们展示了我们的方法如何在大图集合上工作,促进跨越各种应用领域的自我监督表示学习,并且在没有重新训练的情况下与最先进的方法竞争性地进行。
translated by 谷歌翻译
癫痫是最常见的神经系统疾病,准确的癫痫预测有助于克服患者的不确定性和无助感。在这一贡献中,我们提出并讨论了一种新的颅内脑电图(iEEG)分类用于癫痫发作预测的方法。与以前的方法相反,我们明确地避免手工制作的特征的提取,并使用卷积神经网络(CNN)拓扑来代替确定合适的信号特征以及发作前和假设间的二元分类。已经对公共数据集评估了三种不同的模型,其中包括来自四只狗和三名患者的长期记录。总的来说,我们的研究结果证明了普遍的适用性。在这项工作中,我们讨论了我们的方法的优势和局限性。
translated by 谷歌翻译