我们提出了一种自适应方法来构建贝叶斯推理的高斯过程,并使用昂贵的评估正演模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们通过最大化高斯过程模型与噪声观测数据拟合的预期改进来自适应地构建训练设计。对合成数据模型问题的数值实验证明了所获得的自适应设计与固定非自适应设计相比,在前向模型推断成本的精确后验估计方面的有效性。
translated by 谷歌翻译
我们提出了SWA-Gaussian(SWAG),一种简单,可扩展,通用的方法,用于深度学习中的不确定性表示和校准。随机权重平均(SWA),计算随机梯度下降(SGD)的第一时刻,用修改的学习率计划迭代最近,我们已经证明了它可以改善深度学习中的泛化。利用SWAG,我们使用SWA解决方案作为第一时刻拟合高斯,并且还从SGD迭代得到秩和对角协方差,在神经网络权重上形成近似后验分布;我们从这个高斯分布中抽样来进行贝叶斯模型平均。 Weempirically发现SWAG近似于真实后验的形状,与描述SGD迭代的静态分布的结果一致。此外,我们证明SWAG在各种计算机视觉任务上表现良好,包括样本外检测,校准和转移学习,与许多流行的替代品相比,包括MC压差,KFACLaplace和温度缩放。
translated by 谷歌翻译
复杂网络理论已经成功地理解了复杂系统的紧急和集体行为[1]。最近发现许多真实世界的复杂系统被更精确地建模为多路复用网络[2-6] ---其中每种交互类型被映射到其自己的网络层;例如〜多层交通网络,耦合社交网络,代谢和从多重性出现的显着物理现象是超扩散:与任何单层相比,由多层结构引入的加速扩散表现出来。理论上只有使用多重网络的完整拉普拉斯算子的光谱间隙及其相互作用的层来预测超声扩散。在这里,我们进行机器学习,开发了识别,分类和表征复杂数据集的技术。我们表明,现代机器学习体系结构,如完全连接和卷积神经网络,可以分类和预测多重网络中超扩散的存在,准确率为94.12 \%。这种预测可以在原地进行,而无需确定网络的光谱特性。
translated by 谷歌翻译
深度神经网络通常通过优化与SGD变体的损失函数以及衰减学习速率来训练,直到收敛。我们表明,沿着SGD轨迹的多个点的简单平均,具有周期性或恒定的学习率,导致比传统训练更好的一般化。我们还表明,这个随机重量平均(SWA)程序发现了比SGD更广泛的最优,并且使用单一模型近似了最近的快速几何集合(FGE)方法。使用SWA,我们在CIFAR-10,CIFAR-100和ImageNet上的一系列最先进的残留网络,PyramidNets,DenseNets和Shake-Shake网络上实现了超过常规SGD培训的测试精度的显着提高。简而言之,SWA非常容易实现,改进了一般化,并且几乎没有计算开销。
translated by 谷歌翻译
深度神经网络的损失函数是复杂的,它们的几何性质还不是很清楚。我们表明,这些复杂损失函数的最优实际上是通过简单的曲线连接的,训练和测试精度几乎是恒定的。我们介绍了一种训练程序,可以发现模式之间的这些高精度路径。受这种新的几何学洞察力的启发,我们还提出了一种名为FastGeometric Ensembling(FGE)的新的集成方法。使用FGE,我们可以在训练单个模型所需的时间内训练高性能的合奏。与CIFAR-10,CIFAR-100和ImageNet上最新的快照集合相比,我们实现了更高的性能。
translated by 谷歌翻译
学习检测大规模会计数据中的欺诈是财务报表审计或欺诈调查中长期存在的挑战之一。目前,大多数应用技术都是指从已知欺诈情景中衍生出的手工制定的规则。虽然相当成功,但这些规则表明他们经常无法概括超出已知的欺诈情景,而且欺诈者逐渐找到绕过它们的方法。为了克服这一缺点并且受近期深度学习成功的启发,我们提出应用深度自动编码器神经网络来检测异常延迟。我们证明了训练有素的网络重建错误,可以通过条目的个体属性概率进行日记录条目的正规化,可以解释为高度自适应的异常评估。对日记条目的两个真实世界数据集的实验显示,与基线方法的状态相比,该方法的有效性导致高f1分数32.93(数据集A)和16.95(数据集B)以及更少的假阳性警报。特许会计师和欺诈审查员收到的初步反馈支持了捕获高度相关的会计异常的方法的质量。
translated by 谷歌翻译