随着不透明的预测模型越来越多地影响现代生活的许多领域，对量化给定输入变量进行特定预测的重要性的兴趣已经增长。最近，模型 - 不合稳定方法的扩散是测量可变重要性（VI），该方法分析了在所有变量上训练的完整模型之间的预测能力差异和排除感兴趣的变量的简化模型。这些方法共有的瓶颈是对每个变量（或变量子集）简化模型的估计，这是一个昂贵的过程，通常不带理论保证。在这项工作中，我们提出了一种快速，灵活的方法，用于近似于重要的推理保证。我们通过在完整模型参数下初始化的线性化来取代对广泛的神经网络进行完全检验的需求。通过添加类似山脊的惩罚来使问题凸出，我们证明，当脊罚量参数足够大时，我们的方法估计了$ o（\ frac {1} {\ sqrt {n sqrt {n }}）$，其中$ n $是培训样本的数量。我们还表明，我们的估计器在渐近正常上是正常的，使我们能够为VI估计值提供置信界。我们通过模拟证明，我们的方法在几个数据生成方案下是快速准确的，我们在季节性的气候预测示例中证明了其现实世界的适用性。
translated by 谷歌翻译
随机梯度下降（SGD）及其变体已经建立为具有独立样本的大型机器学习问题的进入算法，由于其泛化性能和内在的计算优势。然而，随机梯度是具有相关样本的全梯度的偏置估计的事实导致了对SGD在相关环境中的表现和阻碍其在这种情况下使用的理解缺乏理论理解。在本文中，我们专注于高斯过程（GP）的近似参数估计，并通过证明小纤维SGD收敛到完整日志似然丢失功能的关键点来打破屏障的一步，并恢复速率$率的模型超参数o（\ frac {1} {k}）$ k $迭代，达到统计误差术语，具体取决于小靶大小。我们的理论担保仍然存在，内核功能表现出指数或多项式EIGENDECAY，这是通过GPS常用的各种核的满足。模拟和实时数据集的数值研究表明，Minibatch SGD在最先进的GP方法上具有更好的推广，同时降低了计算负担并开启了GPS的新的，先前未开发的数据大小制度。
translated by 谷歌翻译
事情互联网（物联网）正处于重大范式转变的边缘。在未来的IOT系统中，IOFT，云将被人群代替模型训练被带到边缘的人群，允许IOT设备协作提取知识并构建智能分析/型号，同时保持本地存储的个人数据。这种范式转变被IOT设备的计算能力巨大增加以及分散和隐私保留模型培训的最近进步，作为联合学习（FL）。本文为IOFT提供了愿景，并系统概述当前努力实现这一愿景。具体而言，我们首先介绍IOFT的定义特征，并讨论了三维内部的分散推断的流动方法，机会和挑战：（i）全局模型，最大化跨所有IOT设备的实用程序，（ii）个性化模型所有设备的借款强度都保留了自己的模型，（iii）一个迅速适应新设备或学习任务的元学习模型。通过描述Ioft通过域专家镜头重塑不同行业的愿景和挑战来结束。这些行业包括制造，运输，能源，医疗保健，质量和可靠性，商业和计算。
translated by 谷歌翻译