深度学习建立在梯度下降与目标函数收敛于局部最小值的基础上。不幸的是,这种保证在诸如生成对抗网之类的设置中失败,这些设置表现出多种相互作用的损失。基于梯度的方法在游戏中的行为并未被理解 - 并且随着对抗性和多目标体系结构的激增而变得越来越重要。在本文中,我们开发了新的工具来理解和控制n玩家可区分游戏的动态。关键的结果是将雅可比游戏分解为两个组成部分。第一个对称分量与潜在的游戏有关,这些游戏在隐式函数上减少了梯度下降。第二个反对称组件涉及哈密尔顿游戏,这是一类新的游戏,遵循经典机械系统中的守恒定律。分解激发了辛差梯度调整(SGA),这是一种在可微分游戏中寻找稳定不动点的新算法。基本实验表明,SGA与最近提出的用于在GAN中找到稳定的固定点的算法具有竞争性 - 同时适用于并且具有更多一般情况的保证。
translated by 谷歌翻译
胸部X线摄影是一种非常强大的成像模式,允许对患者的胸部进行详细检查,但需要专门的培训才能正确解释。随着高性能通用计算机视觉算法的出现,胸部X射线照片的准确自动分析越来越受到研究人员的关注。然而,开发这些技术的关键挑战是缺乏足够的数据。在这里,我们描述了MIMIC-CXR,一个371,920个胸部X射线的大型数据集,与2011年至2016年间来自Beth Israel DeaconessMedical Center的227,943个成像研究相关联。每个成像研究可以涉及一个或多个图像,但大多数情况下与两个图像相关联:正面视图和侧视图。图像提供有14个标签,这些标签来自应用于相应的自由文本放射学报告的自然语言处理工具。所有图像均已去除识别,以保护患者隐私。该数据库是免费提供的,以促进和鼓励医学计算机视觉的广泛研究。
translated by 谷歌翻译
大量研究已经考虑为临床数据创建预测模型;然而,现有的许多文献都报道了仅使用单一数据源的结果。在这项工作中,我们评估了公共可用的eICU协作研究数据库中的模型的性能。我们展示了使用许多不同中心的交叉验证在新中心提供了合理的模型性能估计。我们进一步表明,跨中心培训的单一模型可以很好地转移到不同的医院,甚至比使用医院特定数据重新培训的模型也要好。我们的研究结果将多中心数据集用于模型开发,并突出了医院之间数据共享的需求,以最大限度地提高模型性能。
translated by 谷歌翻译
我们介绍了一种基于动态人工神经网络(ANN)的自适应参考过程,该过程学习动力系统的时间预测模型。我们将过程REPRISE称为回顾和回顾性推理。 REPRISE推断出不可观察的情境状态,该状态最佳地解释了其最近遇到的感觉运动经历以及伴随的,依赖于情境的时间预测模型的回顾性。同时,迭代进行前瞻性推理,以前向导向的方式优化即将到来的运动活动。在第一实施方式中,训练递归神经网络(RNN)以学习时间前向模型,该时间前向模型预测不同模拟动态交通工具的这些中转子突发事件。 RNN与上下文神经元相关联,这使得紧凑编码能够产生干扰,但相关的感觉运动动力学。我们表明,REPRISE能够同时学习分离和近似遇到的感应器动力学。此外,我们表明REPRISE可以利用学习模型来诱导目标导向的模型预测控制,即近似主动参与:给定目标状态,系统想象一个运动命令序列,以预期目标优化它,以最小化与agiven的距离目标。同时,系统回顾性地评估所遇到的感知运动偶发事件,调整其神经隐藏状态以维持模型一致性。因此,RNN活动不断想象未来的未来,并反思最近的过去,优化隐藏状态和运动活动。总之,时间预测结构与调制性,生成性编码的组合提供了一种开发紧凑事件代码的方法,其选择性地激活特定类型的感觉运动事件特定动态。
translated by 谷歌翻译
We study the problem of learning multivariate log-concave densities with respect to a global loss function. We obtain the first upper bound on the sample complexity of the maximum likelihood estimator (MLE) for a log-concave density on R d , for all d ≥ 4. Prior to this work, no finite sample upper bound was known for this estimator in more than 3 dimensions. In more detail, we prove that for any d ≥ 4 and > 0, giveñ O d ((1//) (d+3)/2) samples drawn from an unknown log-concave density f 0 on R d , the MLE outputs a hypothesis h that with high probability is-close to f 0 , in squared Hellinger loss. For any d ≥ 2, a sample complexity lower bound of Ω d ((1//) (d+1)/2) was previously known for any learning algorithm that achieves this guarantee. We thus establish that the sample complexity of the log-concave MLE is near-optimal for d ≥ 4, up to añ O(1//) factor.
translated by 谷歌翻译
我们研究了在一个强大的模型中学习贝叶斯网络的问题,其中样本的$ \ epsilon $-分数被对抗性地被破坏。在这项工作中,我们研究了完全可观察的离散情况,其中给出了网络的结构。即使在这个基本设置中,先前的学习算法要么在指数时间内运行,要么在错误保证中失去与维度相关的因素。我们为这个问题提供了第一个计算有效的健壮学习算法,具有与维度无关的错误保证。我们的算法具有接近最优的样本复杂度,以多项式时间运行,并且实现了与对侧损坏的样本的分数几乎线性地成比例的误差。最后,我们在合成和半合成数据上显示我们的算法在实践中表现良好。
translated by 谷歌翻译
We study high-dimensional distribution learning in an agnostic setting where an adversary is allowed to arbitrarily corrupt an ε-fraction of the samples. Such questions have a rich history spanning statistics, machine learning and theoretical computer science. Even in the most basic settings, the only known approaches are either computationally inefficient or lose dimension-dependent factors in their error guarantees. This raises the following question: Is high-dimensional agnostic distribution learning even possible, algorithmically? In this work, we obtain the first computationally efficient algorithms with dimension-independent error guarantees for agnostically learning several fundamental classes of high-dimensional distributions: (1) a single Gaussian, (2) a product distribution on the hypercube, (3) mixtures of two product distributions (under a natural balancedness condition), and (4) mixtures of spherical Gaussians. Our algorithms achieve error that is independent of the dimension, and in many cases scales nearly-linearly with the fraction of adversarially corrupted samples. Moreover, we develop a general recipe for detecting and correcting corruptions in high-dimensions that may be applicable to many other problems.
translated by 谷歌翻译