通过减少测量来加速磁共振成像(MRI)有可能降低医疗成本,最大限度地减少对患者的压力,并使MI在目前非常昂贵的应用中成为可能。我们介绍了fastMRI数据集,这是一个大规模的MR MR测量和临床MR图像集合,可用于训练评估MR图像重建的机器学习方法。通过引入标准化评估标准和可自由访问的数据集,我们的目标是帮助社区快速推进MR图像重建的最新技术。我们还为没有医学成像背景的机器学习研究人员提供了独立的MRI入门介绍。
translated by 谷歌翻译
利用梯度协方差信息的优化算法,例如自然梯度下降的变体(Amari,1998),提供了产生更有效的下降方向的前景。对于具有许多参数的模型,它们所基于的协方差矩阵变得巨大,使得它们能够以其原始形式应用。这促使研究了简单的对角线近似和更复杂的因素近似,如KFAC(Heskes,2000; Martens&Grosse,2015; Grosse&Martens,2016)。在目前的工作中,我们从两者中汲取灵感,提出一种新颖的近似,它可以证明比KFAC更好,并且可以修改为便宜的部分更新。它包括跟踪对角线方差,而不是在参数坐标中,而是在Kronecker因子特征基中,其中对角线近似可能更有效。实验表明,对于几种深度网络架构,优化速度优于KFAC。
translated by 谷歌翻译
随机值函数为在具有高维状态和动作空间的复杂环境中进行有效探索的挑战提供了有前景的方法。与传统的点估计方法不同,随机值函数在动作空间值上保持后验分布。这可以防止代理人的行为政策过早地利用早期估计并陷入局部最优。在这项工作中,我们利用变分贝叶斯神经网络中的近期进展,并将这些与传统的深度Q网络(DQN)和深度确定性政策梯度(DDPG)相结合,以实现高维域的随机值函数。特别地,我们使用乘法归一化流来增加DQN和DDPG,以便跟踪值函数的参数上的丰富的近似后验分布。这允许代理通过随机梯度方法以计算有效的方式执行近似Thompsonsampling。我们通过在高维环境中的经验比较证明了我们的方法的好处。
translated by 谷歌翻译
生成对抗网络(GAN)形成了一种生成有吸引力的样本的生成建模方法,但它们特别难以训练。解决这个问题的一种常见方法是提出GAN目标的新配方。然而,令人惊讶的是,很少有研究考虑过为这种对抗性训练设计的优化方法。在这项工作中,我们在一般变分不等式框架中提出了GAN优化问题。在数学规划文献中,我们反驳了一些关于鞍点优化困难的常见假设,并提出了为变分不等式扩展技术以扩展GAN训练的技术。我们应用平均值,外推法和一种新颖的计算上更便宜的变量,我们称之为从过去的推断到随机梯度法(SGD)和亚当。
translated by 谷歌翻译
我们通过在图结构上使用平移算子,提出了卷积神经网络(CNN)到不规则域的推广。在诸如图像的常规设置中,通过在所有像素上平移卷积核来设计卷积层,从而实施翻译等效。然而,在一般图形的情况下,转换不是明确定义的操作,这使得卷积内核的移位不是直接的。在本文中,我们介绍了一种方法,允许设计卷积层,即使在没有自然平移的情况下,卷积层也适用于不规则拓扑的信号演变。使用设计的层,我们构建了一个使用初始信号集训练的CNN。对于旨在将CNN扩展到不规则域的其他方法,我们将用于2D信号的CNN的经典设置作为我们方法的特定情况。在顶点中设计卷积层直接意味着权重共享,在其他方法中通常使用启发式方法来估计后验。
translated by 谷歌翻译
我们提出了两种技术来改进图像中带有标注数据集的地标定位。我们的主要目标是利用公共场所,其中仅为小型数据集提供精确的地标位置,但是与地标相关的分类或回归任务的类别标签更加丰富。首先,我们提出了顺序多任务的框架,并通过土地标记本地化的体系结构进行探索,其中使用类标签进行培训充当辅助信号,以指导未标记数据的标志性本地化。我们的方法的一个关键方面是错误可以通过完整的地标定位模型反向传播。其次,我们提出并探索一种用于地标定位的无监督学习技术,其基于具有关于应用于图像的变换的模型预测等变地标。我们展示了这些技术,大大改进了地标预测,并且即使只有一小部分数据集具有地标标记,也可以学习有效的探测器。我们在两个玩具数据集和四个真实数据集(包括手和面)上呈现结果,并在野外的两个数据集上报告新的最新技术,例如。只有5%的标记图像,我们在AFLW数据集上的表现优于先前的技术。
translated by 谷歌翻译
像图像这样的高维数据的生成建模是一个众所周知的困难和不明确的问题。特别是,如何评估学习的生成模型尚不清楚。在这篇立场文件中,我们认为,以生成对抗网络(GAN)为先驱的对抗性学习提供了一个有趣的框架,可以隐式地为生成建模任务定义更有意义的任务损失,例如生成“视觉上逼真”的图像。我们将这些任务损失称为参数对抗性分歧我们给出了两个主要原因,我们认为参数分歧是生成建模的良好学习目标。此外,我们统一了使用统计决策理论选择良好的结构性损失(在结构化预测中)和选择adiscriminator架构(在生成建模中)的过程;然后,我们能够在特定环境中正式化和量化“弱”损失更容易学习的直觉。最后,我们提出了两项​​具有挑战性的任务来评估参数和非参数分歧:生成非常高分辨率数字的水生任务,以及满足高级代数约束的学习数据的定量任务。我们使用两个常见的差异来训练一个发生器,并表明参数发散在定性和定量任务上都优于非参数发散。
translated by 谷歌翻译
非政策学习是扩大强化学习的关键,因为它允许从不同行为政策产生的经验中了解目标政策。不幸的是,将离线学习与功能近似和多步骤自举结合起来以一种既能引导稳定又高效的算法,一直存在挑战。在这项工作中,我们表明\ textsc {Tree Backup}和\ textsc {Retrace}算法在线性函数逼近时是不稳定的,无论是在理论上还是在实践中都有具体的例子。基于我们的分析,我们得出稳定有效的梯度 - 基于二次凸凹鞍点公式的算法。通过利用这些算法适当的问题结构,我们能够提供收敛保证和有限样本边界。我们的新分析的适用性也超出了\ textsc {Tree Backup}和\ textsc {Retrace},并允许我们为GTD和GTD2算法提供新的收敛速度,而无需使用投影或Polyak平均。
translated by 谷歌翻译
Most recent approaches to monocular 3D pose estimation rely on Deep Learning.They either train a Convolutional Neural Network to directly regress from imageto 3D pose, which ignores the dependencies between human joints, or model thesedependencies via a max-margin structured learning framework, which involves ahigh computational cost at inference time. In this paper, we introduce a Deep Learning regression architecture forstructured prediction of 3D human pose from monocular images that relies on anovercomplete auto-encoder to learn a high-dimensional latent poserepresentation and account for joint dependencies. We demonstrate that ourapproach outperforms state-of-the-art ones both in terms of structurepreservation and prediction accuracy.
translated by 谷歌翻译
We introduce a novel Deep Network architecture that implements the fullfeature point handling pipeline, that is, detection, orientation estimation,and feature description. While previous works have successfully tackled eachone of these problems individually, we show how to learn to do all three in aunified manner while preserving end-to-end differentiability. We thendemonstrate that our Deep pipeline outperforms state-of-the-art methods on anumber of benchmark datasets, without the need of retraining.
translated by 谷歌翻译