In this paper, we propose a new approach to learned optimization. As common in the literature, we represent the computation of the update step of the optimizer with a neural network. The parameters of the optimizer are then learned on a set of training optimization tasks, in order to perform minimisation efficiently. Our main innovation is to propose a new neural network architecture for the learned optimizer inspired by the classic BFGS algorithm. As in BFGS, we estimate a preconditioning matrix as a sum of rank-one updates but use a transformer-based neural network to predict these updates jointly with the step length and direction. In contrast to several recent learned optimization approaches, our formulation allows for conditioning across different dimensions of the parameter space of the target problem while remaining applicable to optimization tasks of variable dimensionality without retraining. We demonstrate the advantages of our approach on a benchmark composed of objective functions traditionally used for evaluation of optimization algorithms, as well as on the real world-task of physics-based reconstruction of articulated 3D human motion.
translated by 谷歌翻译
我们提出了Theseus，这是一个有效的应用程序不合时宜的开源库，用于在Pytorch上构建的可区分非线性最小二乘（DNL）优化，为机器人技术和视觉中的端到端结构化学习提供了一个共同的框架。现有的DNLS实施是特定应用程序的，并且并不总是纳入许多对效率重要的成分。 Theseus是应用程序不可静止的，正如我们使用的几个示例应用程序所用的，这些应用程序是使用相同的基础可区分组件构建的，例如二阶优化器，标准成本功能和Lie组。为了提高效率，TheseUS纳入了对稀疏求解器，自动矢量化，批处理，GPU加速度和梯度计算的支持，并具有隐式分化和直接损耗最小化。我们在一组应用程序中进行了广泛的性能评估，显示出这些功能时显示出明显的效率提高和更好的可扩展性。项目页面：https：//sites.google.com/view/theseus-ai
translated by 谷歌翻译
优化在开发机器学习系统中起着昂贵且至关重要的作用。在学习的优化器中，常用手工设计的优化器的少数超参数，例如Adam或SGD用灵活的参数函数代替。然后对这些功能的参数进行优化，以便所得的学习优化器最大程度地减少所选模型类别的目标损失。学识渊博的优化者都可以减少所需的训练步骤的数量并改善最终测试损失。但是，它们的训练可能很昂贵，一旦训练，由于优化器本身的计算和内存开销，使用训练可能很昂贵。在这项工作中，我们确定并量化了许多学习和手工设计的优化器的内存，计算和性能权衡的设计功能。我们进一步利用我们的分析来构建比以前的工作更快，更有效的学习优化器。我们的模型和培训代码是开源的。
translated by 谷歌翻译
深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。
translated by 谷歌翻译
以准确的，稳健和快速的方式拟合人体，手或面对稀疏输入信号的参数模型，这具有重要的是在AR和VR场景中显着改善浸入。解决这些问题的系统中的一个常见的第一步是直接从输入数据重新分配参数模型的参数。这种方法是快速，稳健的，并且是迭代最小化算法的良好起点。后者搜索最小的能量函数，通常由编码关于问题的结构的知识的数据项和前沿组成。虽然这无疑是一个非常成功的食谱，但前锋往往是手工定义的启发式，发现不同术语之间的正确平衡，以实现高质量的结果是一个非琐碎的任务。此外，转换和优化这些系统以表现方式运行，需要定制实现，要求从工程师和域专家进行大量时间投资。在这项工作中，我们建立了近期学习优化的进步，并提出了由Classic Levenberg-Marquardt算法启发的更新规则。我们展示了所提出的神经优化器对从2D地标的头戴式装置和面部配件的3D体表估计问题的有效性。我们的方法可以很容易地应用于新的模型拟合问题，并提供竞争替代方案，在准确性和速度方面都提供了良好的调谐“传统”模型拟合管道。
translated by 谷歌翻译
本文涉及从由此产生的刻薄的单个图像重建折射物体形状的高度挑战性问题。由于日常生活中透明折射物体的难以达到透明折射物体，其形状的重建需要多种实际应用。最近从焦散（SFC）方法的形状作为用于合成苛性图像的光传播仿真的问题，这可以通过可微分的渲染器来解决。然而，通过折射表面的光传输的固有复杂性当前限制了相对于重建速度和鲁棒性的实用性。为了解决这些问题，我们从焦散（N-SFC）引入神经形状，这是一种基于学习的扩展，将两个组件包含在重建管道中：一个去噪模块，该模块减轻了光传输模拟的计算成本和优化基于学习梯度下降的过程，它可以使用较少的迭代来更好地收敛。广泛的实验证明了我们的神经扩展在3D玻璃印刷中质量控制的情况下的有效性，在那里我们在计算速度和最终表面误差方面显着优于当前最先进的。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
人类运动合成是机器人技术的图形，游戏和仿真环境中应用的重要问题。现有方法需要准确的运动捕获数据进行培训，这是昂贵的。取而代之的是，我们为直接从单眼RGB视频中训练物理上合理的人类运动的生成模型提出了一个框架，该模型更广泛地可用。我们方法的核心是一种新颖的优化公式，该公式通过以可区分的方式执行物理限制和有关接触的原因来纠正不完美的基于图像的姿势估计。该优化得出校正后的3D姿势和运动及其相应的接触力。结果表明，我们的物理校正运动在姿势估计上显着优于先前的工作。然后，我们可以使用它们来训练生成模型来综合未来的运动。与先前的基于运动学和物理学的方法相比，我们在人类36m数据集中〜\ cite {H36M_PAMI}实现了定性和定量改进的运动估计，合成质量和物理合理性。通过从视频中学习运动合成，我们的方法为大规模，现实和多样化的运动合成铺平了道路。项目页面：\ url {https://nv-tlabs.github.io/publication/iccv_2021_physics/}
translated by 谷歌翻译
我们提出了一种基于优化的新型范式，用于在图像和扫描上拟合3D人类模型。与直接回归输入图像中低维统计体模型（例如SMPL）的参数的现有方法相反，我们训练了每个vertex神经场网络的集合。该网络以分布式的方式预测基于当前顶点投影处提取的神经特征的顶点下降方向。在推断时，我们在梯度降低的优化管道中采用该网络，称为LVD，直到其收敛性为止，即使将所有顶点初始化为单个点，通常也会以一秒钟的分数出现。一项详尽的评估表明，我们的方法能够捕获具有截然不同的身体形状的穿着的人体，与最先进的人相比取得了重大改进。 LVD也适用于人类和手的3D模型配合，为此，我们以更简单，更快的方法对SOTA显示出显着改善。
translated by 谷歌翻译
机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。
translated by 谷歌翻译
Deep Learning optimization involves minimizing a high-dimensional loss function in the weight space which is often perceived as difficult due to its inherent difficulties such as saddle points, local minima, ill-conditioning of the Hessian and limited compute resources. In this paper, we provide a comprehensive review of 12 standard optimization methods successfully used in deep learning research and a theoretical assessment of the difficulties in numerical optimization from the optimization literature.
translated by 谷歌翻译
在学识表的迅速推进的地区，几乎所有方法都训练了从输入状态直接预测未来状态的前进模型。然而，许多传统的仿真引擎使用基于约束的方法而不是直接预测。这里我们提出了一种基于约束的学习仿真的框架，其中标量约束函数被实现为神经网络，并且将来的预测被计算为在这些学习的约束下的优化问题的解决方案。我们使用图形神经网络作为约束函数和梯度下降作为约束求解器来实现我们的方法。架构可以通过标准的backprojagation培训。我们在各种具有挑战性的物理领域中测试模型，包括模拟绳索，弹跳球，碰撞不规则形状和飞溅液。我们的模型可实现更好或更具可比性的性能，以获得最佳学习的模拟器。我们模型的一个关键优势是能够在测试时间概括到更多求解器迭代，以提高模拟精度。我们还展示了如何在测试时间内添加手工制定的约束，以满足培训数据中不存在的目标，这是不可能的前进方法。我们的约束框架适用于使用前进学习模拟器的任何设置，并演示了学习的模拟器如何利用额外的归纳偏差以及来自数值方法领域的技术。
translated by 谷歌翻译
我们介绍了SubGD，这是一种新颖的几声学习方法，基于最近的发现，即随机梯度下降更新往往生活在低维参数子空间中。在实验和理论分析中，我们表明模型局限于合适的预定义子空间，可以很好地推广用于几次学习。合适的子空间符合给定任务的三个标准：IT（a）允许通过梯度流量减少训练误差，（b）导致模型良好的模型，并且（c）可以通过随机梯度下降来识别。 SUBGD从不同任务的更新说明的自动相关矩阵的特征组合中标识了这些子空间。明确的是，我们可以识别出低维合适的子空间，用于对动态系统的几次学习，而动态系统具有不同的属性，这些属性由分析系统描述的一个或几个参数描述。这种系统在科学和工程领域的现实应用程序中无处不在。我们在实验中证实了SubGD在三个不同的动态系统问题设置上的优势，在样本效率和性能方面，均超过了流行的几次学习方法。
translated by 谷歌翻译
我们提出了一种新颖的基于变压器的架构，用于3D人类运动的生成建模任务。以前的工作通常依赖于基于RNN的模型，考虑到更短的预测视野迅速达到静止和通常难以置信的状态。最近的研究表明，频域中的隐式时间表示也是有效地制定预定地平线的预测。我们的重点是学习自向学习时空陈述，从而在短期和长期生成合理的未来发展。该模型学习骨骼关节的高尺寸嵌入，以及如何通过去耦的时间和空间自我关注机制来组成时间相干的姿势。我们的双重关注概念允许模型直接访问电流和过去信息，并明确捕获结构和时间依赖项。我们凭经验显示，这有效地了解潜在的运动动态，并减少自动回归模型中观察到的误差累积。我们的模型能够在长视程中产生准确的短期预测和产生合理的运动序列。我们在HTTPS://github.com/eth-Ation-Transformer中公开公开提供我们的代码。
translated by 谷歌翻译
布模拟在计算机动画，服装设计和机器人辅助敷料中具有广泛的应用。这项工作提出了一个可区分的布模拟器，其附加梯度信息促进了与布相关的应用。我们可区分的模拟器扩展了基于投影动力学（PD）和干摩擦接触的最先进的布模拟器。我们从以前的工作中汲取灵感，提出了一种快速新颖的方法，用于通过干摩擦接触在基于PD的布模拟中得出梯度。此外，我们对富含接触的布模拟中梯度的实用性进行了全面的分析和评估。最后，我们证明了模拟器在许多下游应用中的功效，包括系统识别，辅助调味料的轨迹优化，闭环控制，逆设计和实际降低SIM转移。我们观察到通过使用我们的梯度信息来求解大多数这些应用程序获得的大幅加速。
translated by 谷歌翻译
在本文中，我们介绍一种方法来自动重建与来自单个RGB视频相互作用的人的3D运动。我们的方法估计人的3D与物体姿势，接触位置和施加在人体上的接触力的姿势。这项工作的主要贡献是三倍。首先，我们介绍一种通过建模触点和相互作用的动态来联合估计人与人的运动和致动力的方法。这是一个大规模的轨迹优化问题。其次，我们开发一种方法来从输入视频自动识别，从输入视频中识别人和物体或地面之间的2D位置和时序，从而显着简化了优化的复杂性。第三，我们在最近的视频+ Mocap数据集上验证了捕获典型的Parkour行动的方法，并在互联网视频的新数据集上展示其表现，显示人们在不受约束的环境中操纵各种工具。
translated by 谷歌翻译
Figure 1: Given challenging in-the-wild videos, a recent state-of-the-art video-pose-estimation approach [31] (top), fails to produce accurate 3D body poses. To address this, we exploit a large-scale motion-capture dataset to train a motion discriminator using an adversarial approach. Our model (VIBE) (bottom) is able to produce realistic and accurate pose and shape, outperforming previous work on standard benchmarks.
translated by 谷歌翻译
2021-11-30
微弱的物理是计算机视觉和机器人的强大工具，用于了解互动的场景理解和推理。现有方法经常被限于具有预先已知的简单形状或形状的物体。在本文中，我们提出了一种新的方法来具有摩擦触点的可分解物理学，其利用符号距离场（SDF）隐含地表示物理形状。我们的模拟即使涉及的形状为非凸形表示，也支持接触点计算。此外，我们提出了区分对象形状的动力学来利用基于梯度的方法来促进形状优化。在我们的实验中，我们证明我们的方法允许从轨迹和深度图像观察的诸如摩擦系数，质量，力或形状参数的物理参数的基于模型的推断，并且在几个具有挑战性的合成场景和真实图像序列中。
translated by 谷歌翻译
This paper proposes a new optimization algorithm called Entropy-SGD for training deep neural networks that is motivated by the local geometry of the energy landscape. Local extrema with low generalization error have a large proportion of almost-zero eigenvalues in the Hessian with very few positive or negative eigenvalues. We leverage upon this observation to construct a local-entropy-based objective function that favors well-generalizable solutions lying in large flat regions of the energy landscape, while avoiding poorly-generalizable solutions located in the sharp valleys. Conceptually, our algorithm resembles two nested loops of SGD where we use Langevin dynamics in the inner loop to compute the gradient of the local entropy before each update of the weights. We show that the new objective has a smoother energy landscape and show improved generalization over SGD using uniform stability, under certain assumptions. Our experiments on convolutional and recurrent networks demonstrate that Entropy-SGD compares favorably to state-of-the-art techniques in terms of generalization error and training time.
translated by 谷歌翻译
展开的计算图在许多方案中出现，包括培训RNN，通过展开优化调整超级参与，以及培训学习优化器。当前在这种计算图中优化参数的方法遭受高方差梯度，偏差，慢更新或大的内存使用情况。我们介绍一种称为持久演进策略（PES）的方法，该方法将计算图分为一系列截断的展开，并在每个展开后执行基于演进策略的更新步骤。PE通过在整个展开序列上累积校正项来消除这些截断的偏差。PE允许快速参数更新，具有较低的内存使用率，是无偏的，具有合理的方差特性。我们通过实验证明了PE的优势与综合任务的渐变估计的其他几种方法相比，并表明其适用于培训学习优化器和调整超参数。
translated by 谷歌翻译