给定一个较小的培训数据集和学习算法，要达到目标验证或测试性能需要多少数据？这个问题至关重要，在诸如自动驾驶或医学成像之类的应用中，收集数据昂贵且耗时。高估或低估数据需求会带来大量费用，而预算可以避免。关于神经缩放定律的先前工作表明，幂律函数可以符合验证性能曲线并将其推断为较大的数据集大小。我们发现，这并不能立即转化为估计所需数据集大小以满足目标性能的更困难的下游任务。在这项工作中，我们考虑了一系列的计算机视觉任务，并系统地研究了一个概括功能功能的功能家族，以便更好地估算数据需求。最后，我们表明，结合调整的校正因子并在多个回合中收集会显着提高数据估计器的性能。使用我们的准则，从业人员可以准确估算机器学习系统的数据要求，以节省开发时间和数据采集成本。
translated by 谷歌翻译
视觉世界自然地在目标或场景实例的数量中表现出不平衡，导致\ EMPH {长尾分布}。这种不平衡对基于深度学习的分类模式构成了重大挑战。尾课的过采样实例试图解决这种不平衡。然而，有限的视觉多样性导致具有差的呈现能力差的网络。一个简单的计数器到此是解耦表示和分类器网络，并使用过采样仅用于培训分类器。在本文中，而不是反复重新采样相同的图像（以及由此特征），我们探索通过估计尾类分布来生成有意义特征的方向。灵感来自于近期工作的思想，我们创建校准的分布，以对随后用于训练分类器的其他功能。通过在CiFar-100-LT（长尾）数据集上的几个实验，具有不同的不平衡因子和迷你想象 - LT（长尾），我们展示了我们的方法的功效并建立了新的状态 - 艺术。我们还使用T-SNE可视化对生成功能进行了定性分析，并分析了用于校准尾级分布的最近邻居。我们的代码可在https://github.com/rahulvigneswaran/tailcalibx获得。
translated by 谷歌翻译
2022-09-29
由于其高质量的重建以及将现有迭代求解器结合起来的易于性，因此最近将扩散模型作为强大的生成反问题解决器研究。但是，大多数工作都专注于在无噪声设置中解决简单的线性逆问题，这显着不足以使实际问题的复杂性不足。在这项工作中，我们将扩散求解器扩展求解器，以通过后采样的拉普拉斯近似有效地处理一般噪声（非）线性反问题。有趣的是，所得的后验采样方案是扩散采样的混合版本，具有歧管约束梯度，而没有严格的测量一致性投影步骤，与先前的研究相比，在嘈杂的设置中产生了更可取的生成路径。我们的方法表明，扩散模型可以结合各种测量噪声统计量，例如高斯和泊松，并且还有效处理嘈杂的非线性反问题，例如傅立叶相检索和不均匀的脱毛。
translated by 谷歌翻译
我们介绍了DeepNash，这是一种能够学习从头开始播放不完美的信息游戏策略的自主代理，直到人类的专家级别。 Stratego是人工智能（AI）尚未掌握的少数标志性棋盘游戏之一。这个受欢迎的游戏具有$ 10^{535} $节点的巨大游戏树，即，$ 10^{175} $倍的$倍于GO。它具有在不完美的信息下需要决策的其他复杂性，类似于德克萨斯州Hold'em扑克，该扑克的游戏树较小（以$ 10^{164} $节点为单位）。 Stratego中的决策是在许多离散的动作上做出的，而动作与结果之间没有明显的联系。情节很长，在球员获胜之前经常有数百次动作，而Stratego中的情况则不能像扑克中那样轻松地分解成管理大小的子问题。由于这些原因，Stratego几十年来一直是AI领域的巨大挑战，现有的AI方法几乎没有达到业余比赛水平。 Deepnash使用游戏理论，无模型的深钢筋学习方法，而无需搜索，该方法学会通过自我播放来掌握Stratego。 DeepNash的关键组成部分的正则化NASH Dynamics（R-NAD）算法通过直接修改基础多项式学习动力学来收敛到近似NASH平衡，而不是围绕它“循环”。 Deepnash在Stratego中击败了现有的最先进的AI方法，并在Gravon Games平台上获得了年度（2022年）和历史前3名，并与人类专家竞争。
translated by 谷歌翻译
基于最佳抽样的运动计划和轨迹优化是两个竞争框架，以生成最佳运动计划。这两个框架都有互补的属性：基于抽样的计划者通常会趋于趋势，但提供最佳保证。但是，轨迹优化器通常很快就可以收敛，但在非凸问题中不提供全局最佳保证，例如场景有障碍。为了达到两全其美，我们介绍了一个新的计划者Bitkomo，该计划者将渐近最佳的批处理知识树（BIT*）计划者与K-order Markov优化（KOMO）轨迹优化框架集成在一起。我们的计划者随时随地，并保持BIT*提供的相同的渐近优化性保证，同时还利用KOMO轨迹优化器的快速收敛性。我们在实验中评估了我们的计划者在涉及高维配置空间的操作场景方面，最多有两个7-DOF操纵器，障碍物和狭窄的通道。即使Komo失败，Bitkomo的表现也比Komo更好，并且在收敛到最佳解决方案方面，它的表现优于Bit*。
translated by 谷歌翻译
放射造影通常用于探测动态系统中的复杂，不断发展的密度字段，以便在潜在的物理学中实现进入洞察力。该技术已用于许多领域，包括材料科学，休克物理，惯性监禁融合和其他国家安全应用。然而，在许多这些应用中，噪声，散射，复杂光束动力学等的并发症防止了密度的重建足以足以识别具有足够置信度的底层物理。因此，来自静态/动态射线照相的密度重建通常限于在许多这些应用中识别诸如裂缝和空隙的不连续特征。在这项工作中，我们提出了一种从基本上重建密度的基本上新的射线照片序列的密度。仅使用射线照相识别的稳健特征，我们将它们与使用机器学习方法的底层流体动力方程组合，即条件生成对冲网络（CGAN），以从射线照片的动态序列确定密度字段。接下来，我们寻求通过参数估计和投影的过程进一步提高ML的密度重建的流体动力学一致性，并进入流体动力歧管。在这种情况下，我们注意到，训练数据给出的流体动力歧管在被认为的参数空间中给出的测试数据是用于预测的稳定性的诊断，并用于增强培训数据库，期望后者将进一步降低未来的密度重建错误。最后，我们展示了这种方法优于传统的射线照相重建在捕获允许的流体动力学路径中的能力，即使存在相对少量的散射。
translated by 谷歌翻译
We investigate the parameterization of deep neural networks that by design satisfy the continuity equation, a fundamental conservation law. This is enabled by the observation that any solution of the continuity equation can be represented as a divergence-free vector field. We hence propose building divergence-free neural networks through the concept of differential forms, and with the aid of automatic differentiation, realize two practical constructions. As a result, we can parameterize pairs of densities and vector fields that always exactly satisfy the continuity equation, foregoing the need for extra penalty methods or expensive numerical simulation. Furthermore, we prove these models are universal and so can be used to represent any divergence-free vector field. Finally, we experimentally validate our approaches by computing neural network-based solutions to fluid equations, solving for the Hodge decomposition, and learning dynamical optimal transport maps.
translated by 谷歌翻译
现有的数据驱动和反馈流量控制策略不考虑实时数据测量的异质性。此外，对于缺乏数据效率，传统的加固学习方法（RL）方法通常会缓慢收敛。此外，常规的最佳外围控制方案需要对系统动力学的精确了解，因此对内源性不确定性会很脆弱。为了应对这些挑战，这项工作提出了一种基于不可或缺的增强学习（IRL）的方法来学习宏观交通动态，以进行自适应最佳周边控制。这项工作为运输文献做出了以下主要贡献：（a）开发连续的时间控制，并具有离散增益更新以适应离散时间传感器数据。 （b）为了降低采样复杂性并更有效地使用可用数据，将体验重播（ER）技术引入IRL算法。 （c）所提出的方法以“无模型”方式放松模型校准的要求，该方式可以稳健地进行建模不确定性，并通过数据驱动的RL算法增强实时性能。 （d）通过Lyapunov理论证明了基于IRL的算法和受控交通动力学的稳定性的收敛性。最佳控制定律被参数化，然后通过神经网络（NN）近似，从而缓解计算复杂性。在不需要模型线性化的同时，考虑了状态和输入约束。提出了数值示例和仿真实验，以验证所提出方法的有效性和效率。
translated by 谷歌翻译
我们考虑扩散过程的过滤和预测问题。信号和观察是由由相关的维纳过程驱动的随机微分方程（SDE）建模的。在经典估计理论中，用于滤波和预测度量的测量值随机偏微分方程（SPDE）。这些方程可能很难在数值上求解。我们使用条件生成对抗网络（GAN）与签名（来自粗糙路径理论的对象）相结合提供了近似算法。足够平滑路径的签名完全决定了路径。结果，在某些情况下，基于签名的gan被证明可以有效地近似随机过程的定律。对于我们的算法，我们将此方法扩展到从条件定律中进行样本，鉴于嘈杂的部分观察结果。我们的发电机是使用神经微分方程（NDE）构建的，依赖于其通用近似属性。我们在提供严格的数学框架方面表现出良好的性能。数值结果显示了我们算法的效率。
translated by 谷歌翻译
While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.
translated by 谷歌翻译