近年来，行为预测模型已经激增，尤其是在自动驾驶的流行现实机器人技术应用中，代表移动代理可能未来的分布对于安全舒适的运动计划至关重要。在这些模型中，选择代表输入和输出的坐标框架的选择具有至关重要的交易折扣，这些折扣通常属于两个类别之一。以代理为中心的模型转换输入并在以代理为中心的坐标中执行推断。这些模型在场景元素之间的翻译和旋转上本质上不变，在公共排行榜上表现最好，但与代理和场景元素的数量相互缩小。以场景为中心的模型使用固定的坐标系来处理所有代理。这为他们提供了在所有代理之间共享表示形式的优势，并提供有效的摊销推理计算，该计算与代理数量线性缩放。但是，这些模型必须学习场景元素之间的翻译和旋转的不变性，并且通常以表现为中心的模型。在这项工作中，我们在概率运动预测模型之间开发知识蒸馏技术，并应用这些技术来缩小以代理为中心和以场景为中心的模型之间的性能差距。这将以场景为中心的模型性能提高了13.2％，在公共Argoverse基准中，Waymo Open Datatet的7.8％，在大型内部数据集中最多可达9.4％。这些以场景为中心的改进的模型在公共排行榜中排名很高，在繁忙场景中以代理商为中心的教师的效率高15倍。
translated by 谷歌翻译
预测道路用户的未来行为是自主驾驶中最具挑战性和最重要的问题之一。应用深度学习对此问题需要以丰富的感知信号和地图信息的形式融合异构世界状态，并在可能的期货上推断出高度多模态分布。在本文中，我们呈现MultiPath ++，这是一个未来的预测模型，实现了在流行的基准上实现最先进的性能。 MultiPath ++通过重新访问许多设计选择来改善多径架构。第一关键设计差异是偏离基于图像的基于输入世界状态的偏离，有利于异构场景元素的稀疏编码：多径++消耗紧凑且有效的折线，直接描述道路特征和原始代理状态信息（例如，位置，速度，加速）。我们提出了一种背景感知这些元素的融合，并开发可重用的多上下文选通融合组件。其次，我们重新考虑了预定义，静态锚点的选择，并开发了一种学习模型端到端的潜在锚嵌入的方法。最后，我们在其他ML域中探索合奏和输出聚合技术 - 常见的常见域 - 并为我们的概率多模式输出表示找到有效的变体。我们对这些设计选择进行了广泛的消融，并表明我们所提出的模型在协会运动预测竞争和Waymo开放数据集运动预测挑战上实现了最先进的性能。
translated by 谷歌翻译
计算优化问题解决方案解决方案的雅各布是机器学习中的一个核心问题，其应用程序在超参数优化，元学习，优化为层和数据集蒸馏中的应用程序，仅举几例。展开的分化是一种流行的启发式方法，它使用迭代求解器近似溶液，并通过计算路径区分它。这项工作提供了对梯度下降和Chebyshev方法的二次目标的这种方法的非反应收敛速率分析。我们表明，为了确保雅各布的融合，我们可以1）选择较大的学习率，导致快速渐近地收敛，但接受该算法可能具有任意长的燃烧阶段或2）选择较小的学习率直接但较慢的收敛性。我们将这种现象称为展开的诅咒。最后，我们讨论了相对于这种方法的开放问题，例如为最佳展开策略得出实用的更新规则，并与Sobolev正交多项式领域建立了新的联系。
translated by 谷歌翻译
黑框模型的鲁棒性研究被认为是基于结构方程和从数据中学到的预测模型的数值模型的必要任务。这些研究必须评估模型的鲁棒性，以实现其输入的可能错误指定（例如，协变量转移）。通过不确定性定量（UQ）的棱镜对黑盒模型的研究通常基于涉及输入上施加的概率结构的灵敏度分析，而ML模型仅由观察到的数据构建。我们的工作旨在通过为这两个范式提供相关且易于使用的工具来统一UQ和ML可解释性方法。为了为鲁棒性研究提供一个通用且易于理解的框架，我们定义了依赖于概率指标之间的瓦斯汀距离的分位数约束和投影的输入信息的扰动，同时保留其依赖性结构。我们表明，可以通过分析解决这个扰动问题。通过等渗多项式近似确保规律性约束会导致更平滑的扰动，这在实践中可能更适合。从UQ和ML领域进行的实际案例研究的数值实验突出了此类研究的计算可行性，并提供了对黑盒模型鲁棒性的局部和全球见解，以输入扰动。
translated by 谷歌翻译
分析脑电图时，神经科医生经常在寻找各种“感兴趣的事件”。为了在这项任务中支持他们，已经开发了各种基于机器学习的算法。这些算法中的大多数将问题视为分类，从而独立处理信号段并忽略了持续时间事件固有的时间依赖性。在推理时，必须在处理后进行处理以检测实际事件。我们提出了一种基于深度学习的端到端事件检测方法（EventNet），该方法直接与事件一起作为学习目标，从临时的后处理方案逐渐消失，以将模型输出转化为事件。我们将EventNet与用于人工制品和癫痫发作检测的最新方法进行了比较，这两种事件类型具有高度可变的持续时间。 EventNet在检测两种事件类型方面显示出改进的性能。这些结果表明，将事件视为直接学习目标的力量，而不是使用临时后处理来获取它们。我们的事件检测框架可以轻松地扩展到信号处理中的其他事件检测问题，因为深度学习骨干链不取决于任何特定于任务的功能。
translated by 谷歌翻译
课堂学习学习需要可塑性和稳定性，以便在保留过去的知识的同时从新数据中学习。由于灾难性的遗忘，当没有内存缓冲区可用时，在这两个属性之间找到妥协尤其具有挑战性。主流方法需要存储两个深层模型，因为它们使用微调与以前的增量状态的知识蒸馏一起整合了新类。我们提出了一种具有相似数量参数但分布不同的方法，以便在可塑性和稳定性之间找到更好的平衡。遵循已经通过基于转移的增量方法部署的方法，我们在初始状态后冻结了功能提取器。最古老的增量状态的类对这种冷冻提取器进行训练，以确保稳定性。使用部分微调模型预测最近的类别以引入可塑性。我们提出的可塑性层可以纳入任何用于无内存增量学习的基于转移的方法，并将其应用于两种此类方法。评估是通过三个大型数据集进行的。结果表明，与现有方法相比，所有测试的配置中均获得了性能提高。
translated by 谷歌翻译
腿部机器人运动是一项艰巨的任务，这是由于无数的子问题，例如脚接触的混合动力学以及所需步态对地形的影响。对浮动基础和脚关节的准确和高效的状态估计可以通过向机器人控制器提供反馈信息来帮助减轻这些问题的许多问题。当前的状态估计方法高度依赖于视觉和惯性测量的结合，以提供实时估计，从而在感知上较差的环境中残障。在这项工作中，我们表明，通过通过因子图公式利用机器人的运动学链模型，我们可以使用主要的特性惯性数据对基础和腿关节进行状态估计。我们使用基于因子图形的框架中的预先集成IMU测量，正向运动计算和接触检测的组合进行状态估计，从而使我们的状态估计值受到机器人模型的约束。模拟和硬件上的实验结果表明，我们的方法平均超过当前的本体感受状态估计方法27％，同时可以推广到各种腿部机器人平台。我们在各种轨迹上定量和定性地展示了我们的结果。
translated by 谷歌翻译
我们引入了三种算法，将模拟重力数据倒入3D地下岩石/流属性。第一种算法是一种基于数据驱动的，基于深度学习的方法，第二个算法将深度学习方法与物理建模混合到单个工作流程中，第三个考虑了表面重力监测的时间依赖性。这些提出的算法的目标应用是地下CO $ _2 $李子作为监视CO $ _2 $固存部部署的补充工具的预测。每种提出的算法的表现都优于传统的反转方法，并在几乎实时实时产生高分辨率的3D地下重建。我们提出的方法以$ \ mu $ gals的形式获得了预测的羽状几何形状和接近完美数据失误的骰子得分。这些结果表明，将4D表面重力监测与深度学习技术相结合代表了一种低成本，快速和非侵入性的方法，用于监测CO $ _2 $存储站点。
translated by 谷歌翻译
在分析此类数据中，高光谱脉冲仍然是最具挑战性的任务之一。深度学习一直在田野上盛开，并被证明超过了其他经典的不混合技术，并且可以有效地部署在配备高光谱成像器的地球观察卫星上。在这封信中，我们遵循这一研究途径，并提出了一个多分支卷积神经网络，该网络受益于融合过程中的光谱，空间和光谱空间特征。我们的实验结果得到了消融研究的支持，表明我们的技术从文献中优于其他人，而导致了更高质量的分数丰度估计。此外，我们研究了减少训练集对所有算法及其对噪音的稳健性的影响的影响，因为捕获大型且代表性的地面真相集是耗时且在实践中成本高昂的，尤其是在新兴的地球观察方案中。
translated by 谷歌翻译
通过优化农业管理实践来维持农场的可持续性有助于建立更适合星球的环境。新兴的卫星任务可以获取多光谱图像，从而捕获有关扫描区域的更详细的光谱信息，因此，在农业应用中的分析过程中，我们可以从细微的光谱特征中受益。我们介绍了一种从10 m Sentinel-2多光谱图像系列中提取2.5 m栽培地图的方法，该图像受益于紧凑型卷积神经网络。实验表明，与U-NET相比，我们的模型不仅通过提供更高质量的分割图来超过经典和深度的机器学习技术，而且还可以大大减少内存足迹（我们的模型的几乎可训练的参数，最多具有31m参数的参数U-nets）。在任务中，这种记忆节俭是关键的，这使我们能够在轨道进入轨道后将模型链接到AI驱动的卫星，因为由于时间限制，不可能发送大型网。
translated by 谷歌翻译