深度强化学习(DRL)的最新进步通过允许自动控制器设计促进了机器人技术。自动控制器设计是设计群体机器人系统的关键方法,与单个机器人系统相比,它需要更复杂的控制器来领导所需的集体行为。尽管基于DRL的控制器设计方法显示出其有效性,但对中央培训服务器的依赖是在机器人服务器通信不稳定或有限的现实环境中的关键问题。我们提出了一种新型联邦学习(FL)的DRL培训策略(FLDDPG),以用于群体机器人应用。通过在有限的通信带宽方案下与基线策略进行比较,可以证明,FLDDPG方法导致更高的鲁棒性和泛化能力进入不同的环境和真正的机器人,而基线策略则遭受了通信带宽的限制。该结果表明,所提出的方法可以使在通信带宽有限的环境中运行的群体机器人系统受益,例如在高辐射,水下或地下环境中。
translated by 谷歌翻译
The short-term prediction of precipitation is critical in many areas of life. Recently, a large body of work was devoted to forecasting radar reflectivity images. The radar images are available only in areas with ground weather radars. Thus, we aim to predict high-resolution precipitation from lower-resolution satellite radiance images. A neural network called WeatherFusionNet is employed to predict severe rain up to eight hours in advance. WeatherFusionNet is a U-Net architecture that fuses three different ways to process the satellite data; predicting future satellite frames, extracting rain information from the current frames, and using the input sequence directly. Using the presented method, we achieved 1st place in the NeurIPS 2022 Weather4Cast Core challenge. The code and trained parameters are available at \url{https://github.com/Datalab-FIT-CTU/weather4cast-2022}.
translated by 谷歌翻译
Image segmentation is a largely researched field where neural networks find vast applications in many facets of technology. Some of the most popular approaches to train segmentation networks employ loss functions optimizing pixel-overlap, an objective that is insufficient for many segmentation tasks. In recent years, their limitations fueled a growing interest in topology-aware methods, which aim to recover the correct topology of the segmented structures. However, so far, none of the existing approaches achieve a spatially correct matching between the topological features of ground truth and prediction. In this work, we propose the first topologically and feature-wise accurate metric and loss function for supervised image segmentation, which we term Betti matching. We show how induced matchings guarantee the spatially correct matching between barcodes in a segmentation setting. Furthermore, we propose an efficient algorithm to compute the Betti matching of images. We show that the Betti matching error is an interpretable metric to evaluate the topological correctness of segmentations, which is more sensitive than the well-established Betti number error. Moreover, the differentiability of the Betti matching loss enables its use as a loss function. It improves the topological performance of segmentation networks across six diverse datasets while preserving the volumetric performance. Our code is available in https://github.com/nstucki/Betti-matching.
translated by 谷歌翻译
Many visualization techniques have been created to help explain the behavior of convolutional neural networks (CNNs), but they largely consist of static diagrams that convey limited information. Interactive visualizations can provide more rich insights and allow users to more easily explore a model's behavior; however, they are typically not easily reusable and are specific to a particular model. We introduce Visual Feature Search, a novel interactive visualization that is generalizable to any CNN and can easily be incorporated into a researcher's workflow. Our tool allows a user to highlight an image region and search for images from a given dataset with the most similar CNN features. It supports searching through large image datasets with an efficient cache-based search implementation. We demonstrate how our tool elucidates different aspects of model behavior by performing experiments on supervised, self-supervised, and human-edited CNNs. We also release a portable Python library and several IPython notebooks to enable researchers to easily use our tool in their own experiments. Our code can be found at https://github.com/lookingglasslab/VisualFeatureSearch.
translated by 谷歌翻译
我们提出了DeepFusion,这是一种模块化的多模式结构,可在不同组合中以3D对象检测为融合激光雷达,相机和雷达。专门的功能提取器可以利用每种模式,并且可以轻松交换,从而使该方法变得简单而灵活。提取的特征被转化为鸟眼视图,作为融合的共同表示。在特征空间中融合方式之前,先进行空间和语义对齐。最后,检测头利用丰富的多模式特征,以改善3D检测性能。 LIDAR相机,激光摄像头雷达和摄像头融合的实验结果显示了我们融合方法的灵活性和有效性。在此过程中,我们研究了高达225米的遥远汽车检测的很大程度上未开发的任务,显示了激光摄像机融合的好处。此外,我们研究了3D对象检测的LIDAR点所需的密度,并在对不利天气条件的鲁棒性示例中说明了含义。此外,对我们的摄像头融合的消融研究突出了准确深度估计的重要性。
translated by 谷歌翻译
我们将图形神经网络训练来自小工具N体模拟的光晕目录的神经网络,以执行宇宙学参数的无现场级别可能的推断。目录包含$ \ Lessim $ 5,000 HAROS带质量$ \ gtrsim 10^{10} 〜h^{ - 1} m_ \ odot $,定期卷为$(25〜H^{ - 1} {\ rm mpc}){\ rm mpc}) ^3 $;目录中的每个光环都具有多种特性,例如位置,质量,速度,浓度和最大圆速度。我们的模型构建为置换,翻译和旋转的不变性,不施加最低限度的规模来提取信息,并能够以平均值来推断$ \ omega _ {\ rm m} $和$ \ sigma_8 $的值$ \ sim6 \%$的相对误差分别使用位置加上速度和位置加上质量。更重要的是,我们发现我们的模型非常强大:他们可以推断出使用数千个N-n-Body模拟的Halo目录进行测试时,使用五个不同的N-进行测试时,在使用Halo目录进行测试时,$ \ omega _ {\ rm m} $和$ \ sigma_8 $身体代码:算盘,Cubep $^3 $ M,Enzo,PKDGrav3和Ramses。令人惊讶的是,经过培训的模型推断$ \ omega _ {\ rm m} $在对数千个最先进的骆驼水力动力模拟进行测试时也可以使用,该模拟使用四个不同的代码和子网格物理实现。使用诸如浓度和最大循环速度之类的光环特性允许我们的模型提取更多信息,而牺牲了模型的鲁棒性。这可能会发生,因为不同的N体代码不会在与这些参数相对应的相关尺度上收敛。
translated by 谷歌翻译
人类直觉允许在他们从未经历过的情况下发现异常的驾驶情况。就像人类检测到这些异常情况并采取对策以防止碰撞一样,自动驾驶汽车需要异常检测机制。但是,文献缺乏比较异常检测算法的标准基准。我们填补了空白,并提出了R-U-MAAD基准测试,以用于多代理轨迹中无监督的异常检测。目的是学习从没有标签的训练序列中的正常驾驶的表示,然后检测异常。我们将argvoss运动的预测数据集用于培训,并提出了160个序列的测试数据集,该数据集在城市环境中具有人类通知的异常。为此,我们结合了现实世界中的轨迹和场景依赖性异常驾驶的重播。在我们的实验中,我们比较了11个基线,包括线性模型,深层自动编码器和使用标准异常检测指标的一级分类模型。深度重建和端到端的一级方法显示出令人鼓舞的结果。基准模型将公开可用。
translated by 谷歌翻译
近年来,关于如何在公平限制下学习机器学习模型的越来越多的工作,通常在某些敏感属性方面表达。在这项工作中,我们考虑了对手对目标模型具有黑箱访问的设置,并表明对手可以利用有关该模型公平性的信息,以增强他对训练数据敏感属性的重建。更确切地说,我们提出了一种通用的重建校正方法,该方法将其作为对手进行的初始猜测,并纠正它以符合某些用户定义的约束(例如公平信息),同时最大程度地减少了对手猜测的变化。提出的方法对目标模型的类型,公平感知的学习方法以及对手的辅助知识不可知。为了评估我们的方法的适用性,我们对两种最先进的公平学习方法进行了彻底的实验评估,使用四个具有广泛公差的不同公平指标以及三个不同大小和敏感属性的数据集。实验结果证明了提出的方法改善训练集敏感属性的重建的有效性。
translated by 谷歌翻译
语义分割是医学图像计算中最受欢迎的研究领域之一。也许令人惊讶的是,尽管它可以追溯到2018年,但NNU-NET仍在为各种细分问题提供竞争性的开箱即用解决方案,并定期用作挑战挑战算法的开发框架。在这里,我们使用NNU-NET参与AMOS2022挑战,该挑战带有一套独特的任务:数据集不仅是有史以来最大的最大的数据集,而且拥有15个目标结构,而且竞争还需要提交的解决方案来处理这两种MRI和CT扫描。通过仔细修改NNU-NET的超参数,在编码器中添加剩余连接以及设计自定义后处理策略,我们能够实质上改进NNU-NET基线。我们的最终合奏在任务1(CT)的骰子得分为90.13,而任务2(CT+MRI)的骰子得分为89.06,在提供的培训案例中进行了5倍的交叉验证。
translated by 谷歌翻译
本文解决了解释黑框回归模型异常预测的任务。当使用黑框模型(例如从许多传感器测量值中预测能源消耗的一个模型)时,我们通常会有某些观察到的样品可能会显着偏离其预测的情况。这可能是由于亚最佳黑盒模型,或仅仅​​是因为这些样品是异常值。无论哪种情况,理想情况下都希望计算``责任分数'',以指示输入变量负责异常输出的程度。在这项工作中,我们将此任务形式化为一个统计逆问题:给定模型偏离预期值,推断每个输入变量的责任分数。我们提出了一种称为似然补偿(LC)的新方法,该方法基于可能性原理,并计算对每个输入变量的校正。据我们所知,这是第一个计算实际有价值异常模型偏差的责任分数的原则性框架。我们将方法应用于现实世界中的建筑能源预测任务,并根据专家反馈确认其实用性。
translated by 谷歌翻译