在本文中，我们证明了基于深度学习的方法可用于融合多对象密度。给定一个带有几个传感器可能不同视野的传感器的方案，跟踪器在每个传感器中在本地执行跟踪，该跟踪器会产生随机有限的集合多对象密度。为了融合来自不同跟踪器的输出，我们调整了最近提出的基于变压器的多对象跟踪器，其中融合结果是一个全局的多对象密度，描述了当前时间的所有活物体。我们将基于变压器的融合方法与基于模型的贝叶斯融合方法的性能进行比较，在几种模拟方案中，使用合成数据进行了不同的参数设置。仿真结果表明，基于变压器的融合方法在我们的实验场景中优于基于模型的贝叶斯方法。

本文提供了在标记的随机有限套装文献中使用的自适应出生模型与带有点目标模型的Poisson Multi-Bernoulli混合物（PMBM）滤波器中使用的轨道启动之间的比较分析。 PMBM轨道启动是通过对预测的PMBM密度应用的贝叶斯规则获得的，并为每个接收的测量值创建一个Bernoulli组件，表示该测量可能是混乱或从新目标中检测的。自适应出生模拟此过程，通过使用不同的规则为每个测量创建一个伯努利组件来确定存在的概率和用户定义的单目标密度。本文首先对基于孤立测量的轨道启动中产生的差异进行了分析。然后，它表明自适应出生低估了共同建模假设下监视区域中存在的对象数量。最后，我们提供数值模拟，以进一步说明差异。

本文在连续时间内源于序列超出（OOS）一组测量的最佳贝叶斯处理，以进行多个目标跟踪。我们考虑一种在连续时间内建模的多目标系统，当我们接收到根据标准点目标模型分发的测量时，在时间步骤在时间步骤中离散。在采样时间步骤中的所有关于该系统的信息都是由所有轨迹集的后密度提供的。可以通过连续离散的轨迹泊松多Bernoulli混合物（TPMBM）滤波器来计算这种密度。当我们收到OOS测量时，最佳贝叶斯处理执行改造步骤，该转换步骤在OOS测量时间戳下方添加轨迹信息，然后是更新步骤。在OOS测量更新之后，后部保留在TPMBM形式中。我们还提供基于轨迹泊松多Bernoulli滤波器的计算方式替代品。通过模拟评估两种处理OOS测量方法的方法的有效性。

多对象跟踪（MOT）是现代高级驾驶员辅助系统（ADA）和自动驾驶（AD）系统的关键应用之一。 MOT的大多数解决方案都是基于随机矢量贝叶斯过滤器，例如Global最近的邻居（GNN）以及基于规则的启发轨道维护。随着随机有限集（RFS）理论的发展，最近已将RFS贝叶斯过滤器应用于ADA和AD Systems的MOT任务中。但是，由于计算成本和实施复杂性，它们在实际流量中的有用性是对疑问的。在本文中，据透露，具有基于规则的启发式轨道维护的GNN不足以在ADA和AD系统中基于激光雷达的MOT任务。通过系统地比较几个不同的基于对象过滤器的跟踪框架，包括传统的随机矢量贝叶斯滤波器，以及基于规则的启发式跟踪维护和RFS贝叶斯过滤器，可以说明这种判断。此外，提出了一个简单有效的跟踪器，即使用全局最近邻居（GNN-PMB）跟踪器的Poisson Multi-Bernoulli滤波器，建议用于基于激光雷达的MOT任务。拟议的GNN-PMB跟踪器在Nuscenes测试数据集中取得了竞争性的结果，并显示出优于其他最先进的LIDAR的跟踪性能，而Haver Holly Holling Trackers，Lidar和基于摄像机的基于摄像头的跟踪器。

在对象跟踪和状态估计问题中，诸如不精确测量和缺乏检测之类的模棱两可的证据可以包含有价值的信息，因此可以利用以进一步完善概率信念状态。特别是，可以利用有关传感器有限视野的知识，以结合观察到对象的位置的证据。本文提出了一种系统的方法，用于结合视野几何形状，位置以及对象包含/排除证据中的知识，并将其纳入对象状态密度和随机有限设置的多对象基础性分布中。最终的状态估计问题是非线性的，并使用基于递归成分拆分的新的高斯混合物近似来解决。基于此近似，在跟踪问题中仅使用自然语言语句作为输入来得出并证明一种新型的高斯混合物Bernoulli滤波器，以进行不精确的测量。本文还考虑了代表性选择的多对象分布的界面视野和基数分布之间的关系，该分布可用于传感器计划，这是通过涉及多重bernoulli过程的问题所证明的，最多可用于一个。 - 五百个潜在的对象。

信息驱动的控制可用于开发智能传感器，这些传感器可以根据环境反馈优化其测量值。在对象跟踪应用程序中，根据不确定性的预期降低也称为信息增益。随机有限集（RFS）理论提供了一种形式主义，用于量化和估计多对象跟踪问题中的信息增益。但是，在这些应用程序中估计信息增益仍然在计算上具有挑战性。本文介绍了适用于传感器控制的RFS预期信息增益的新的可进行的近似，用于多对象搜索和跟踪。与现有的RFS方法不同，本文提出的信息增益近似考虑了非理想噪声测量，错过的检测，错误警报和对象出现/消失的贡献。通过使用远程陆地和卫星传感器的真实视频数据进行了两次多车搜索实验，通过两次多车搜索实验证明了信息驱动的传感器控制的有效性。

准确的不确定性估计对于在安全关键系统中部署深层对象探测器至关重要。概率对象探测器的开发和评估受到现有绩效指标的缺点的阻碍，这些绩效指标倾向于涉及任意阈值或限制检测器的分布选择。在这项工作中，我们建议将对象检测视为设置预测任务，其中检测器预测对象集的分布。使用负面的对数可能性进行随机有限集，我们提出了一个适当的评分规则，用于评估和训练概率对象探测器。所提出的方法可以应用于现有的概率检测器，没有阈值，并可以在体系结构之间进行公平的比较。在可可数据集上评估了三种不同类型的检测器。我们的结果表明，现有检测器的培训已针对非稳定指标进行了优化。我们希望鼓励开发新的对象探测器，这些探测器可以准确估计自己的不确定性。代码可在https://github.com/georghess/pmb-nll上找到。

协作本地化是一支机器人团队的基本能力，例如连通的车辆与依赖合作的多个角度协作估计对象位置。为了实现协作本地化，必须解决四个关键挑战，包括在观察到的对象之间建模复杂关系，从任意数量的协作机器人，量化定位不确定性以及解决机器人通信的延迟来建立复杂的观察。在本文中，我们介绍了一种新的方法，它集成了不确定性感知的时空图学习和基于模型的状态估计，以使机器人团队协作定位对象。具体而言，我们介绍了一种新的不确定感知图形学习模型，用于了解时空图，以表示每个机器人随时间观察到的对象的历史运动，并在对象本地化中提供不确定性。此外，我们提出了一种新颖的基于综合学习和模型的状态估计方法，其融合了从任意数量的机器人获得的异步观察以进行协作本地化。我们在模拟和实际机器人的两个协作对象本地化方案中评估了我们的方法。实验结果表明，我们的方法优于以前的方法，并实现了异步协作本地化的最先进的性能。

在协作人类机器人语义传感问题中，例如为了进行科学探索，机器人可能会通过人类伴侣提供过度质疑的信息，从而导致次优的状态估计和团队绩效差。当人类不能被视为牙齿时，机器人需要更新状态信念，以正确解释人类语义观察与导致这些观察的现实世界状态之间可能存在的差异。这项工作为在一般环境中针对语义可能性的概率语义数据关联（PSDA）概率进行了严格的在线计算制定了策略，这与以前的工作不同，这些工作开发了针对特定设置的天真或启发式近似。新的PSDA方法纳入了混合贝叶斯数据融合方案中，该方案将高斯混合先验用于对象状态和SoftMax函数用于语义人类传感器观察可能性，并在Monte Carlo模拟中证明了合作的多对象搜索任务的范围人类感测特征（例如错误的检测率）。结果表明，每当语义人类传感器数据包含重要的目标参考歧义性，用于自主对象搜索和本地化时，PSDA会导致在广泛条件下对观察关联概率的强大估计。

Algorithmic solutions for multi-object tracking (MOT) are a key enabler for applications in autonomous navigation and applied ocean sciences. State-of-the-art MOT methods fully rely on a statistical model and typically use preprocessed sensor data as measurements. In particular, measurements are produced by a detector that extracts potential object locations from the raw sensor data collected for a discrete time step. This preparatory processing step reduces data flow and computational complexity but may result in a loss of information. State-of-the-art Bayesian MOT methods that are based on belief propagation (BP) systematically exploit graph structures of the statistical model to reduce computational complexity and improve scalability. However, as a fully model-based approach, BP can only provide suboptimal estimates when there is a mismatch between the statistical model and the true data-generating process. Existing BP-based MOT methods can further only make use of preprocessed measurements. In this paper, we introduce a variant of BP that combines model-based with data-driven MOT. The proposed neural enhanced belief propagation (NEBP) method complements the statistical model of BP by information learned from raw sensor data. This approach conjectures that the learned information can reduce model mismatch and thus improve data association and false alarm rejection. Our NEBP method improves tracking performance compared to model-based methods. At the same time, it inherits the advantages of BP-based MOT, i.e., it scales only quadratically in the number of objects, and it can thus generate and maintain a large number of object tracks. We evaluate the performance of our NEBP approach for MOT on the nuScenes autonomous driving dataset and demonstrate that it has state-of-the-art performance.

惯性导航系统与全球导航卫星系统之间的融合经常用于许多平台，例如无人机，陆地车辆和船舶船只。融合通常是在基于模型的扩展卡尔曼过滤框架中进行的。过滤器的关键参数之一是过程噪声协方差。它负责实时解决方案的准确性，因为它考虑了车辆动力学不确定性和惯性传感器质量。在大多数情况下，过程噪声被认为是恒定的。然而，由于整个轨迹的车辆动力学和传感器测量变化，过程噪声协方差可能会发生变化。为了应对这种情况，文献中建议了几种基于自适应的Kalman过滤器。在本文中，我们提出了一个混合模型和基于学习的自适应导航过滤器。我们依靠基于模型的Kalman滤波器和设计深神网络模型来调整瞬时系统噪声协方差矩阵，仅基于惯性传感器读数。一旦学习了过程噪声协方差，就可以将其插入建立的基于模型的Kalman滤波器中。在推导了提出的混合框架后，提出了使用四极管的现场实验结果，并给出了与基于模型的自适应方法进行比较。我们表明，所提出的方法在位置误差中获得了25％的改善。此外，提出的混合学习方法可以在任何导航过滤器以及任何相关估计问题中使用。

可靠的跟踪算法对于自动驾驶至关重要。但是，现有的一致性措施不足以满足汽车部门日益增长的安全需求。因此，这项工作提出了一种基于卡尔曼过滤和主观逻辑的混乱中单对象跟踪自我评估的新方法。该方法的一个关键特征是，它还提供了在线可靠性评分中收集的统计证据的量度。这样，可靠性的各个方面，例如假定的测量噪声，检测概率和混乱速率的正确性，除了基于可用证据的整体评估外，还可以监视。在这里，我们提出了用于研究问题的自我评估模块中使用的参考分布的数学推导。此外，我们介绍了一个公式，该公式描述了如何为冲突程度选择阈值，这是用于可靠性决策的主观逻辑比较度量。我们的方法在旨在建模不利天气条件的挑战性模拟场景中进行了评估。模拟表明，我们的方法可以显着提高多个方面杂物中单对象跟踪的可靠性检查。

最近，数据驱动的惯性导航方法已经证明了它们使用训练有素的神经网络的能力，以获得来自惯性测量单元（IMU）测量的精确位置估计。在本文中，我们提出了一种用于惯性导航〜（CTIN）的基于鲁棒的基于变压器的网络，以准确地预测速度和轨迹。为此，我们首先通过本地和全局多头自我注意力增强基于Reset的编码器，以捕获来自IMU测量的空间上下文信息。然后，我们通过在变压器解码器中利用多针头注意，使用时间知识来熔化这些空间表示。最后，利用不确定性减少的多任务学习，以提高速度和轨迹的学习效率和预测准确性。通过广泛的实验在各种惯性数据集中〜（例如，ridi，oxiod，ronin，偶像和我们自己的），CTIN非常坚固，优于最先进的模型。

在诸如对象跟踪的应用中，时间序列数据不可避免地携带缺失的观察。在基于深度学习的模型的成功之后，对于各种序列学习任务，这些模型越来越替换对象跟踪应用中的经典方法，以推断对象的运动状态。虽然传统的跟踪方法可以处理缺失的观察，但默认情况下，大多数深度同行都不适合这一点。迄今为止，本文介绍了一种基于变压器的方法，用于在可变输入长度轨迹数据中处理缺失的观察。通过连续增加所需推理任务的复杂性，间接地形成模型。从再现无噪声轨迹开始，该模型然后学会从嘈杂的输入中推断出来的轨迹。通过提供缺失的令牌，二进制编码的缺失事件，该模型将学习进入缺少数据，并且Infers在其余输入上调整完整的轨迹。在连续缺失事件序列的情况下，该模型则用作纯预测模型。该方法的能力在反映原型对象跟踪方案的综合数据和实际数据上进行了证明。

Passive monitoring of acoustic or radio sources has important applications in modern convenience, public safety, and surveillance. A key task in passive monitoring is multiobject tracking (MOT). This paper presents a Bayesian method for multisensor MOT for challenging tracking problems where the object states are high-dimensional, and the measurements follow a nonlinear model. Our method is developed in the framework of factor graphs and the sum-product algorithm (SPA). The multimodal probability density functions (pdfs) provided by the SPA are effectively represented by a Gaussian mixture model (GMM). To perform the operations of the SPA in high-dimensional spaces, we make use of Particle flow (PFL). Here, particles are migrated towards regions of high likelihood based on the solution of a partial differential equation. This makes it possible to obtain good object detection and tracking performance even in challenging multisensor MOT scenarios with single sensor measurements that have a lower dimension than the object positions. We perform a numerical evaluation in a passive acoustic monitoring scenario where multiple sources are tracked in 3-D from 1-D time-difference-of-arrival (TDOA) measurements provided by pairs of hydrophones. Our numerical results demonstrate favorable detection and estimation accuracy compared to state-of-the-art reference techniques.

在诸如跟踪之类的任务中，时间序列数据不可避免地携带缺失的观察。虽然传统的跟踪方法可以处理缺失的观测，但经常性的神经网络（RNNS）旨在在每一步中接收输入数据。此外，RNN的当前解决方案，例如省略缺失的数据或数据归档，不足以解释所产生的不确定性。迄今为止，本文介绍了一种基于RNN的方法，其提供了用于运动状态估计的完整时间过滤周期。卡尔曼滤波器启发方法，可以处理缺少的观察和异常值。为了提供完整的时间过滤周期，扩展了基本RNN以考虑其精度以考虑更新当前状态而采取观察和相关的信念。生成参数化分布以捕获预测状态的RNN预测模型与RNN更新模型组合，这依赖于预测模型输出和当前观察。通过提供具有屏蔽信息的模型，二进制编码的缺失事件，模型可以克服标准技术的限制来处理缺失的输入值。模型能力在反映了原型行人跟踪方案的合成数据上证明了模型能力。

国家估计是许多机器人应用中的重要方面。在这项工作中，我们考虑通过增强状态估计算法中使用的动力学模型来获得机器人系统的准确状态估计的任务。现有的框架，例如移动视野估计（MHE）和无气味的卡尔曼过滤器（UKF），为合并非线性动力学和测量模型提供了灵活性。但是，这意味着这些算法中的动力学模型必须足够准确，以保证状态估计的准确性。为了增强动力学模型并提高估计准确性，我们利用了一个深度学习框架，称为基于知识的神经普通微分方程（KNODES）。 KNODE框架将先验知识嵌入到训练过程中，并通过将先前的第一原理模型与神经普通微分方程（NODE）模型融合来合成精确的混合模型。在我们提出的最新框架中，我们将数据驱动的模型集成到两种基于新型模型的状态估计算法中，它们表示为Knode-Mhe和Knode-UKF。在许多机器人应用中，将这两种算法与它们的常规对应物进行了比较。使用部分测量值，地面机器人的定位以及四型二次估计的状态估计。通过使用现实世界实验数据的模拟和测试，我们证明了所提出的学习增强状态估计框架的多功能性和功效。

5G毫米波（MMWAVE）信号与传播信道和传播环境具有固有的几何连接。因此，它们可用于共同本地化接收器并映射传播环境，该传播环境被称为同时定位和映射（SLAM）。5G SLAM中最重要的任务之一是处理测量模型的非线性。为了解决这个问题，现有的5G SLAM依赖于Sigma点或扩展卡尔曼滤波器，针对现有概率密度函数（PDF）线性化测量功能。在本文中，我们研究了关于后部PDF的测量功能的线性化，并将迭代后线性化滤波器实施到泊松多Bernoulli Slam滤波器中。仿真结果表明了所得SLAM过滤器的精度和精确改善。

本文提出了一种新型的自适应样品基于空间的Viterbi算法，以在线方式定位。该方法依靠将目标的运动空间离散为代表有限数量的隐藏状态的单元。然后，通过隐藏的Markov模型（HMM）框架中的动态编程计算了跟踪目标的最可能的轨迹。提出的方法使用贝叶斯估计框架，该框架既不限于高斯噪声模型，也不需要线性化的目标运动模型或传感器测量模型。但是，基于HMM的定位方法可能会遭受较差的计算复杂性，因为在大空间中，由于高分辨率建模或目标定位，隐藏状态的数量增加。为了提高这种差的计算复杂性，本文提出了在最可能的信念空间中依次低至高分辨率的信念传播，从而大大降低了所需的资源。所提出的方法的灵感来自计算机视野字段中常用的K-D树算法（例如Quadtree）。使用超宽带（UWB）传感器网络进行的实验测试证明了我们的结果。

运动估计方法通常采用传感器融合技术（例如Kalman滤波器）来处理单个传感器故障。最近，已经提出了基于深度学习的融合方法，提高了性能并需要更少的模型特定实现。但是，当前的深融合方法通常认为传感器是同步的，这并不总是实用的，尤其是对于低成本硬件。为了解决这一局限性，在这项工作中，我们提出了AFT-VO，这是一种新型的基于变压器的传感器融合体系结构，以估算来自多个传感器的VO。我们的框架结合了异步多视觉摄像机的预测，并说明了来自不同来源的测量值的时间差异。我们的方法首先采用混合密度网络（MDN）来估计系统中每个相机的6-DOF姿势的概率分布。然后引入了一个新型的基于变压器的融合模块AFT-VO，该模块结合了这些异步姿势估计以及它们的信心。更具体地说，我们引入了离散器和源编码技术，该技术使多源异步信号的融合。我们在流行的Nuscenes和Kitti数据集上评估了我们的方法。我们的实验表明，用于VO估计的多视图融合提供了强大而准确的轨迹，在挑战性的天气和照明条件下都超过了艺术的表现。