在诸如跟踪之类的任务中，时间序列数据不可避免地携带缺失的观察。虽然传统的跟踪方法可以处理缺失的观测，但经常性的神经网络（RNNS）旨在在每一步中接收输入数据。此外，RNN的当前解决方案，例如省略缺失的数据或数据归档，不足以解释所产生的不确定性。迄今为止，本文介绍了一种基于RNN的方法，其提供了用于运动状态估计的完整时间过滤周期。卡尔曼滤波器启发方法，可以处理缺少的观察和异常值。为了提供完整的时间过滤周期，扩展了基本RNN以考虑其精度以考虑更新当前状态而采取观察和相关的信念。生成参数化分布以捕获预测状态的RNN预测模型与RNN更新模型组合，这依赖于预测模型输出和当前观察。通过提供具有屏蔽信息的模型，二进制编码的缺失事件，模型可以克服标准技术的限制来处理缺失的输入值。模型能力在反映了原型行人跟踪方案的合成数据上证明了模型能力。

在诸如对象跟踪的应用中，时间序列数据不可避免地携带缺失的观察。在基于深度学习的模型的成功之后，对于各种序列学习任务，这些模型越来越替换对象跟踪应用中的经典方法，以推断对象的运动状态。虽然传统的跟踪方法可以处理缺失的观察，但默认情况下，大多数深度同行都不适合这一点。迄今为止，本文介绍了一种基于变压器的方法，用于在可变输入长度轨迹数据中处理缺失的观察。通过连续增加所需推理任务的复杂性，间接地形成模型。从再现无噪声轨迹开始，该模型然后学会从嘈杂的输入中推断出来的轨迹。通过提供缺失的令牌，二进制编码的缺失事件，该模型将学习进入缺少数据，并且Infers在其余输入上调整完整的轨迹。在连续缺失事件序列的情况下，该模型则用作纯预测模型。该方法的能力在反映原型对象跟踪方案的综合数据和实际数据上进行了证明。

基于深度学习的模型，例如经常性神经网络（RNNS），已经应用于各种序列学习任务，取得了巨大的成功。在此之后，这些模型越来越多地替换对象跟踪应用程序的经典方法，用于运动预测。一方面，这些模型可以通过所需的更少建模捕获复杂的对象动态，但另一方面，它们取决于参数调谐的大量训练数据。为此，我们介绍了一种用于在图像空间中产生无人机（UAV）的合成轨迹数据的方法。由于无人机，或者相反的四轮压力机是动态系统，它们不能遵循任意轨迹。通过UAV轨迹实现对应于高阶运动的最小变化的平滑度标准的先决条件，可以利用规划侵略性的四轮机会飞行的方法来通过一系列3D航点产生最佳轨迹。通过将这些机动轨迹投影，该轨迹适合于控制二次调节器，实现图像空间，实现了多功能轨迹数据集。为了证明合成轨迹数据的适用性，我们表明，基于RNN的预测模型，在生成的数据上训练，可以在真实的UAV跟踪数据集上优于经典的参考模型。评估是在公开的反UAV数据集完成的。

一般的ML应用程序中缺少数据方案非常常见，时间序列/序列应用也不例外。本文涉及基于新的复发神经网络（RNN）解决方案，用于丢失数据下的序列预测。我们的方法与所有现有方法不同。它试图直接编码数据中的丢失模式，而无需在模型构建之前或期间尝试将数据归为数据。我们的编码是无损的，并实现了压缩。它可以用于序列分类和预测。在存在可能的外源输入的情况下，我们将重点放在多步预测的一般背景下进行预测。特别是，我们为此提出了编码器码头（SEQ2SEQ）RNN的新型变体。这里的编码器采用上述模式编码，而在具有不同结构的解码器中，多个变体是可行的。我们通过对单个和多个序列（实际）数据集的多个实验来证明我们提出的体系结构的实用性。我们考虑两种情况，其中（i）数据自然缺少，并且（ii）数据被合成掩盖。

We introduce a Deep Stochastic IOC 1 RNN Encoderdecoder framework, DESIRE, for the task of future predictions of multiple interacting agents in dynamic scenes. DESIRE effectively predicts future locations of objects in multiple scenes by 1) accounting for the multi-modal nature of the future prediction (i.e., given the same context, future may vary), 2) foreseeing the potential future outcomes and make a strategic prediction based on that, and 3) reasoning not only from the past motion history, but also from the scene context as well as the interactions among the agents. DESIRE achieves these in a single end-to-end trainable neural network model, while being computationally efficient. The model first obtains a diverse set of hypothetical future prediction samples employing a conditional variational autoencoder, which are ranked and refined by the following RNN scoring-regression module. Samples are scored by accounting for accumulated future rewards, which enables better long-term strategic decisions similar to IOC frameworks. An RNN scene context fusion module jointly captures past motion histories, the semantic scene context and interactions among multiple agents. A feedback mechanism iterates over the ranking and refinement to further boost the prediction accuracy. We evaluate our model on two publicly available datasets: KITTI and Stanford Drone Dataset. Our experiments show that the proposed model significantly improves the prediction accuracy compared to other baseline methods.

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

人类运动预测是了解社会环境，在机器人技术，监视等中直接应用的关键。我们提出了一个简单而有效的行人轨迹预测模型，该模型旨在旨在行人在以环境为条件的城市风格环境中进行预测：地图和环绕剂。我们的模型是一种基于神经的架构，可以以迭代顺序方式运行几层注意力块和变压器，从而捕获环境中的重要特征以改善预测。我们表明，如果不明确引入社交面具，动态模型，社交池层或复杂的图形结构，则可以使用SOTA模型在PAR结果上产生，这使我们的方法易于扩展和配置，取决于可用的数据。我们报告与SOTA模型相似的结果，该模型在具有单峰预测指标和FDE的公开可用和可扩展的数据集上。

时间序列数据生成近年来越来越受到关注。已经提出了几种生成的对抗网络（GaN）的方法通常是假设目标时间序列数据良好格式化并完成的假设来解决问题。然而，现实世界时间序列（RTS）数据远离该乌托邦，例如，具有可变长度的长序列和信息缺失数据，用于设计强大的发电算法的棘手挑战。在本文中，我们向RTS数据提出了一种新的生成框架 - RTSGAN来解决上述挑战。 RTSGAN首先学习编码器 - 解码器模块，该模块提供时间序列实例和固定维度潜在载体之间的映射，然后学习生成模块以在同一潜在空间中生成vectors。通过组合发电机和解码器，RTSGAN能够生成尊重原始特征分布和时间动态的RTS。为了生成具有缺失值的时间序列，我们进一步用观察嵌入层和决定和生成解码器装备了RTSGAN，以更好地利用信息缺失模式。四个RTS数据集上的实验表明，该框架在用于下游分类和预测任务的合成数据实用程序方面优于前一代方法。

预测行人运动对于人类行为分析以及安全有效的人类代理相互作用至关重要。但是，尽管取得了重大进展，但对于捕捉人类导航决策的不确定性和多模式的现有方法仍然具有挑战性。在本文中，我们提出了SocialVae，这是一种新颖的人类轨迹预测方法。社会节的核心是一种时间上的变性自动编码器体系结构，它利用随机反复的神经网络进行预测，结合社会注意力机制和向后的后近似值，以更好地提取行人导航策略。我们表明，社交活动改善了几个步行轨迹预测基准的最新性能，包括ETH/UCY基准，Stanford Drone DataSet和Sportvu NBA运动数据集。代码可在以下网址获得：https：//github.com/xupei0610/socialvae。

预测驾驶行为或其他传感器测量是自主驱动系统的基本组成部分。通常是现实世界多变量序列数据难以模拟，因为潜在的动态是非线性的，并且观察是嘈杂的。此外，驾驶数据通常可以在分布中多传，这意味着存在不同的预测，但平均可能会损害模型性能。为解决此问题，我们提出了对非线性和多模态时间序列数据的有效推理和预测的转换复发性卡尔曼网络（SRKN）。该模型在几个卡尔曼滤波器之间切换，该滤波器以分解潜在状态模拟动态的不同方面。我们经验测试了在玩具数据集上产生的可扩展和可解释的深度状态空间模型，并在波尔图中的出租车实际驾驶数据。在所有情况下，该模型可以捕获数据中动态的多模式性质。

预测动态场景中的行人轨迹仍然是各种应用中的关键问题，例如自主驾驶和社会意识的机器人。由于人类和人类对象的相互作用和人类随机性引起的未来不确定性，这种预测是挑战。基于生成式模型的方法通过采样潜在变量来处理未来的不确定性。然而，很少有研究探索了潜在变量的产生。在这项工作中，我们提出了具有伪Oracle（TPPO）的轨迹预测器，这是一种基于模型的基于模型的轨迹预测因子。第一个伪甲骨文是行人的移动方向，第二个是从地面真理轨迹估计的潜在变量。社会注意力模块用于基于行人移动方向与未来轨迹之间的相关性聚集邻居的交互。这种相关性受到行人的未来轨迹往往受到前方行人的影响。提出了一种潜在的变量预测器来估计观察和地面轨迹的潜在可变分布。此外，在训练期间，这两个分布之间的间隙最小化。因此，潜在的变量预测器可以估计观察到的轨迹的潜变量，以近似从地面真理轨迹估计。我们将TPPO与在几个公共数据集上的相关方法进行比较。结果表明，TPPO优于最先进的方法，具有低平均和最终位移误差。作为测试期间的采样时间下降，消融研究表明预测性能不会显着降低。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

在本文中，我们证明了基于深度学习的方法可用于融合多对象密度。给定一个带有几个传感器可能不同视野的传感器的方案，跟踪器在每个传感器中在本地执行跟踪，该跟踪器会产生随机有限的集合多对象密度。为了融合来自不同跟踪器的输出，我们调整了最近提出的基于变压器的多对象跟踪器，其中融合结果是一个全局的多对象密度，描述了当前时间的所有活物体。我们将基于变压器的融合方法与基于模型的贝叶斯融合方法的性能进行比较，在几种模拟方案中，使用合成数据进行了不同的参数设置。仿真结果表明，基于变压器的融合方法在我们的实验场景中优于基于模型的贝叶斯方法。

近年来，人类运动轨迹预测是许多领域自治系统的重要任务。通过不同社区提出的多种新方法，缺乏标准化的基准和客观比较越来越成为评估进度并指导进一步研究的主要局限性。现有基准的范围和灵活性有限，无法进行相关实验，并说明了代理和环境的上下文提示。在本文中，我们提出了地图集，这是一个系统地评估人类运动轨迹预测算法的基准。 Atlas提供数据预处理功能，超参数优化，具有流行的数据集，并具有灵活性，可以进行设置和进行不充分的相关实验，以分析方法的准确性和鲁棒性。在ATLAS的示例应用中，我们比较了五个流行的模型和基于学习的预测指标，并发现，如果适当应用，基于物理的早期方法仍然具有竞争力。这样的结果证实了像Atlas这样的基准的必要性。

复发状态空间模型（RSSM）是时间序列数据和系统标识中学习模式的高度表达模型。但是，这些模型假定动力学是固定和不变的，在现实世界中，这种动力学很少发生。许多控制应用程序通常表现出具有相似但不相同动力学的任务，这些任务可以建模为潜在变量。我们介绍了隐藏的参数复发状态空间模型（HIP-RSSM），该框架为具有低维的潜在因素集的相关动态系统的家庭参数。我们提出了一种对这种高斯图形模型的学习和执行推理的简单有效方法，该模型避免了诸如变异推理之类的近似值。我们表明，HIP-RSSM在现实世界系统和仿真上的几个挑战性机器人基准上都优于RSSM和竞争性的多任务模型。

Pedestrians follow different trajectories to avoid obstacles and accommodate fellow pedestrians. Any autonomous vehicle navigating such a scene should be able to foresee the future positions of pedestrians and accordingly adjust its path to avoid collisions. This problem of trajectory prediction can be viewed as a sequence generation task, where we are interested in predicting the future trajectory of people based on their past positions. Following the recent success of Recurrent Neural Network (RNN) models for sequence prediction tasks, we propose an LSTM model which can learn general human movement and predict their future trajectories. This is in contrast to traditional approaches which use hand-crafted functions such as Social forces. We demonstrate the performance of our method on several public datasets. Our model outperforms state-of-the-art methods on some of these datasets . We also analyze the trajectories predicted by our model to demonstrate the motion behaviour learned by our model.

像长期短期内存网络（LSTMS）和门控复发单元（GRUS）相同的经常性神经网络（RNN）是建模顺序数据的流行选择。它们的门控机构允许以来自传入观测的新信息在隐藏状态中编码的先前历史。在许多应用程序中，例如医疗记录，观察时间是不规则的并且携带重要信息。然而，LSTM和GRUS在观察之间假设恒定的时间间隔。为了解决这一挑战，我们提出了连续的经常性单位（CRU）-A神经结构，可以自然地处理观察之间的不规则时间间隔。 CRU的浇注机制采用卡尔曼滤波器的连续制剂，并且根据线性随机微分方程（SDE）和（2）潜伏状态在新观察进入时，在（1）之间的连续潜在传播之间的交替。在实证研究，我们表明CRU可以比神经常规差分方程（神经颂歌）的模型更好地插值不规则时间序列。我们还表明，我们的模型可以从IM-AGES推断动力学，并且卡尔曼有效地单挑出候选人的候选人，从而从嘈杂的观察中获得有价值的状态更新。

Understanding human motion behavior is critical for autonomous moving platforms (like self-driving cars and social robots) if they are to navigate human-centric environments. This is challenging because human motion is inherently multimodal: given a history of human motion paths, there are many socially plausible ways that people could move in the future. We tackle this problem by combining tools from sequence prediction and generative adversarial networks: a recurrent sequence-to-sequence model observes motion histories and predicts future behavior, using a novel pooling mechanism to aggregate information across people. We predict socially plausible futures by training adversarially against a recurrent discriminator, and encourage diverse predictions with a novel variety loss. Through experiments on several datasets we demonstrate that our approach outperforms prior work in terms of accuracy, variety, collision avoidance, and computational complexity.

通过人类活动（例如在线购买，健康记录，空间流动性等）生成的大量数据可以在连续时间内表示为一系列事件。在这些连续的时间事件序列上学习深度学习模型是一项非平凡的任务，因为它涉及建模不断增加的事件时间戳，活动间时间差距，事件类型以及不同序列内部和跨不同序列之间的不同事件之间的影响。近年来，对标记的时间点过程（MTPP）的神经增强功能已成为一种强大的框架，以模拟连续时间内定位的异步事件的基本生成机制。但是，MTPP框架中的大多数现有模型和推理方法仅考虑完整的观察方案，即所建模的事件序列是完全观察到的，没有丢失的事件 - 理想的设置很少适用于现实世界应用程序。最近考虑的事件的最新工作是在培训MTPP时采用监督的学习技术，这些技术需要以序列的方式了解每个事件的丢失或观察标签，这进一步限制了其实用性，因为在几种情况下，缺失事件的细节是不知道的apriori 。在这项工作中，我们提供了一种新颖的无监督模型和推理方法，用于在存在事件序列的情况下学习MTPP。具体而言，我们首先使用两个MTPP模拟观察到的事件和缺失事件的生成过程，其中缺少事件表示为潜在的随机变量。然后，我们设计了一种无监督的训练方法，该方法通过变异推断共同学习MTPP。这样的公式可以有效地将丢失的数据归为观察到的事件，并可以在序列中确定缺失事件的最佳位置。

Multivariate time series data in practical applications, such as health care, geoscience, and biology, are characterized by a variety of missing values. In time series prediction and other related tasks, it has been noted that missing values and their missing patterns are often correlated with the target labels, a.k.a., informative missingness. There is very limited work on exploiting the missing patterns for effective imputation and improving prediction performance. In this paper, we develop novel deep learning models, namely GRU-D, as one of the early attempts. GRU-D is based on Gated Recurrent Unit (GRU), a state-of-the-art recurrent neural network. It takes two representations of missing patterns, i.e., masking and time interval, and effectively incorporates them into a deep model architecture so that it not only captures the long-term temporal dependencies in time series, but also utilizes the missing patterns to achieve better prediction results. Experiments of time series classification tasks on real-world clinical datasets (MIMIC-III, PhysioNet) and synthetic datasets demonstrate that our models achieve state-of-the-art performance and provides useful insights for better understanding and utilization of missing values in time series analysis.