Pedestrians follow different trajectories to avoid obstacles and accommodate fellow pedestrians. Any autonomous vehicle navigating such a scene should be able to foresee the future positions of pedestrians and accordingly adjust its path to avoid collisions. This problem of trajectory prediction can be viewed as a sequence generation task, where we are interested in predicting the future trajectory of people based on their past positions. Following the recent success of Recurrent Neural Network (RNN) models for sequence prediction tasks, we propose an LSTM model which can learn general human movement and predict their future trajectories. This is in contrast to traditional approaches which use hand-crafted functions such as Social forces. We demonstrate the performance of our method on several public datasets. Our model outperforms state-of-the-art methods on some of these datasets . We also analyze the trajectories predicted by our model to demonstrate the motion behaviour learned by our model.

Understanding human motion behavior is critical for autonomous moving platforms (like self-driving cars and social robots) if they are to navigate human-centric environments. This is challenging because human motion is inherently multimodal: given a history of human motion paths, there are many socially plausible ways that people could move in the future. We tackle this problem by combining tools from sequence prediction and generative adversarial networks: a recurrent sequence-to-sequence model observes motion histories and predicts future behavior, using a novel pooling mechanism to aggregate information across people. We predict socially plausible futures by training adversarially against a recurrent discriminator, and encourage diverse predictions with a novel variety loss. Through experiments on several datasets we demonstrate that our approach outperforms prior work in terms of accuracy, variety, collision avoidance, and computational complexity.

在人群情景中，根据许多外部因素，预测行人的轨迹是一个复杂和具有挑战性的任务。场景的拓扑和行人之间的相互作用只是其中一些。由于数据 - 科学和数据收集技术的进步，深入学习方法最近成为众多域中的研究热点。因此，越来越多的研究人员对预测行人的轨迹应用这些方法并不令人惊讶。本文将这些相对较新的深度学习算法与基于经典知识的模型进行了比较，这些算法被广泛用于模拟行人动态。它为两种方法提供了全面的文献综述，探索了技术和应用面向差异，并解决了未来的问题以及未来的发展方向。我们的调查指出，由于深度学习算法的高准确性，现在，基于知识的模型来预测局部轨迹的内容是可疑的。然而，深度学习算法用于大规模模拟的能力和集体动态的描述仍有待证明。此外，比较表明，两种方法（混合方法）的组合似乎很有希望克服像深度学习方法的缺失解释性等缺点。

We introduce a Deep Stochastic IOC 1 RNN Encoderdecoder framework, DESIRE, for the task of future predictions of multiple interacting agents in dynamic scenes. DESIRE effectively predicts future locations of objects in multiple scenes by 1) accounting for the multi-modal nature of the future prediction (i.e., given the same context, future may vary), 2) foreseeing the potential future outcomes and make a strategic prediction based on that, and 3) reasoning not only from the past motion history, but also from the scene context as well as the interactions among the agents. DESIRE achieves these in a single end-to-end trainable neural network model, while being computationally efficient. The model first obtains a diverse set of hypothetical future prediction samples employing a conditional variational autoencoder, which are ranked and refined by the following RNN scoring-regression module. Samples are scored by accounting for accumulated future rewards, which enables better long-term strategic decisions similar to IOC frameworks. An RNN scene context fusion module jointly captures past motion histories, the semantic scene context and interactions among multiple agents. A feedback mechanism iterates over the ranking and refinement to further boost the prediction accuracy. We evaluate our model on two publicly available datasets: KITTI and Stanford Drone Dataset. Our experiments show that the proposed model significantly improves the prediction accuracy compared to other baseline methods.

预测动态场景中的行人轨迹仍然是各种应用中的关键问题，例如自主驾驶和社会意识的机器人。由于人类和人类对象的相互作用和人类随机性引起的未来不确定性，这种预测是挑战。基于生成式模型的方法通过采样潜在变量来处理未来的不确定性。然而，很少有研究探索了潜在变量的产生。在这项工作中，我们提出了具有伪Oracle（TPPO）的轨迹预测器，这是一种基于模型的基于模型的轨迹预测因子。第一个伪甲骨文是行人的移动方向，第二个是从地面真理轨迹估计的潜在变量。社会注意力模块用于基于行人移动方向与未来轨迹之间的相关性聚集邻居的交互。这种相关性受到行人的未来轨迹往往受到前方行人的影响。提出了一种潜在的变量预测器来估计观察和地面轨迹的潜在可变分布。此外，在训练期间，这两个分布之间的间隙最小化。因此，潜在的变量预测器可以估计观察到的轨迹的潜变量，以近似从地面真理轨迹估计。我们将TPPO与在几个公共数据集上的相关方法进行比较。结果表明，TPPO优于最先进的方法，具有低平均和最终位移误差。作为测试期间的采样时间下降，消融研究表明预测性能不会显着降低。

行人轨迹预测是自动驾驶的重要技术，近年来已成为研究热点。以前的方法主要依靠行人的位置关系来模型社交互动，这显然不足以代表实际情况中的复杂病例。此外，大多数现有工作通常通常将场景交互模块作为独立分支介绍，并在轨迹生成过程中嵌入社交交互功能，而不是同时执行社交交互和场景交互，这可能破坏轨迹预测的合理性。在本文中，我们提出了一个名为社会软关注图卷积网络（SSAGCN）的一个新的预测模型，旨在同时处理行人和环境之间的行人和场景相互作用之间的社交互动。详细说明，在建模社交互动时，我们提出了一种新的\ EMPH {社会软关注功能}，其充分考虑了行人之间的各种交互因素。并且它可以基于各种情况下的不同因素来区分行人周围的人行力的影响。对于物理互动，我们提出了一个新的\ emph {顺序场景共享机制}。每个时刻在每个时刻对一个代理的影响可以通过社会柔和关注与其他邻居共享，因此场景的影响在空间和时间尺寸中都是扩展。在这些改进的帮助下，我们成功地获得了社会和身体上可接受的预测轨迹。公共可用数据集的实验证明了SSAGCN的有效性，并取得了最先进的结果。

轨迹预测已在许多领域广泛追求，并且已经探索了许多基于模型和模型的方法。前者包括基于规则的，几何或基于优化的模型，后者主要由深度学习方法组成。在本文中，我们提出了一种基于新的神经微分方程模型的新方法，结合了两种方法。我们的新模型（神经社会物理或NSP）是一个深层神经网络，我们在其中使用具有可学习参数的显式物理模型。显式物理模型在建模行人行为时是强大的感应偏见，而网络的其余部分就系统参数估计和动力学随机性建模提供了强大的数据拟合能力。我们将NSP与6个数据集上的15种深度学习方法进行了比较，并将最新性能提高了5.56％-70％。此外，我们表明NSP在预测截然不同的情况下的合理轨迹方面具有更好的概括性，其中密度的密度是测试数据的2-5倍。最后，我们表明NSP中的物理模型可以为行人行为提供合理的解释，而不是黑盒深度学习。可用代码：https：//github.com/realcrane/human-trajectory-prediction-via-noral-social-physics。

建模人行走的动力是对计算机视觉的长期兴趣的问题。许多涉及行人轨迹预测的以前的作品将一组特定的单个动作定义为隐式模型组动作。在本文中，我们介绍了一个名为GP-GRAPH的新颖架构，该架构具有集体的小组表示，用于在拥挤的环境中有效的人行道轨迹预测，并且与所有类型的现有方法兼容。 GP-GRAPH的一个关键思想是将个人和小组关系的关系作为图表表示。为此，GP-Graph首先学会将每个行人分配给最可能的行为组。然后，使用此分配信息，GP编写是图形的组内和组间相互作用，分别考虑了组和群体关系中的人类关系。要具体，对于小组内相互作用，我们掩盖了相关组中的行人图边缘。我们还建议小组合并和不致密操作，以代表一个具有多个行人作为一个图节点的小组。最后，GP-GRAPH从两个组相互作用的综合特征中渗透了一个可获得社会上可接受的未来轨迹的概率图。此外，我们介绍了一个小组潜在的矢量抽样，以确保对一系列可能的未来轨迹的集体推断。进行了广泛的实验来验证我们的体系结构的有效性，该实验证明了通过公开可用的基准测试的绩效一致。代码可在https://github.com/inhwanbae/gpgraph上公开获取。

安全可靠的自主驾驶堆栈（AD）的设计是我们时代最具挑战性的任务之一。预计这些广告将在具有完全自主权的高度动态环境中驱动，并且比人类更大的可靠性。从这个意义上讲，要高效，安全地浏览任意复杂的流量情景，广告必须具有预测周围参与者的未来轨迹的能力。当前的最新模型通常基于复发，图形和卷积网络，在车辆预测的背景下取得了明显的结果。在本文中，我们探讨了在生成模型进行运动预测中注意力的影响，考虑到物理和社会环境以计算最合理的轨迹。我们首先使用LSTM网络对过去的轨迹进行编码，该网络是计算社会背景的多头自我发言模块的输入。另一方面，我们制定了一个加权插值来计算最后一个观测框中的速度和方向，以便计算可接受的目标点，从HDMAP信息的可驱动的HDMAP信息中提取，这代表了我们的物理环境。最后，我们的发电机的输入是从多元正态分布采样的白噪声矢量，而社会和物理环境则是其条件，以预测可行的轨迹。我们使用Argoverse运动预测基准1.1验证我们的方法，从而实现竞争性的单峰结果。

人群中的人类轨迹预测提出了建模社交相互作用和输出无碰撞多模式分布的挑战。在社会生成对抗网络（SGAN）成功之后，最近的作品提出了各种基于GAN的设计，以更好地模拟人群中的人类运动。尽管在降低基于距离的指标方面的性能卓越，但当前网络仍无法输出社会可接受的轨迹，这是模型预测中的高碰撞所证明的。为此，我们介绍了SGANV2：改进的符合安全性的SGAN架构，配备了时空交互模型和基于变压器的鉴别器。时空建模能力有助于更好地学习人类的社交互动，而基于变压器的歧视器设计改善了时间序列建模。此外，SGANV2即使在测试时间也通过协作抽样策略来利用学到的歧视者，该策略不仅完善了碰撞轨迹，而且还可以防止模式崩溃，这是GAN训练中的常见现象。通过对多个现实世界和合成数据集进行广泛的实验，我们证明了SGANV2提供社会兼容的多模式轨迹的功效。

预测行人运动对于人类行为分析以及安全有效的人类代理相互作用至关重要。但是，尽管取得了重大进展，但对于捕捉人类导航决策的不确定性和多模式的现有方法仍然具有挑战性。在本文中，我们提出了SocialVae，这是一种新颖的人类轨迹预测方法。社会节的核心是一种时间上的变性自动编码器体系结构，它利用随机反复的神经网络进行预测，结合社会注意力机制和向后的后近似值，以更好地提取行人导航策略。我们表明，社交活动改善了几个步行轨迹预测基准的最新性能，包括ETH/UCY基准，Stanford Drone DataSet和Sportvu NBA运动数据集。代码可在以下网址获得：https：//github.com/xupei0610/socialvae。

对于各种现实生活中的应用，例如自动驾驶和机器人运动计划，行人轨迹预测是一项重要且具有挑战性的任务。除了生成一条未来的路径外，预测多个合理的未来路径在最近的一些轨迹预测方面变得流行。但是，现有方法通常强调行人与周边地区之间的空间相互作用，但忽略了预测的平稳性和时间一致性。我们的模型旨在通过建模基于历史轨迹的多路径来预测多个基于图形的空间变压器与使用内存图的轨迹平滑算法相结合的轨迹平滑算法。我们的方法可以全面利用空间信息，并纠正时间上不一致的轨迹（例如，尖锐的转弯）。我们还提出了一个名为“轨迹使用百分比”的新评估度量，以评估各种多未实现预测的全面性。我们的广泛实验表明，所提出的模型在多未来的预测和单一预测的竞争结果上实现了最先进的表现。在https://github.com/jacobieee/st-mr上发布的代码。

人类姿势预测是一个充满挑战的问题，涉及复杂的人体运动和姿势动态。在环境中有多个人的情况下，一个人的运动也可能受到他人的运动和动态运动的影响。尽管以前有一些针对多人动态姿势预测问题的作品，但它们通常将整个姿势序列作为时间序列（忽略关节之间的基本关系）建模，或者仅一次输出一个人的未来姿势序列。在本文中，我们提出了一种新方法，称为社会运动变压器（SOM形态），用于多人3D姿势预测。我们的变压器架构独特地将人类运动输入作为关节序列而不是时间序列建模，从而使我们能够对关节进行注意，同时预测并联每个关节的整个未来运动序列。我们表明，通过这种问题重新进行，Somoformer自然会通过使用场景中所有人的关节作为输入查询来扩展到多人场景。我们的模型使用学识渊博的嵌入来表示关节，人身份和全球地位的类型，了解关节之间和人之间的关系，更强烈地参加了来自同一或附近的人的关节。 Somoformer的表现优于SOMOF基准以及CMU-MOCAP和MUPOTS-3D数据集的长期运动预测的最先进方法。出版后将提供代码。

当代机器人主义者的主要目标之一是使智能移动机器人能够在共享的人类机器人环境中平稳运行。为此目标服务的最基本必要的功能之一是在这种“社会”背景下有效的导航。结果，最近的一般社会导航的研究激增，尤其是如何处理社会导航代理之间的冲突。这些贡献介绍了各种模型，算法和评估指标，但是由于该研究领域本质上是跨学科的，因此许多相关论文是不可比较的，并且没有共同的标准词汇。这项调查的主要目标是通过引入这种通用语言，使用它来调查现有工作并突出开放问题来弥合这一差距。它首先定义社会导航的冲突，并提供其组成部分的详细分类学。然后，这项调查将现有工作映射到了本分类法中，同时使用其框架讨论论文。最后，本文提出了一些未来的研究方向和开放问题，这些方向目前正在社会导航的边界，以帮助集中于正在进行的和未来的研究。

轨迹预测在智能车辆或社会机器人领域发挥着关键作用。最近的作品侧重于建模空间社会影响或时间运动注意，但忽视了运动的固有特征，即移动趋势和驾驶意图。本文提出了一种用于车辆轨迹预测的无背景的分层运动编码器 - 解码器网络（HMNET）。 HMNET首先揭示了运动的分层差异，以编码具有高富有动态趋势和驾驶意图的高效力的物理兼容模式。然后，根据位置 - 速度 - 加速相关模式分层地分层地构建多模式预测的目标（端点）。此外，我们介绍了一个修改的社交池模块，它考虑了某些运动属性来代表社交交互。 HMNET可以实现准确，单峰/多模式和物理上兼容的预测。三个公共轨迹预测数据集的实验，即NGSIM，高达和交互表明，我们的模型定量和定性地实现了最先进的性能。我们将在此处发布我们的代码：https：//github.com/xuedashuai/hmnet。

作为自主驱动系统的核心技术，行人轨迹预测可以显着提高主动车辆安全性的功能，减少道路交通损伤。在交通场景中，当遇到迎面而来的人时，行人可能会立即转动或停止，这通常会导致复杂的轨迹。为了预测这种不可预测的轨迹，我们可以深入了解行人之间的互动。在本文中，我们提出了一种名为Spatial Interaction Transformer（SIT）的新型生成方法，其通过注意机制学习行人轨迹的时空相关性。此外，我们介绍了条件变形Autiachoder（CVAE）框架来模拟未来行人的潜在行动状态。特别是，基于大规模的TRAFC数据集NUSCENES [2]的实验显示，坐下的性能优于最先进的（SOTA）方法。对挑战性的Eth和UCY数据集的实验评估概述了我们提出的模型的稳健性

Reasoning about human motion is an important prerequisite to safe and socially-aware robotic navigation. As a result, multi-agent behavior prediction has become a core component of modern human-robot interactive systems, such as self-driving cars. While there exist many methods for trajectory forecasting, most do not enforce dynamic constraints and do not account for environmental information (e.g., maps). Towards this end, we present Trajectron++, a modular, graph-structured recurrent model that forecasts the trajectories of a general number of diverse agents while incorporating agent dynamics and heterogeneous data (e.g., semantic maps). Trajectron++ is designed to be tightly integrated with robotic planning and control frameworks; for example, it can produce predictions that are optionally conditioned on ego-agent motion plans. We demonstrate its performance on several challenging real-world trajectory forecasting datasets, outperforming a wide array of state-ofthe-art deterministic and generative methods.

Sociability is essential for modern robots to increase their acceptability in human environments. Traditional techniques use manually engineered utility functions inspired by observing pedestrian behaviors to achieve social navigation. However, social aspects of navigation are diverse, changing across different types of environments, societies, and population densities, making it unrealistic to use hand-crafted techniques in each domain. This paper presents a data-driven navigation architecture that uses state-of-the-art neural architectures, namely Conditional Neural Processes, to learn global and local controllers of the mobile robot from observations. Additionally, we leverage a state-of-the-art, deep prediction mechanism to detect situations not similar to the trained ones, where reactive controllers step in to ensure safe navigation. Our results demonstrate that the proposed framework can successfully carry out navigation tasks regarding social norms in the data. Further, we showed that our system produces fewer personal-zone violations, causing less discomfort.

Human motion modelling is a classical problem at the intersection of graphics and computer vision, with applications spanning human-computer interaction, motion synthesis, and motion prediction for virtual and augmented reality. Following the success of deep learning methods in several computer vision tasks, recent work has focused on using deep recurrent neural networks (RNNs) to model human motion, with the goal of learning time-dependent representations that perform tasks such as short-term motion prediction and long-term human motion synthesis. We examine recent work, with a focus on the evaluation methodologies commonly used in the literature, and show that, surprisingly, state-of-the-art performance can be achieved by a simple baseline that does not attempt to model motion at all. We investigate this result, and analyze recent RNN methods by looking at the architectures, loss functions, and training procedures used in state-of-the-art approaches. We propose three changes to the standard RNN models typically used for human motion, which result in a simple and scalable RNN architecture that obtains state-of-the-art performance on human motion prediction.

人类运动预测是了解社会环境，在机器人技术，监视等中直接应用的关键。我们提出了一个简单而有效的行人轨迹预测模型，该模型旨在旨在行人在以环境为条件的城市风格环境中进行预测：地图和环绕剂。我们的模型是一种基于神经的架构，可以以迭代顺序方式运行几层注意力块和变压器，从而捕获环境中的重要特征以改善预测。我们表明，如果不明确引入社交面具，动态模型，社交池层或复杂的图形结构，则可以使用SOTA模型在PAR结果上产生，这使我们的方法易于扩展和配置，取决于可用的数据。我们报告与SOTA模型相似的结果，该模型在具有单峰预测指标和FDE的公开可用和可扩展的数据集上。