Understanding pedestrian behavior patterns is a key component to building autonomous agents that can navigate among humans. We seek a learned dictionary of pedestrian behavior to obtain a semantic description of pedestrian trajectories. Supervised methods for dictionary learning are impractical since pedestrian behaviors may be unknown a priori and the process of manually generating behavior labels is prohibitively time consuming. We instead utilize a novel, unsupervised framework to create a taxonomy of pedestrian behavior observed in a specific space. First, we learn a trajectory latent space that enables unsupervised clustering to create an interpretable pedestrian behavior dictionary. We show the utility of this dictionary for building pedestrian behavior maps to visualize space usage patterns and for computing the distributions of behaviors. We demonstrate a simple but effective trajectory prediction by conditioning on these behavior labels. While many trajectory analysis methods rely on RNNs or transformers, we develop a lightweight, low-parameter approach and show results comparable to SOTA on the ETH and UCY datasets.

轨迹预测已在许多领域广泛追求，并且已经探索了许多基于模型和模型的方法。前者包括基于规则的，几何或基于优化的模型，后者主要由深度学习方法组成。在本文中，我们提出了一种基于新的神经微分方程模型的新方法，结合了两种方法。我们的新模型（神经社会物理或NSP）是一个深层神经网络，我们在其中使用具有可学习参数的显式物理模型。显式物理模型在建模行人行为时是强大的感应偏见，而网络的其余部分就系统参数估计和动力学随机性建模提供了强大的数据拟合能力。我们将NSP与6个数据集上的15种深度学习方法进行了比较，并将最新性能提高了5.56％-70％。此外，我们表明NSP在预测截然不同的情况下的合理轨迹方面具有更好的概括性，其中密度的密度是测试数据的2-5倍。最后，我们表明NSP中的物理模型可以为行人行为提供合理的解释，而不是黑盒深度学习。可用代码：https：//github.com/realcrane/human-trajectory-prediction-via-noral-social-physics。

预测行人运动对于人类行为分析以及安全有效的人类代理相互作用至关重要。但是，尽管取得了重大进展，但对于捕捉人类导航决策的不确定性和多模式的现有方法仍然具有挑战性。在本文中，我们提出了SocialVae，这是一种新颖的人类轨迹预测方法。社会节的核心是一种时间上的变性自动编码器体系结构，它利用随机反复的神经网络进行预测，结合社会注意力机制和向后的后近似值，以更好地提取行人导航策略。我们表明，社交活动改善了几个步行轨迹预测基准的最新性能，包括ETH/UCY基准，Stanford Drone DataSet和Sportvu NBA运动数据集。代码可在以下网址获得：https：//github.com/xupei0610/socialvae。

Pedestrians follow different trajectories to avoid obstacles and accommodate fellow pedestrians. Any autonomous vehicle navigating such a scene should be able to foresee the future positions of pedestrians and accordingly adjust its path to avoid collisions. This problem of trajectory prediction can be viewed as a sequence generation task, where we are interested in predicting the future trajectory of people based on their past positions. Following the recent success of Recurrent Neural Network (RNN) models for sequence prediction tasks, we propose an LSTM model which can learn general human movement and predict their future trajectories. This is in contrast to traditional approaches which use hand-crafted functions such as Social forces. We demonstrate the performance of our method on several public datasets. Our model outperforms state-of-the-art methods on some of these datasets . We also analyze the trajectories predicted by our model to demonstrate the motion behaviour learned by our model.

Understanding human motion behavior is critical for autonomous moving platforms (like self-driving cars and social robots) if they are to navigate human-centric environments. This is challenging because human motion is inherently multimodal: given a history of human motion paths, there are many socially plausible ways that people could move in the future. We tackle this problem by combining tools from sequence prediction and generative adversarial networks: a recurrent sequence-to-sequence model observes motion histories and predicts future behavior, using a novel pooling mechanism to aggregate information across people. We predict socially plausible futures by training adversarially against a recurrent discriminator, and encourage diverse predictions with a novel variety loss. Through experiments on several datasets we demonstrate that our approach outperforms prior work in terms of accuracy, variety, collision avoidance, and computational complexity.

在人群情景中，根据许多外部因素，预测行人的轨迹是一个复杂和具有挑战性的任务。场景的拓扑和行人之间的相互作用只是其中一些。由于数据 - 科学和数据收集技术的进步，深入学习方法最近成为众多域中的研究热点。因此，越来越多的研究人员对预测行人的轨迹应用这些方法并不令人惊讶。本文将这些相对较新的深度学习算法与基于经典知识的模型进行了比较，这些算法被广泛用于模拟行人动态。它为两种方法提供了全面的文献综述，探索了技术和应用面向差异，并解决了未来的问题以及未来的发展方向。我们的调查指出，由于深度学习算法的高准确性，现在，基于知识的模型来预测局部轨迹的内容是可疑的。然而，深度学习算法用于大规模模拟的能力和集体动态的描述仍有待证明。此外，比较表明，两种方法（混合方法）的组合似乎很有希望克服像深度学习方法的缺失解释性等缺点。

建模人行走的动力是对计算机视觉的长期兴趣的问题。许多涉及行人轨迹预测的以前的作品将一组特定的单个动作定义为隐式模型组动作。在本文中，我们介绍了一个名为GP-GRAPH的新颖架构，该架构具有集体的小组表示，用于在拥挤的环境中有效的人行道轨迹预测，并且与所有类型的现有方法兼容。 GP-GRAPH的一个关键思想是将个人和小组关系的关系作为图表表示。为此，GP-Graph首先学会将每个行人分配给最可能的行为组。然后，使用此分配信息，GP编写是图形的组内和组间相互作用，分别考虑了组和群体关系中的人类关系。要具体，对于小组内相互作用，我们掩盖了相关组中的行人图边缘。我们还建议小组合并和不致密操作，以代表一个具有多个行人作为一个图节点的小组。最后，GP-GRAPH从两个组相互作用的综合特征中渗透了一个可获得社会上可接受的未来轨迹的概率图。此外，我们介绍了一个小组潜在的矢量抽样，以确保对一系列可能的未来轨迹的集体推断。进行了广泛的实验来验证我们的体系结构的有效性，该实验证明了通过公开可用的基准测试的绩效一致。代码可在https://github.com/inhwanbae/gpgraph上公开获取。

轨迹预测旨在预测代理商可能的未来位置，考虑到他们的观察以及视频背景。这是许多自主平台所要求的，如跟踪，检测，机器人导航，自动驾驶汽车和许多其他电脑视觉应用。无论是代理人的内部人格因素，与社区的互动行为，还是周围环境的影响，所有这些都可能代表对代理商的未来计划的影响。然而，许多以前的方法模型和预测具有相同策略或“单曲”特征分布的代理商的行为，使其具有挑战性地给出足够的风格差异的预测。该稿件提出了利用风格假设和程式化预测的两个子网的多种式网络（MSN），以共同地以新颖的分类方式提供代理多种准式预测。我们使用代理人的终点计划及其交互上下文作为行为分类的基础，以便通过网络中的一系列样式通道自适应地学习多种不同的行为样式。然后，我们假设目标代理将根据这些分类样式中的每一个规划他们未来的行为，从而利用不同的风格频道，以便并行地提供具有重要风格差异的一系列预测。实验表明，所提出的MSN在两个广泛使用的数据集上以最新的最先进的方法优于10 \％-20 \％，并且定性地提出了更好的多样式特性。

作为自主驱动系统的核心技术，行人轨迹预测可以显着提高主动车辆安全性的功能，减少道路交通损伤。在交通场景中，当遇到迎面而来的人时，行人可能会立即转动或停止，这通常会导致复杂的轨迹。为了预测这种不可预测的轨迹，我们可以深入了解行人之间的互动。在本文中，我们提出了一种名为Spatial Interaction Transformer（SIT）的新型生成方法，其通过注意机制学习行人轨迹的时空相关性。此外，我们介绍了条件变形Autiachoder（CVAE）框架来模拟未来行人的潜在行动状态。特别是，基于大规模的TRAFC数据集NUSCENES [2]的实验显示，坐下的性能优于最先进的（SOTA）方法。对挑战性的Eth和UCY数据集的实验评估概述了我们提出的模型的稳健性

Reasoning about human motion is an important prerequisite to safe and socially-aware robotic navigation. As a result, multi-agent behavior prediction has become a core component of modern human-robot interactive systems, such as self-driving cars. While there exist many methods for trajectory forecasting, most do not enforce dynamic constraints and do not account for environmental information (e.g., maps). Towards this end, we present Trajectron++, a modular, graph-structured recurrent model that forecasts the trajectories of a general number of diverse agents while incorporating agent dynamics and heterogeneous data (e.g., semantic maps). Trajectron++ is designed to be tightly integrated with robotic planning and control frameworks; for example, it can produce predictions that are optionally conditioned on ego-agent motion plans. We demonstrate its performance on several challenging real-world trajectory forecasting datasets, outperforming a wide array of state-ofthe-art deterministic and generative methods.

Path prediction is an essential task for many real-world Cyber-Physical Systems (CPS) applications, from autonomous driving and traffic monitoring/management to pedestrian/worker safety. These real-world CPS applications need a robust, lightweight path prediction that can provide a universal network architecture for multiple subjects (e.g., pedestrians and vehicles) from different perspectives. However, most existing algorithms are tailor-made for a unique subject with a specific camera perspective and scenario. This article presents Pishgu, a universal lightweight network architecture, as a robust and holistic solution for path prediction. Pishgu's architecture can adapt to multiple path prediction domains with different subjects (vehicles, pedestrians), perspectives (bird's-eye, high-angle), and scenes (sidewalk, highway). Our proposed architecture captures the inter-dependencies within the subjects in each frame by taking advantage of Graph Isomorphism Networks and the attention module. We separately train and evaluate the efficacy of our architecture on three different CPS domains across multiple perspectives (vehicle bird's-eye view, pedestrian bird's-eye view, and human high-angle view). Pishgu outperforms state-of-the-art solutions in the vehicle bird's-eye view domain by 42% and 61% and pedestrian high-angle view domain by 23% and 22% in terms of ADE and FDE, respectively. Additionally, we analyze the domain-specific details for various datasets to understand their effect on path prediction and model interpretation. Finally, we report the latency and throughput for all three domains on multiple embedded platforms showcasing the robustness and adaptability of Pishgu for real-world integration into CPS applications.

Sociability is essential for modern robots to increase their acceptability in human environments. Traditional techniques use manually engineered utility functions inspired by observing pedestrian behaviors to achieve social navigation. However, social aspects of navigation are diverse, changing across different types of environments, societies, and population densities, making it unrealistic to use hand-crafted techniques in each domain. This paper presents a data-driven navigation architecture that uses state-of-the-art neural architectures, namely Conditional Neural Processes, to learn global and local controllers of the mobile robot from observations. Additionally, we leverage a state-of-the-art, deep prediction mechanism to detect situations not similar to the trained ones, where reactive controllers step in to ensure safe navigation. Our results demonstrate that the proposed framework can successfully carry out navigation tasks regarding social norms in the data. Further, we showed that our system produces fewer personal-zone violations, causing less discomfort.

速度控制预测是驾驶员行为分析中一个具有挑战性的问题，旨在预测驾驶员在控制车速（例如制动或加速度）中的未来行动。在本文中，我们尝试仅使用以自我为中心的视频数据来应对这一挑战，与使用第三人称视图数据或额外的车辆传感器数据（例如GPS或两者）的文献中的大多数作品相比。为此，我们提出了一个基于新型的图形卷积网络（GCN）网络，即Egospeed-net。我们的动机是，随着时间的推移，对象的位置变化可以为我们提供非常有用的线索，以预测未来的速度变化。我们首先使用完全连接的图形图将每个类的对象之间的空间关系建模，并在其上应用GCN进行特征提取。然后，我们利用一个长期的短期内存网络将每个类别的此类特征随着时间的流逝融合到矢量中，加入此类矢量并使用多层perceptron分类器预测速度控制动作。我们在本田研究所驾驶数据集上进行了广泛的实验，并证明了Egospeed-NET的出色性能。

我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。

行人轨迹预测是自动驾驶的重要技术，近年来已成为研究热点。以前的方法主要依靠行人的位置关系来模型社交互动，这显然不足以代表实际情况中的复杂病例。此外，大多数现有工作通常通常将场景交互模块作为独立分支介绍，并在轨迹生成过程中嵌入社交交互功能，而不是同时执行社交交互和场景交互，这可能破坏轨迹预测的合理性。在本文中，我们提出了一个名为社会软关注图卷积网络（SSAGCN）的一个新的预测模型，旨在同时处理行人和环境之间的行人和场景相互作用之间的社交互动。详细说明，在建模社交互动时，我们提出了一种新的\ EMPH {社会软关注功能}，其充分考虑了行人之间的各种交互因素。并且它可以基于各种情况下的不同因素来区分行人周围的人行力的影响。对于物理互动，我们提出了一个新的\ emph {顺序场景共享机制}。每个时刻在每个时刻对一个代理的影响可以通过社会柔和关注与其他邻居共享，因此场景的影响在空间和时间尺寸中都是扩展。在这些改进的帮助下，我们成功地获得了社会和身体上可接受的预测轨迹。公共可用数据集的实验证明了SSAGCN的有效性，并取得了最先进的结果。

人类运动预测是了解社会环境，在机器人技术，监视等中直接应用的关键。我们提出了一个简单而有效的行人轨迹预测模型，该模型旨在旨在行人在以环境为条件的城市风格环境中进行预测：地图和环绕剂。我们的模型是一种基于神经的架构，可以以迭代顺序方式运行几层注意力块和变压器，从而捕获环境中的重要特征以改善预测。我们表明，如果不明确引入社交面具，动态模型，社交池层或复杂的图形结构，则可以使用SOTA模型在PAR结果上产生，这使我们的方法易于扩展和配置，取决于可用的数据。我们报告与SOTA模型相似的结果，该模型在具有单峰预测指标和FDE的公开可用和可扩展的数据集上。

Learning how to navigate among humans in an occluded and spatially constrained indoor environment, is a key ability required to embodied agent to be integrated into our society. In this paper, we propose an end-to-end architecture that exploits Socially-Aware Tasks (referred as to Risk and Social Compass) to inject into a reinforcement learning navigation policy the ability to infer common-sense social behaviors. To this end, our tasks exploit the notion of immediate and future dangers of collision. Furthermore, we propose an evaluation protocol specifically designed for the Social Navigation Task in simulated environments. This is done to capture fine-grained features and characteristics of the policy by analyzing the minimal unit of human-robot spatial interaction, called Encounter. We validate our approach on Gibson4+ and Habitat-Matterport3D datasets.

Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.

近年来，道路安全引起了智能运输系统领域的研究人员和从业者的重大关注。作为最常见的道路用户群体之一，行人由于其不可预测的行为和运动而导致令人震惊，因为车辆行人互动的微妙误解可以很容易地导致风险的情况或碰撞。现有方法使用预定义的基于碰撞的模型或人类标签方法来估计行人的风险。这些方法通常受到他们的概括能力差，缺乏对自我车辆和行人之间的相互作用的限制。这项工作通过提出行人风险级预测系统来解决所列问题。该系统由三个模块组成。首先，收集车辆角度的行人数据。由于数据包含关于自我车辆和行人的运动的信息，因此可以简化以交互感知方式预测时空特征的预测。使用长短短期存储器模型，行人轨迹预测模块预测后续五个框架中的时空特征。随着预测的轨迹遵循某些交互和风险模式，采用混合聚类和分类方法来探讨时空特征中的风险模式，并使用学习模式训练风险等级分类器。在预测行人的时空特征并识别相应的风险水平时，确定自我车辆和行人之间的风险模式。实验结果验证了PRLP系统的能力，以预测行人的风险程度，从而支持智能车辆的碰撞风险评估，并为车辆和行人提供安全警告。

轨迹预测是成功的人类机器人相互作用的必不可少的任务，例如在自动驾驶中。在这项工作中，我们解决了使用移动摄像机在第一人称视图设置中预测未来行人轨迹的问题。为此，我们提出了一种新型的基于动作的对比学习损失，该损失利用行人行动信息来改善学习的轨迹嵌入。这一新损失背后的基本思想是，在特征空间中，执行相同行动的行人的轨迹比具有明显不同动作的行人的轨迹更接近彼此。换句话说，我们认为有关行人行动的行为信息会影响他们的未来轨迹。此外，我们为轨迹引入了一种新型的采样策略，能够有效地增加负面和阳性对比样品。使用训练有素的条件变异自动编码器（CVAE）生成其他合成轨迹样品，该样品是为轨迹预测开发的几种模型的核心。结果表明，我们提出的对比框架采用了有关行人行为的上下文信息，即有效的行动，并学习了更好的轨迹表示。因此，将所提出的对比框架集成在轨迹预测模型中可以改善其结果，并在三个轨迹预测基准上胜过最先进的方法[31，32，26]。