具有相互作用剂的动力系统本质上是普遍的，通常由其成分之间的关​​系图建模。最近，已经提出了各种工作，以解决通过深层神经网络从系统轨迹中推断这些关系的问题，但是大多数研究都假设二进制或离散类型的相互作用类型为简单。在现实世界中，相互作用内核通常涉及连续的相互作用强度，而离散关系不能准确地近似。在这项工作中，我们提出了关系专注的推理网络（RAIN），以推断出无需任何地面相互作用强度的连续加权相互作用图。我们的模型采用新颖的成对注意（PA）机制来完善轨迹表示和图形变压器，以为每对药物提取异质相互作用权重。我们表明，使用PA机制的雨模型准确地以无监督的方式为模拟物理系统的连续相互作用强度。此外，带有PA的降雨成功地通过可解释的交互图预测了运动捕获数据的轨迹，证明了用连续权重对未知动力学进行建模的优点。

Interacting systems are prevalent in nature, from dynamical systems in physics to complex societal dynamics. The interplay of components can give rise to complex behavior, which can often be explained using a simple model of the system's constituent parts. In this work, we introduce the neural relational inference (NRI) model: an unsupervised model that learns to infer interactions while simultaneously learning the dynamics purely from observational data. Our model takes the form of a variational auto-encoder, in which the latent code represents the underlying interaction graph and the reconstruction is based on graph neural networks. In experiments on simulated physical systems, we show that our NRI model can accurately recover ground-truth interactions in an unsupervised manner. We further demonstrate that we can find an interpretable structure and predict complex dynamics in real motion capture and sports tracking data.

建模多代理系统需要了解代理的相互作用。这样的系统通常很难建模，因为它们可以涉及各种类型的相互作用，以促进丰富的社会行为动态。在这里，我们介绍了一种用于准确建模多代理系统的方法。我们介绍了使用多重注意（IMMA）的相互作用建模，这是一种前向预测模型，该模型使用多重潜在图代表多种独立类型的相互作用，并注意对不同优势的关系。我们还介绍了渐进层培训，这是该体系结构的培训策略。我们表明，我们的方法在轨迹预测和关系推理中的最先进模型优于最先进的模型，涵盖了三个多代理方案：社交导航，合作任务成就和团队运动。我们进一步证明，我们的方法可以改善零拍的概括，并使我们能够探究不同的相互作用如何影响代理行为。

揭开多个代理之间的相互作用与过去的轨迹之间的相互作用至关重要。但是，以前的作品主要考虑与有限的关系推理的静态，成对的相互作用。为了促进更全面的互动建模和关系推理，我们提出了Dyngroupnet，这是一个动态群体感知的网络，i）可以在高度动态的场景中建模时间变化的交互； ii）捕获配对和小组互动； iii）理由互动强度和类别没有直接监督。基于Dyngroupnet，我们进一步设计了一个预测系统，以预测具有动态关系推理的社会合理轨迹。提出的预测系统利用高斯混合模型，多个抽样和预测细化，分别促进预测多样性，训练稳定性和轨迹平滑度。广泛的实验表明：1）dyngroupnet可以捕获随时间变化的群体行为，在轨迹预测过程中推断时间变化的交互类别和相互作用强度，而无需在物理模拟数据集上进行任何关系监督； 2）dyngroupnet优于最先进的轨迹预测方法，其显着改善22.6％/28.0％，26.9％/34.9％，5.1％/13.0％的ADE/FDE在NBA，NFL足球和SDD Datasets上的ADE/FDE并在ETH-COY数据集上实现最先进的性能。

实体彼此交互的系统很常见。在许多交互系统中，难以观察实体之间的关系，这是用于分析系统的关键信息。近年来，在使用图形神经网络中发现实体之间的关系越来越兴趣。然而，如果关系的数量未知或者关系复杂，则难以申请现有方法。我们提出了发现潜在关系（DSLR）模型，即使关系数目未知或存在许多类型的关系，也是灵活适用的。我们的DSLR模型的灵活性来自我们的编码器的设计概念，它代表了潜在空间中的实体之间的关系，而不是可以处理许多类型的关系的离散变量和解码器。我们对实体之间的各种关系进行了关于合成和实际图数据的实验，并将定性和定量结果与其他方法进行了比较。实验表明，该方法适用于分析具有未知数量的复杂关系的动态图。

行人轨迹预测是自动驾驶的重要技术，近年来已成为研究热点。以前的方法主要依靠行人的位置关系来模型社交互动，这显然不足以代表实际情况中的复杂病例。此外，大多数现有工作通常通常将场景交互模块作为独立分支介绍，并在轨迹生成过程中嵌入社交交互功能，而不是同时执行社交交互和场景交互，这可能破坏轨迹预测的合理性。在本文中，我们提出了一个名为社会软关注图卷积网络（SSAGCN）的一个新的预测模型，旨在同时处理行人和环境之间的行人和场景相互作用之间的社交互动。详细说明，在建模社交互动时，我们提出了一种新的\ EMPH {社会软关注功能}，其充分考虑了行人之间的各种交互因素。并且它可以基于各种情况下的不同因素来区分行人周围的人行力的影响。对于物理互动，我们提出了一个新的\ emph {顺序场景共享机制}。每个时刻在每个时刻对一个代理的影响可以通过社会柔和关注与其他邻居共享，因此场景的影响在空间和时间尺寸中都是扩展。在这些改进的帮助下，我们成功地获得了社会和身体上可接受的预测轨迹。公共可用数据集的实验证明了SSAGCN的有效性，并取得了最先进的结果。

有效理解动态发展的多种互动对于捕获社会系统中代理的潜在行为至关重要。通常要直接观察这些相互作用是一项挑战，因此对潜在相互作用进行建模对于实现复杂行为至关重要。动态神经关系推断（DNRI）的最新工作在每个步骤中都捕获了明确的互动相互作用。但是，在每个步骤中的预测都会导致嘈杂的相互作用，并且没有事后检查就缺乏内在的解释性。此外，它需要访问地面真理注释来分析难以获得的预测相互作用。本文介绍了Dider，发现了可解释的动态发展关系，这是一种具有内在解释性的通用端到端交互建模框架。 Dider通过将潜在相互作用预测的任务分解为亚相互作用预测和持续时间估计，发现了一个可解释的代理相互作用序列。通过在延长的时间持续时间内强加亚相互作用类型的一致性，提出的框架可以实现内在的解释性，而无需进行任何事后检查。我们在合成数据集和现实世界数据集上评估了Dider。实验结果表明，建模解剖和可解释的动态关系可改善轨迹预测任务的性能。

虽然牛顿力学的基本规律得到了很好的理解，但是解释了物理场景仍然需要用合适的方程式制造问题并估计相关参数。为了能够利用人工智能技术在这种物理相关的背景下利用近似能力，研究人员已经手工制作了相关状态，然后使用神经网络来学习使用模拟运行作为训练数据的状态转换。遗憾的是，这种方法不适合建模复杂的现实情景，在手动创作相关的状态空间往往是乏味和挑战性的。在这项工作中，我们研究了神经网络是否可以基于视觉数据隐含地学习现实世界机械过程的物理状态，而在内部建模非均匀环境中，并且在该过程中可以实现长期物理推断。我们为此任务开发了经常性的神经网络架构，并且还以不断变化的方差估计的形式表征了结果的不确定性。我们评估我们的设置，以推断在不同形状和方向的碗上的滚珠球运动，以及仅使用图像作为输入的任意高度场。我们在对预测的准确性和情景复杂性方面，我们报告了对现有的基于图像的方法的显着改进;并报告与我们不同的方法，竞争性能与我们不同，承担进入内部物理状态。

轨迹预测在智能车辆或社会机器人领域发挥着关键作用。最近的作品侧重于建模空间社会影响或时间运动注意，但忽视了运动的固有特征，即移动趋势和驾驶意图。本文提出了一种用于车辆轨迹预测的无背景的分层运动编码器 - 解码器网络（HMNET）。 HMNET首先揭示了运动的分层差异，以编码具有高富有动态趋势和驾驶意图的高效力的物理兼容模式。然后，根据位置 - 速度 - 加速相关模式分层地分层地构建多模式预测的目标（端点）。此外，我们介绍了一个修改的社交池模块，它考虑了某些运动属性来代表社交交互。 HMNET可以实现准确，单峰/多模式和物理上兼容的预测。三个公共轨迹预测数据集的实验，即NGSIM，高达和交互表明，我们的模型定量和定性地实现了最先进的性能。我们将在此处发布我们的代码：https：//github.com/xuedashuai/hmnet。

Reasoning about objects, relations, and physics is central to human intelligence, and a key goal of artificial intelligence. Here we introduce the interaction network, a model which can reason about how objects in complex systems interact, supporting dynamical predictions, as well as inferences about the abstract properties of the system. Our model takes graphs as input, performs object-and relation-centric reasoning in a way that is analogous to a simulation, and is implemented using deep neural networks. We evaluate its ability to reason about several challenging physical domains: n-body problems, rigid-body collision, and non-rigid dynamics. Our results show it can be trained to accurately simulate the physical trajectories of dozens of objects over thousands of time steps, estimate abstract quantities such as energy, and generalize automatically to systems with different numbers and configurations of objects and relations. Our interaction network implementation is the first general-purpose, learnable physics engine, and a powerful general framework for reasoning about object and relations in a wide variety of complex real-world domains.

预测动态场景中的行人轨迹仍然是各种应用中的关键问题，例如自主驾驶和社会意识的机器人。由于人类和人类对象的相互作用和人类随机性引起的未来不确定性，这种预测是挑战。基于生成式模型的方法通过采样潜在变量来处理未来的不确定性。然而，很少有研究探索了潜在变量的产生。在这项工作中，我们提出了具有伪Oracle（TPPO）的轨迹预测器，这是一种基于模型的基于模型的轨迹预测因子。第一个伪甲骨文是行人的移动方向，第二个是从地面真理轨迹估计的潜在变量。社会注意力模块用于基于行人移动方向与未来轨迹之间的相关性聚集邻居的交互。这种相关性受到行人的未来轨迹往往受到前方行人的影响。提出了一种潜在的变量预测器来估计观察和地面轨迹的潜在可变分布。此外，在训练期间，这两个分布之间的间隙最小化。因此，潜在的变量预测器可以估计观察到的轨迹的潜变量，以近似从地面真理轨迹估计。我们将TPPO与在几个公共数据集上的相关方法进行比较。结果表明，TPPO优于最先进的方法，具有低平均和最终位移误差。作为测试期间的采样时间下降，消融研究表明预测性能不会显着降低。

解释性对于自主车辆和其他机器人系统在操作期间与人类和其他物体相互作用至关重要。人类需要了解和预测机器采取的行动，以获得可信赖和安全的合作。在这项工作中，我们的目标是开发一个可解释的模型，可以与人类领域知识和模型的固有因果关系一致地产生解释。特别是，我们专注于自主驾驶，多代理交互建模的基本构建块。我们提出了接地的关系推理（GRI）。它通过推断代理关系的相互作用图来模拟交互式系统的底层动态。我们通过将关系潜空间接地为具有专家域知识定义的语义互动行为来确保语义有意义的交互图。我们展示它可以在模拟和现实世界中建模交互式交通方案，并生成解释车辆行为的语义图。

预测附近代理商的合理的未来轨迹是自治车辆安全的核心挑战，主要取决于两个外部线索：动态邻居代理和静态场景上下文。最近的方法在分别表征两个线索方面取得了很大进展。然而，它们忽略了两个线索之间的相关性，并且大多数很难实现地图自适应预测。在本文中，我们使用Lane作为场景数据，并提出一个分阶段网络，即共同学习代理和车道信息，用于多模式轨迹预测（JAL-MTP）。 JAL-MTP使用社交到LANE（S2L）模块来共同代表静态道和相邻代理的动态运动作为实例级车道，一种用于利用实例级车道来预测的反复出的车道注意力（RLA）机制来预测Map-Adaptive Future Trajections和两个选择器，可识别典型和合理的轨迹。在公共协议数据集上进行的实验表明JAL-MTP在定量和定性中显着优于现有模型。

虽然对配对关系的建模在多代理交互系统中得到了广泛的研究，但其捕获更高级别和较大规模的小组活动的能力受到限制。在本文中，我们提出了一种群体感知的关系推理方法（命名为EvolveHyhyPergraph），并明确推断了基本的动态发展的关系结构，并且我们证明了其对多机构轨迹预测的有效性。除了一对节点之间的边缘（即代理）之间的边缘外，我们还建议推断出适应性地连接多个节点的超核，以在不固定Hyperedges的数量的情况下以无聊的方式启用群体感知的关系推理。所提出的方法随着时间的推移而动态发展的关系图和超图表，以捕获关系的演变，而轨迹预测指标将其用于获得未来的状态。此外，我们建议将关系演化的平稳性和推断图或超图的稀疏性正规化，从而有效地提高了训练稳定性并增强了推断关系的解释性。在综合人群模拟和多个现实世界基准数据集上都验证了所提出的方法。我们的方法不理会在长期预测中解释，合理的团体感知关系并取得最先进的表现。

了解代理之间的复杂社交互动是轨迹预测的关键挑战。大多数现有方法考虑成对交通代理或在局域之间的相互作用，而相互作用的性质是无限的，涉及同时不确定的代理和非局部区域。此外，它们对不同类别的代理商来说，它们同样对待异质的交通代理，同时忽视人们在IFFerent类别的交通代理中的多种反应模式。为了解决这些问题，我们提出了一个简单但有效的无限邻域交互网络（UNIN），其预测多个类别中异构代理的轨迹。具体地，所提出的无限邻域交互模块同时产生相互作用涉及的所有代理的融合特征，其适用于任何数量的代理和任何范围的交互区域。同时，提出了一个分层图注意模块，以获取类别到类别的交互和代理到代理交互。最后，估计高斯混合模型的参数用于产生未来轨迹。基准数据集的广泛实验结果表明，通过最先进的方法对我们的方法进行了显着改进。

我们引入了基于仿真的摊销贝叶斯推理方案，以推断随机步行的参数。我们的方法通过无可能的方法了解了步行参数的后验分布。在第一步中，对图形神经网络进行了模拟数据培训，以学习随机步行的优化低维摘要统计数据。在第二步中，可逆神经网络使用变分推断从学习的汇总统计数据中产生参数的后验分布。我们应用我们的方法来从单轨迹推断布朗尼运动模型的参数。摊销推理过程的计算复杂性与轨迹长度线性缩放，其精度比例与cram {\'e} r-rao相似，在较大的长度上结合。该方法对位置噪声是强大的，并且比训练期间看到的轨迹更长的轨迹更长。最后，我们适应了该方案，以表明环境中的有限去相关时间可以从单个轨迹中推断出来。

我们使用机器学习工具来模拟电网网络中失效级联的线路交互。我们首先在初始随机故障之后收集可能的连续线路故障的模拟轨迹的数据集，并考虑模型电网中的实际约束，直到系统以稳态稳定状态。我们使用加权$ L_1 $ -Regularized基于逻辑回归的模型来查找使用成对统计数据捕获成对和潜在的高阶线路故障交互的静态和动态模型。静态模型捕获了网络稳定状态附近的故障“交互，并且动态模型在连续网络状态的时间序列中捕获失败。我们测试模型在网络中展开的失败独立轨迹，以评估其故障预测力。我们观察网络中不同线路之间的不对称，强烈的积极和负面相互作用。我们使用静态交互模型来估计级联大小的分布，并识别倾向于失败的行组，并与数据进行比较。动态交互模型在初始故障之后成功地预测了用于长持久故障传播轨迹的网络状态。

Predicting the future motion of road agents is a critical task in an autonomous driving pipeline. In this work, we address the problem of generating a set of scene-level, or joint, future trajectory predictions in multi-agent driving scenarios. To this end, we propose FJMP, a Factorized Joint Motion Prediction framework for multi-agent interactive driving scenarios. FJMP models the future scene interaction dynamics as a sparse directed interaction graph, where edges denote explicit interactions between agents. We then prune the graph into a directed acyclic graph (DAG) and decompose the joint prediction task into a sequence of marginal and conditional predictions according to the partial ordering of the DAG, where joint future trajectories are decoded using a directed acyclic graph neural network (DAGNN). We conduct experiments on the INTERACTION and Argoverse 2 datasets and demonstrate that FJMP produces more accurate and scene-consistent joint trajectory predictions than non-factorized approaches, especially on the most interactive and kinematically interesting agents. FJMP ranks 1st on the multi-agent test leaderboard of the INTERACTION dataset.

人群中的人类轨迹预测提出了建模社交相互作用和输出无碰撞多模式分布的挑战。在社会生成对抗网络（SGAN）成功之后，最近的作品提出了各种基于GAN的设计，以更好地模拟人群中的人类运动。尽管在降低基于距离的指标方面的性能卓越，但当前网络仍无法输出社会可接受的轨迹，这是模型预测中的高碰撞所证明的。为此，我们介绍了SGANV2：改进的符合安全性的SGAN架构，配备了时空交互模型和基于变压器的鉴别器。时空建模能力有助于更好地学习人类的社交互动，而基于变压器的歧视器设计改善了时间序列建模。此外，SGANV2即使在测试时间也通过协作抽样策略来利用学到的歧视者，该策略不仅完善了碰撞轨迹，而且还可以防止模式崩溃，这是GAN训练中的常见现象。通过对多个现实世界和合成数据集进行广泛的实验，我们证明了SGANV2提供社会兼容的多模式轨迹的功效。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.