最近，对从交互数据提取信息的大量兴趣。传统上，这是通过将其建模为动态网络中特定时间的配对交互来完成的。然而，真实世界的互动很少是对的;它们可以涉及超过两个节点。在文献中，这些类型的群组交互由HyperUredges /超链接建模。现有的HIFEBEGE建模工作仅关注静态网络，并且它们无法模拟节点的时间演变，因为它们与其他节点交互。此外，它们无法应答时间查询，如下一步以及发生交互时将发生的相互作用类型。为了解决这些限制，在本文中，我们开发了一种用于超链接预测的时间点过程模型。我们提出的模型使用用于节点的动态表示技术来模拟演化，并在神经点过程框架中使用该表示来制作推断。我们在五个现实世界交互数据上评估我们的模型，并显示我们的动态模型在静态模型上具有显着的性能增益。此外，我们还展示了我们在对双向交互建模技术上的技术的优势。

我们提出了一种新型的复发图网络（RGN）方法，用于通过学习潜在的复杂随机过程来预测离散标记的事件序列。使用点过程的框架，我们将标记的离散事件序列解释为各种唯一类型的不同序列的叠加。图网络的节点使用LSTM来合并过去的信息，而图形注意力网络（GAT网络）引入了强烈的电感偏见，以捕获这些不同类型的事件之间的相互作用。通过更改自我注意力的机制从过去的事件中参加活动，我们可以从$ \ MATHCAL {O}（n^2）$（事件总数）到$ \ Mathcal的时间和空间复杂性降低{o}（| \ Mathcal {y} |^2）$（事件类型的数量）。实验表明，与最新的基于最新的变压器架构相比，所提出的方法可以提高对数可能具有较低时间和空间复杂性的对数可能具有较低时间和空间复杂性的任务的性能。

时间图代表实体之间的动态关系，并发生在许多现实生活中的应用中，例如社交网络，电子商务，通信，道路网络，生物系统等。他们需要根据其生成建模和表示学习的研究超出与静态图有关的研究。在这项调查中，我们全面回顾了近期针对处理时间图提出的神经时间依赖图表的学习和生成建模方法。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文提格的研究建议[24]。

Networks have become indispensable and ubiquitous structures in many fields to model the interactions among different entities, such as friendship in social networks or protein interactions in biological graphs. A major challenge is to understand the structure and dynamics of these systems. Although networks evolve through time, most existing graph representation learning methods target only static networks. Whereas approaches have been developed for the modeling of dynamic networks, there is a lack of efficient continuous time dynamic graph representation learning methods that can provide accurate network characterization and visualization in low dimensions while explicitly accounting for prominent network characteristics such as homophily and transitivity. In this paper, we propose the Piecewise-Velocity Model (PiVeM) for the representation of continuous-time dynamic networks. It learns dynamic embeddings in which the temporal evolution of nodes is approximated by piecewise linear interpolations based on a latent distance model with piecewise constant node-specific velocities. The model allows for analytically tractable expressions of the associated Poisson process likelihood with scalable inference invariant to the number of events. We further impose a scalable Kronecker structured Gaussian Process prior to the dynamics accounting for community structure, temporal smoothness, and disentangled (uncorrelated) latent embedding dimensions optimally learned to characterize the network dynamics. We show that PiVeM can successfully represent network structure and dynamics in ultra-low two-dimensional spaces. It outperforms relevant state-of-art methods in downstream tasks such as link prediction. In summary, PiVeM enables easily interpretable dynamic network visualizations and characterizations that can further improve our understanding of the intrinsic dynamics of time-evolving networks.

时间点过程作为连续域的随机过程通常用于模拟具有发生时间戳的异步事件序列。由于深度神经网络的强烈表达性，在时间点过程的背景下，它们是捕获异步序列中的模式的有希望的选择。在本文中，我们首先审查了最近的研究强调和困难，在深处时间点过程建模异步事件序列，可以得出四个领域：历史序列的编码，条件强度函数的制定，事件的关系发现和学习方法优化。我们通过将其拆除进入四个部分来介绍最近提出的模型，并通过对公平实证评估的相同学习策略进行重新涂布前三个部分进行实验。此外，我们扩展了历史编码器和条件强度函数家族，并提出了一种GRANGER因果区发现框架，用于利用多种事件之间的关系。因为格兰杰因果关系可以由格兰杰因果关系图表示，所以采用分层推断框架中的离散图结构学习来揭示图的潜在结构。进一步的实验表明，具有潜在图表发现的提议框架可以捕获关系并实现改进的拟合和预测性能。

网络和时间点过程是建模各个领域中复杂动态关系数据的基本构件。我们建议使用节点的潜在空间表示形式，提出了潜在空间鹰队（LSH）模型，这是一种连续时间的关系网络的新型生成模型。我们使用共同令人兴奋的霍克斯工艺在节点之间建模关系事件，其基线强度取决于潜在空间中的节点与发件人和接收器特定效果之间的距离。我们证明，我们提出的LSH模型可以复制在包括互惠和传递性在内的真实时间网络中观察到的许多功能，同时还可以实现卓越的预测准确性并提供比现有模型更明显的拟合。

由于许多科学领域的图形，从数学，生物学，社会科学和物理学到计算机科学的图形，动态图神经网络最近变得越来越重要。尽管时间变化（动态）在许多现实世界应用中起着至关重要的作用，但图形神经网络（GNN）过程静态图的文献中的大多数模型。动态图上的少数GNN模型仅考虑特殊的动力学情况，例如Node属性 - 动态图或结构 - 动力学图，仅限于图形边缘的添加或更改等。因此，我们提供了一个新颖的全动态图形神经网络（可以在连续时间处理完全动态图的fdgnn）。提出的方法提供了一个节点和一个边缘嵌入，其中包括其活动以解决添加和删除的节点或边缘以及可能的属性。此外，嵌入式指定每个事件的时间点进程，以编码结构和属性相关的传入图表事件的分布。此外，可以通过考虑用于本地再培训的单个事件来有效地更新我们的模型。

许多应用包括具有事件发生时间的事件数据序列。预测发生时间的模型在社交网络，金融交易，医疗保健和人类流动等各种应用程序中起着重要作用。最近的作品引入了基于神经网络的基于点的点过程，用于建模事件时间，并显示在预测事件时提供最先进的性能。然而，在量化预测性不确定性并且倾向于在外推期间产生过度自信预测的神经网络。适当的不确定性量化对于许多实际应用至关重要。因此，我们提出了一种新型点过程模型，贝叶斯神经鹰过程，利用贝叶斯模型的不确定性建模能力和神经网络的泛化能力。该模型能够通过事件发生时间预测认识性不确定性，并且在模拟和现实世界数据集上对其有效性进行了证明。

任何人类活动都可以表示为实现某个目标的行动的时间顺序。与机器制造的时间序列不同，这些动作序列是高度分散的，因为在不同的人之间完成类似动作的时间可能会有所不同。因此，了解这些序列的动力学对于许多下游任务，例如活动长度预测，目标预测等都是必不可少的。对活动序列建模的现有神经方法要么仅限于视觉数据，要么是特定于任务的神经方法，即仅限于下一个动作或目标预测。在本文中，我们提出了积极主动的，是一个神经标记的时间点过程（MTPP）框架，用于建模活动序列中的动作连续时间分布，同时解决三个高影响力问题 - 下一步动作预测，序列 - 目标预测，序列预测，和端到端序列生成。具体而言，我们利用具有时间归一化流量的自我发项模块来模拟序列中的动作之间的影响和到达时间间的时间。此外，对于时间敏感的预测，我们通过基于边缘的优化程序进行了序列目标的早期检测。这种往返允许积极主动使用有限数量的动作来预测序列目标。从三个活动识别数据集得出的序列进行的广泛实验表明，在动作和目标预测方面，主动的准确性提升了，并且是有史以来第一次应用端到端动作序列生成的实验。

通过人类活动（例如在线购买，健康记录，空间流动性等）生成的大量数据可以在连续时间内表示为一系列事件。在这些连续的时间事件序列上学习深度学习模型是一项非平凡的任务，因为它涉及建模不断增加的事件时间戳，活动间时间差距，事件类型以及不同序列内部和跨不同序列之间的不同事件之间的影响。近年来，对标记的时间点过程（MTPP）的神经增强功能已成为一种强大的框架，以模拟连续时间内定位的异步事件的基本生成机制。但是，MTPP框架中的大多数现有模型和推理方法仅考虑完整的观察方案，即所建模的事件序列是完全观察到的，没有丢失的事件 - 理想的设置很少适用于现实世界应用程序。最近考虑的事件的最新工作是在培训MTPP时采用监督的学习技术，这些技术需要以序列的方式了解每个事件的丢失或观察标签，这进一步限制了其实用性，因为在几种情况下，缺失事件的细节是不知道的apriori 。在这项工作中，我们提供了一种新颖的无监督模型和推理方法，用于在存在事件序列的情况下学习MTPP。具体而言，我们首先使用两个MTPP模拟观察到的事件和缺失事件的生成过程，其中缺少事件表示为潜在的随机变量。然后，我们设计了一种无监督的训练方法，该方法通过变异推断共同学习MTPP。这样的公式可以有效地将丢失的数据归为观察到的事件，并可以在序列中确定缺失事件的最佳位置。

签名的网络使我们能够对双方的关系和互动进行建模，例如朋友/敌人，支持/反对等。这些交互通常在真实数据集中是暂时的，在这些数据集中，节点和边缘会随时间出现。因此，学习签名网络的动态对于有效预测未来联系的符号和强度至关重要。现有的作品模型签名网络或动态网络，但并非都在一起。在这项工作中，我们研究了动态签名的网络，在这些网络中，链接都随时间签名和演变。我们的模型使用内存模块和平衡聚合（因此，名称SEMBA）学习了签名的链接的演变。每个节点都维护两个单独的内存编码，以实现正相互作用和负相互作用。在新边缘的到来时，每个交互节点汇总了此签名的信息，并利用平衡理论。节点嵌入是使用更新的内存生成的，然后将其用于训练多个下游任务，包括链接标志预测和链接权重预测。我们的结果表明，SEMBA的表现优于所有基准，即通过获得AUC增长8％，而FPR降低了50％。关于预测签名权重的任务的结果表明，SEMBA将平方误差降低了9％，同时降低了KL-Divergence对预测签名权重的分布的减少69％。

提出了一种新的动态网络模型，称为相互刺激的点处理图（MEG）。 MEG是一种可扩展的网络范围统计模型，用于多达数码标记的点进程，可用于评估未来事件的重要事件时，包括以前未观察到的连接的异常检测。该模型组合了互励磁点过程来估计事件和潜在空间模型之间的依赖性，以推断节点之间的关系。每个网络边缘的强度函数专用于节点特定参数参数，允许跨网络共享信息。这种结构甚至可以估计强度，即使对于未被观察的边缘，这在现实世界中尤其重要，例如网络安全中产生的计算机网络。获得了日志似然的递归形式，用于通过现代梯度上升算法推导快速推理过程。也导出了EM算法。该模型在模拟图和现实世界数据集上进行测试，展示出色的性能。

时间点过程（TPP）通常用于模拟具有出现时间戳的异步事件序列，并由以历史影响为条件的概率模型揭示。尽管以前的许多作品通过最大程度地提高了TPP模型的“合适性”，但它们的预测性能不令人满意，这意味着模型产生的时间戳与真实的观察相距甚远。最近，诸如DENOTO扩散和得分匹配模型之类的深层生成模型通过证明其生成高质量样本的能力，在图像生成任务方面取得了巨大进展。但是，在事件发生在TPP的情况下，尚无完整而统一的作品来探索和研究生成模型的潜力。在这项工作中，我们尝试通过设计一个unified \ textbf {g} \ textbf {n} eural \ textbf {t} emporal \ emporal \ textbf {p} oint \ textbf {p} rocess {p} rocess（\ textsc {\ textsc { GNTPP}）模型探索其可行性和有效性，并进一步改善模型的预测性能。此外，在衡量历史影响方面，我们修改了细心的模型，这些模型总结了历史事件的影响，并以适应性的重新加权术语来考虑事件的类型关系和时间间隔。已经进行了广泛的实验，以说明\ textsc {gntpp}的预测能力的提高，并用一系列生成概率解码器，并从修订后的注意力中获得了绩效增长。据我们所知，这是第一批适应生成模型在完整的统一框架中并在TPP背景下研究其有效性的作品。我们的代码库包括第5.1.1节中给出的所有方法。5.1.1在\ url {https://github.com/bird-tao/gntpp}中打开。我们希望代码框架可以促进神经TPP的未来研究。

网络欺骗是作为对攻击者和数据盗贼保卫网络和系统的有希望的方法。然而，尽管部署相对便宜，但由于丰富的互动欺骗技术在很大程度上被手动的事实，规模的现实内容的产生是非常昂贵的。随着最近的机器学习改进，我们现在有机会为创建逼真和诱惑模拟内容带来规模和自动化。在这项工作中，我们提出了一个框架，以便在规模上自动化电子邮件和即时消息风格组通信。组织内的这种消息传递平台包含私人通信和文档附件内的许多有价值的信息，使其成为对手的诱惑目标。我们解决了模拟此类系统的两个关键方面：与参与者进行沟通的何时何地和生成局部多方文本以填充模拟对话线程。我们将LognormMix-Net时间点流程作为一种方法，建立在Shchur等人的强度建模方法上。〜\ Cite {Shchur2019Ints}为单播和多铸造通信创建生成模型。我们展示了使用微调，预先训练的语言模型来生成令人信服的多方对话线程。通过将LognormMix-Net TPP（要生成通信时间戳，发件人和收件人）使用语言模型来模拟实时电子邮件服务器，该语言模型生成多方电子邮件线程的内容。我们对基于现实主义的数量的基于现实的属性评估生成的内容，这鼓励模型学会生成将引起对手的注意力来实现欺骗结果。

许多现实世界图包含时域信息。时间图神经网络在生成的动态节点嵌入中捕获时间信息以及结构和上下文信息。研究人员表明，这些嵌入在许多不同的任务中实现了最先进的表现。在这项工作中，我们提出了TGL，这是一个用于大规模脱机时间图神经网络训练的统一框架，用户可以使用简单的配置文件组成各种时间图神经网络。 TGL包括五个主要组件，一个临时采样器，一个邮箱，节点内存模块，存储器更新程序和消息传递引擎。我们设计了临时CSR数据结构和平行采样器，以有效地对颞邻邻居进行制作微型批次。我们提出了一种新颖的随机块调度技术，该技术可以减轻大批量训练时过时的节点存储器的问题。为了解决仅在小规模数据集上评估当前TGNN的局限性，我们介绍了两个具有0.2亿和13亿个时间边缘的大型现实世界数据集。我们在四个具有单个GPU的小规模数据集上评估了TGL的性能，以及两个具有多个GPU的大数据集，用于链接预测和节点分类任务。我们将TGL与五种方法的开源代码进行了比较，并表明TGL平均达到13倍的速度可实现相似或更高的精度。与基准相比，我们的时间平行采样器在多核CPU上平均达到173倍加速。在4-GPU机器上，TGL可以在1-10小时内训练一个超过10亿个时间边缘的时期。据我们所知，这是第一项提出了一个关于多个GPU的大规模时间图神经网络培训的一般框架的工作。

节点之间有序序列的动态图在现实世界的工业应用中普遍存在电子商务和社交平台中。然而，由于数据的时间和结构依赖性和不规则性，因此，对动态图表的表示学习已经提出了很大的计算挑战，防止这些模型部署到现实世界的应用程序。为了解决这一挑战，我们提出了一种有效的算法，有效的动态图学习（边缘），它通过训练丢失选择性地表达某些时间依赖性，以改善计算中的并行性。我们展示了边缘可以扩展到数百万节点的动态图形，数亿个时间事件，实现新的最先进的（SOTA）性能。

学习时空事件的动态是一个根本的问题。神经点过程提高了与深神经网络的点过程模型的表现。但是，大多数现有方法只考虑没有空间建模的时间动态。我们提出了深蓝点过程（DeepStpp），这是一款整合时空点流程的深层动力学模型。我们的方法灵活，高效，可以在空间和时间准确地预测不规则采样的事件。我们方法的关键构造是非参数时空强度函数，由潜在过程管理。强度函数享有密度的闭合形式集成。潜在进程捕获事件序列的不确定性。我们使用摊销变分推理来推断使用深网络的潜在进程。使用合成数据集，我们验证我们的模型可以准确地学习真实的强度函数。在真实世界的基准数据集上，我们的模型展示了最先进的基线的卓越性能。

Graphs are ubiquitous in nature and can therefore serve as models for many practical but also theoretical problems. For this purpose, they can be defined as many different types which suitably reflect the individual contexts of the represented problem. To address cutting-edge problems based on graph data, the research field of Graph Neural Networks (GNNs) has emerged. Despite the field's youth and the speed at which new models are developed, many recent surveys have been published to keep track of them. Nevertheless, it has not yet been gathered which GNN can process what kind of graph types. In this survey, we give a detailed overview of already existing GNNs and, unlike previous surveys, categorize them according to their ability to handle different graph types and properties. We consider GNNs operating on static and dynamic graphs of different structural constitutions, with or without node or edge attributes. Moreover, we distinguish between GNN models for discrete-time or continuous-time dynamic graphs and group the models according to their architecture. We find that there are still graph types that are not or only rarely covered by existing GNN models. We point out where models are missing and give potential reasons for their absence.

近年来，霍克斯进程的异步序列的知识是一个值得关注的主题，基于神经网络的鹰过程逐渐成为最热门研究的领域，特别是基于复发神经网络（RNN）。然而，这些模型仍然包含RNN的一些固有缺点，例如消失和爆炸梯度和长期依赖性问题。同时，基于自我关注的变压器在文本处理和语音识别等顺序建模中取得了巨大成功。虽然变压器鹰过程（THP）已经获得了巨大的性能改进，但是THP不会有效地利用异步事件中的时间信息，因为这些异步序列，事件发生时刻与事件的类型一样重要，而传统的THPS只是转换时间信息进入位置编码并将其添加为变压器的输入。考虑到这一点，我们提出了一种新型的基于变压器的霍克斯工艺模型，暂时关注增强变压器鹰过程（TAA-THP），我们修改了传统的DOT产品注意力结构，并介绍了关注结构的时间编码。我们对多种合成和现实生活数据集进行多项实验，以验证我们提出的TAA-THP模型的性能，与现有的基线模型相比，在不同测量上实现的显着改进，包括在测试数据集上的日志可能性，并预测事件类型的准确性和发生时间。此外，通过烧蚀研究，我们通过比较模型的性能和没有时间关注的模型的性能，生动地证明了引入额外的时间关注的优点。

图形结构化数据通常在自然界中具有动态字符，例如，在许多现实世界中，链接和节点的添加。近年来见证了对这种图形数据进行建模的动态图神经网络所支付的越来越多的注意力，几乎所有现有方法都假设，当建立新的链接时，应通过学习时间动态来传播邻居节点的嵌入。新的信息。但是，这种方法遭受了这样的限制，如果新连接引入的节点包含嘈杂的信息，那么将其知识传播到其他节点是不可靠的，甚至导致模型崩溃。在本文中，我们提出了Adanet：通过增强动态图神经网络的强化知识适应框架。与以前的方法相反，一旦添加了新链接，就立即更新邻居节点的嵌入方式，Adanet试图自适应地确定由于涉及的新链接而应更新哪些节点。考虑到是否更新一个邻居节点的嵌入的决定将对其他邻居节点产生很大的影响，因此，我们将节点更新的选择作为序列决策问题，并通过强化学习解决此问题。通过这种方式，我们可以将知识自适应地传播到其他节点，以学习健壮的节点嵌入表示。据我们所知，我们的方法构成了通过强化学习的动态图神经网络来探索强大知识适应的首次尝试。在三个基准数据集上进行的广泛实验表明，Adanet可以实现最新的性能。此外，我们通过在数据集中添加不同程度的噪声来执行实验，并定量和定性地说明ADANET的鲁棒性。