任何人类活动都可以表示为实现某个目标的行动的时间顺序。与机器制造的时间序列不同，这些动作序列是高度分散的，因为在不同的人之间完成类似动作的时间可能会有所不同。因此，了解这些序列的动力学对于许多下游任务，例如活动长度预测，目标预测等都是必不可少的。对活动序列建模的现有神经方法要么仅限于视觉数据，要么是特定于任务的神经方法，即仅限于下一个动作或目标预测。在本文中，我们提出了积极主动的，是一个神经标记的时间点过程（MTPP）框架，用于建模活动序列中的动作连续时间分布，同时解决三个高影响力问题 - 下一步动作预测，序列 - 目标预测，序列预测，和端到端序列生成。具体而言，我们利用具有时间归一化流量的自我发项模块来模拟序列中的动作之间的影响和到达时间间的时间。此外，对于时间敏感的预测，我们通过基于边缘的优化程序进行了序列目标的早期检测。这种往返允许积极主动使用有限数量的动作来预测序列目标。从三个活动识别数据集得出的序列进行的广泛实验表明，在动作和目标预测方面，主动的准确性提升了，并且是有史以来第一次应用端到端动作序列生成的实验。
translated by 谷歌翻译
通过人类活动（例如在线购买，健康记录，空间流动性等）生成的大量数据可以在连续时间内表示为一系列事件。在这些连续的时间事件序列上学习深度学习模型是一项非平凡的任务，因为它涉及建模不断增加的事件时间戳，活动间时间差距，事件类型以及不同序列内部和跨不同序列之间的不同事件之间的影响。近年来，对标记的时间点过程（MTPP）的神经增强功能已成为一种强大的框架，以模拟连续时间内定位的异步事件的基本生成机制。但是，MTPP框架中的大多数现有模型和推理方法仅考虑完整的观察方案，即所建模的事件序列是完全观察到的，没有丢失的事件 - 理想的设置很少适用于现实世界应用程序。最近考虑的事件的最新工作是在培训MTPP时采用监督的学习技术，这些技术需要以序列的方式了解每个事件的丢失或观察标签，这进一步限制了其实用性，因为在几种情况下，缺失事件的细节是不知道的apriori 。在这项工作中，我们提供了一种新颖的无监督模型和推理方法，用于在存在事件序列的情况下学习MTPP。具体而言，我们首先使用两个MTPP模拟观察到的事件和缺失事件的生成过程，其中缺少事件表示为潜在的随机变量。然后，我们设计了一种无监督的训练方法，该方法通过变异推断共同学习MTPP。这样的公式可以有效地将丢失的数据归为观察到的事件，并可以在序列中确定缺失事件的最佳位置。
translated by 谷歌翻译
当前的利益点方法（POI）建议通过标准空间特征（例如POI坐标，社交网络等）来了解用户的偏好。这些模型忽略了空间移动性的关键方面 - 每个用户都承载他们的偏好无论他们走到哪里，智能手机。此外，随着隐私问题的越来越多，用户避免分享其确切的地理坐标及其社交媒体活动。在本文中，我们提出了Revamp，这是一种顺序POI推荐方法，该方法利用智能手机应用程序（或应用程序）上的用户活动来识别其移动性偏好。这项工作与最近对在线城市用户的心理学研究保持一致，这表明其空间行动行为在很大程度上受其智能手机应用程序的活动影响。此外，我们对粗粒智能手机数据的建议是指以隐私意识的方式收集的数据日志，即仅由（a）类别的智能手机应用程序和（b）类别的签到位置组成。因此，改装并不愿意精确地坐标，社交网络或要访问的特定应用程序。在自我注意模型的疗效的推动下，我们使用两种形式的位置编码（绝对和相对）学习了用户的POI偏好，每种位置编码是从A的签入动力学中提取的，在A的入住序列中提取用户。来自中国的两个大规模数据集进行的广泛实验表明，改革的预测能力及其预测应用程序和POI类别的能力。
translated by 谷歌翻译
时间点过程（TPP）通常用于模拟具有出现时间戳的异步事件序列，并由以历史影响为条件的概率模型揭示。尽管以前的许多作品通过最大程度地提高了TPP模型的“合适性”，但它们的预测性能不令人满意，这意味着模型产生的时间戳与真实的观察相距甚远。最近，诸如DENOTO扩散和得分匹配模型之类的深层生成模型通过证明其生成高质量样本的能力，在图像生成任务方面取得了巨大进展。但是，在事件发生在TPP的情况下，尚无完整而统一的作品来探索和研究生成模型的潜力。在这项工作中，我们尝试通过设计一个unified \ textbf {g} \ textbf {n} eural \ textbf {t} emporal \ emporal \ textbf {p} oint \ textbf {p} rocess {p} rocess（\ textsc {\ textsc { GNTPP}）模型探索其可行性和有效性，并进一步改善模型的预测性能。此外，在衡量历史影响方面，我们修改了细心的模型，这些模型总结了历史事件的影响，并以适应性的重新加权术语来考虑事件的类型关系和时间间隔。已经进行了广泛的实验，以说明\ textsc {gntpp}的预测能力的提高，并用一系列生成概率解码器，并从修订后的注意力中获得了绩效增长。据我们所知，这是第一批适应生成模型在完整的统一框架中并在TPP背景下研究其有效性的作品。我们的代码库包括第5.1.1节中给出的所有方法。5.1.1在\ url {https://github.com/bird-tao/gntpp}中打开。我们希望代码框架可以促进神经TPP的未来研究。
translated by 谷歌翻译
时间点过程作为连续域的随机过程通常用于模拟具有发生时间戳的异步事件序列。由于深度神经网络的强烈表达性，在时间点过程的背景下，它们是捕获异步序列中的模式的有希望的选择。在本文中，我们首先审查了最近的研究强调和困难，在深处时间点过程建模异步事件序列，可以得出四个领域：历史序列的编码，条件强度函数的制定，事件的关系发现和学习方法优化。我们通过将其拆除进入四个部分来介绍最近提出的模型，并通过对公平实证评估的相同学习策略进行重新涂布前三个部分进行实验。此外，我们扩展了历史编码器和条件强度函数家族，并提出了一种GRANGER因果区发现框架，用于利用多种事件之间的关系。因为格兰杰因果关系可以由格兰杰因果关系图表示，所以采用分层推断框架中的离散图结构学习来揭示图的潜在结构。进一步的实验表明，具有潜在图表发现的提议框架可以捕获关系并实现改进的拟合和预测性能。
translated by 谷歌翻译
学习时空事件的动态是一个根本的问题。神经点过程提高了与深神经网络的点过程模型的表现。但是，大多数现有方法只考虑没有空间建模的时间动态。我们提出了深蓝点过程（DeepStpp），这是一款整合时空点流程的深层动力学模型。我们的方法灵活，高效，可以在空间和时间准确地预测不规则采样的事件。我们方法的关键构造是非参数时空强度函数，由潜在过程管理。强度函数享有密度的闭合形式集成。潜在进程捕获事件序列的不确定性。我们使用摊销变分推理来推断使用深网络的潜在进程。使用合成数据集，我们验证我们的模型可以准确地学习真实的强度函数。在真实世界的基准数据集上，我们的模型展示了最先进的基线的卓越性能。
translated by 谷歌翻译
Predicting discrete events in time and space has many scientific applications, such as predicting hazardous earthquakes and outbreaks of infectious diseases. History-dependent spatio-temporal Hawkes processes are often used to mathematically model these point events. However, previous approaches have faced numerous challenges, particularly when attempting to forecast one or multiple future events. In this work, we propose a new neural architecture for multi-event forecasting of spatio-temporal point processes, utilizing transformers, augmented with normalizing flows and probabilistic layers. Our network makes batched predictions of complex history-dependent spatio-temporal distributions of future discrete events, achieving state-of-the-art performance on a variety of benchmark datasets including the South California Earthquakes, Citibike, Covid-19, and Hawkes synthetic pinwheel datasets. More generally, we illustrate how our network can be applied to any dataset of discrete events with associated markers, even when no underlying physics is known.
translated by 谷歌翻译
人类活动产生的大量数据如在线购物，健康记录，空间移动性等。在连续时间内被存储为一系列事件。在这些序列中学习深度学习方法是一种非琐碎的任务，因为它涉及建模不断增加的活动时间戳，事件帧间时间间隙，事件类型以及事件之间的影响 - 在不同序列内和跨越不同序列之间的影响。这种情况进一步加剧了与数据收集相关的约束。有限的数据，不完整的序列，隐私限制等随着这项工作中描述的研究方向，我们的目的是研究连续时间事件序列（CTES）的性质和设计稳健但可扩展的基于神经网络的模型，以克服上述问题。在这项工作中，我们使用标记的时间点流程（MTPP）来解决事件的基础生成分发，以解决广泛的现实问题。此外，我们突出了拟议方法对最先进的基线，后来报告了正在进行的研究问题的疗效。
translated by 谷歌翻译
我们提出了一种新型的复发图网络（RGN）方法，用于通过学习潜在的复杂随机过程来预测离散标记的事件序列。使用点过程的框架，我们将标记的离散事件序列解释为各种唯一类型的不同序列的叠加。图网络的节点使用LSTM来合并过去的信息，而图形注意力网络（GAT网络）引入了强烈的电感偏见，以捕获这些不同类型的事件之间的相互作用。通过更改自我注意力的机制从过去的事件中参加活动，我们可以从$ \ MATHCAL {O}（n^2）$（事件总数）到$ \ Mathcal的时间和空间复杂性降低{o}（| \ Mathcal {y} |^2）$（事件类型的数量）。实验表明，与最新的基于最新的变压器架构相比，所提出的方法可以提高对数可能具有较低时间和空间复杂性的对数可能具有较低时间和空间复杂性的任务的性能。
translated by 谷歌翻译
We consider a sequential decision making problem where the agent faces the environment characterized by the stochastic discrete events and seeks an optimal intervention policy such that its long-term reward is maximized. This problem exists ubiquitously in social media, finance and health informatics but is rarely investigated by the conventional research in reinforcement learning. To this end, we present a novel framework of the model-based reinforcement learning where the agent's actions and observations are asynchronous stochastic discrete events occurring in continuous-time. We model the dynamics of the environment by Hawkes process with external intervention control term and develop an algorithm to embed such process in the Bellman equation which guides the direction of the value gradient. We demonstrate the superiority of our method in both synthetic simulator and real-world problem.
translated by 谷歌翻译
基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。
translated by 谷歌翻译
近年来，霍克斯进程的异步序列的知识是一个值得关注的主题，基于神经网络的鹰过程逐渐成为最热门研究的领域，特别是基于复发神经网络（RNN）。然而，这些模型仍然包含RNN的一些固有缺点，例如消失和爆炸梯度和长期依赖性问题。同时，基于自我关注的变压器在文本处理和语音识别等顺序建模中取得了巨大成功。虽然变压器鹰过程（THP）已经获得了巨大的性能改进，但是THP不会有效地利用异步事件中的时间信息，因为这些异步序列，事件发生时刻与事件的类型一样重要，而传统的THPS只是转换时间信息进入位置编码并将其添加为变压器的输入。考虑到这一点，我们提出了一种新型的基于变压器的霍克斯工艺模型，暂时关注增强变压器鹰过程（TAA-THP），我们修改了传统的DOT产品注意力结构，并介绍了关注结构的时间编码。我们对多种合成和现实生活数据集进行多项实验，以验证我们提出的TAA-THP模型的性能，与现有的基线模型相比，在不同测量上实现的显着改进，包括在测试数据集上的日志可能性，并预测事件类型的准确性和发生时间。此外，通过烧蚀研究，我们通过比较模型的性能和没有时间关注的模型的性能，生动地证明了引入额外的时间关注的优点。
translated by 谷歌翻译
异步事件序列广泛分布在自然界和人类活动中，例如地震记录，社交媒体中的用户活动等。如何蒸馏来自这些看似混乱的数据是研究人员专注的持久主题。最有用的模型之一是点过程模型，在此基础上，研究人员获得了许多明显的结果。此外，近年来，提出了神经网络基础的点过程模型，特别是复发性神经网络（RNN），并与传统模型进行比较，其性能大大提高。变压器模型的启发，可以有效地学习序列数据而无需反复和卷积结构，变压器鹰过程出现，并实现了最先进的性能。然而，有一些研究证明，转换变压器中的递归计算可以进一步提高变压器性能。因此，我们出现了一种新型的变压器鹰过程模型，通用变压器鹰过程（UTHP），其中包含递归机制和自我关注机制，并提高了模型的局部感知能力，我们还介绍了卷积神经网络（CNN）在位置方向前馈部分。我们对几个数据集进行实验，以验证UTHP的有效性，并在引入递归机制后探索变化。这些关于多个数据集的实验表明，与以前的最先进模型相比，我们提出的新模式的性能具有一定的改进。
translated by 谷歌翻译
准确性和可解释性是犯罪预测模型的两个基本属性。由于犯罪可能对人类生命，经济和安全的不利影响，我们需要一个可以尽可能准确地预测未来犯罪的模型，以便可以采取早期步骤来避免犯罪。另一方面，可解释的模型揭示了模型预测背后的原因，确保其透明度并允许我们相应地规划预防犯罪步骤。开发模型的关键挑战是捕获特定犯罪类别的非线性空间依赖和时间模式，同时保持模型的底层结构可解释。在本文中，我们开发AIST，一种用于犯罪预测的注意力的可解释的时空时间网络。基于过去的犯罪发生，外部特征（例如，流量流量和兴趣点（POI）信息）和犯罪趋势，AICT模拟了犯罪类别的动态时空相关性。广泛的实验在使用真实数据集的准确性和解释性方面表现出我们模型的优越性。
translated by 谷歌翻译
Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.
translated by 谷歌翻译
由于非平稳性，现实世界多变量时间序列（MTS）的分布会随着时间而变化，称为分布漂移。大多数现有的MT预测模型都会极大地遭受分销漂移的影响，并随着时间的推移降低了预测性能。现有方法通过适应最新到达数据或根据未来数据得出的元知识进行自我纠正来解决分布漂移。尽管在MT的预测中取得了巨大的成功，但这些方法几乎无法捕获固有的分布变化，尤其是从分布的角度来看。因此，我们提出了一个新型的框架时间条件变化自动编码器（TCVAE），以对MTS中历史观察结果和未来数据之间的动态分布依赖性进行建模，并将依赖性作为时间条件分布推断为利用潜在变量。具体而言，新型的颞鹰注意机制代表了随后馈入馈送前网络的时间因素，以估计潜在变量的先前高斯分布。时间因素的表示进一步动态地调整了基于变压器的编码器和解码器的结构，以利用门控注意机制来变化。此外，我们引入条件连续归一化流量，以将先前的高斯转化为复杂且无形式的分布，以促进对时间条件分布的灵活推断。在六个现实世界MTS数据集上进行的广泛实验表明，与最先进的MTS预测基线相比，TCVAE的出色鲁棒性和有效性。我们进一步说明了TCVAE通过多方面的案例研究和现实情况下的可视化来说明TCVAE的适用性。
translated by 谷歌翻译
网络欺骗是作为对攻击者和数据盗贼保卫网络和系统的有希望的方法。然而，尽管部署相对便宜，但由于丰富的互动欺骗技术在很大程度上被手动的事实，规模的现实内容的产生是非常昂贵的。随着最近的机器学习改进，我们现在有机会为创建逼真和诱惑模拟内容带来规模和自动化。在这项工作中，我们提出了一个框架，以便在规模上自动化电子邮件和即时消息风格组通信。组织内的这种消息传递平台包含私人通信和文档附件内的许多有价值的信息，使其成为对手的诱惑目标。我们解决了模拟此类系统的两个关键方面：与参与者进行沟通的何时何地和生成局部多方文本以填充模拟对话线程。我们将LognormMix-Net时间点流程作为一种方法，建立在Shchur等人的强度建模方法上。〜\ Cite {Shchur2019Ints}为单播和多铸造通信创建生成模型。我们展示了使用微调，预先训练的语言模型来生成令人信服的多方对话线程。通过将LognormMix-Net TPP（要生成通信时间戳，发件人和收件人）使用语言模型来模拟实时电子邮件服务器，该语言模型生成多方电子邮件线程的内容。我们对基于现实主义的数量的基于现实的属性评估生成的内容，这鼓励模型学会生成将引起对手的注意力来实现欺骗结果。
translated by 谷歌翻译
“轨迹”是指由地理空间中的移动物体产生的迹线，通常由一系列按时间顺序排列的点表示，其中每个点由地理空间坐标集和时间戳组成。位置感应和无线通信技术的快速进步使我们能够收集和存储大量的轨迹数据。因此，许多研究人员使用轨迹数据来分析各种移动物体的移动性。在本文中，我们专注于“城市车辆轨迹”，这是指城市交通网络中车辆的轨迹，我们专注于“城市车辆轨迹分析”。城市车辆轨迹分析提供了前所未有的机会，可以了解城市交通网络中的车辆运动模式，包括以用户为中心的旅行经验和系统范围的时空模式。城市车辆轨迹数据的时空特征在结构上相互关联，因此，许多先前的研究人员使用了各种方法来理解这种结构。特别是，由于其强大的函数近似和特征表示能力，深度学习模型是由于许多研究人员的注意。因此，本文的目的是开发基于深度学习的城市车辆轨迹分析模型，以更好地了解城市交通网络的移动模式。特别是，本文重点介绍了两项研究主题，具有很高的必要性，重要性和适用性：下一个位置预测，以及合成轨迹生成。在这项研究中，我们向城市车辆轨迹分析提供了各种新型模型，使用深度学习。
translated by 谷歌翻译
在这项工作中，我们通过仔细复制最新发布在已知文献基准上发布的NTPP模型，并将NTPP模型应用于新颖的现实世界中，并将其应用于新颖的现实世界，从而确定了应用神经时间点过程（NTPP）模型来应用于行业客户行为数据的开放研究机会消费者行为数据集是最大的公开NTPP基准的两倍。我们确定以下挑战。首先，NTPP模型尽管其生成性质仍然容易受到数据集失衡的影响，并且无法预测罕见事件。其次，尽管具有理论上的吸引力和文献基准的领先表现，但基于随机微分方程的NTPP模型并不能轻易地扩展到大型行业规模数据。前者是根据先前对深层生成模型的观察结果。此外，为了解决一个冷门问题，我们探索了NTPP模型的新颖添加 - 基于静态用户功能的参数化。
translated by 谷歌翻译
我们提出了一种建模不规则间隔的离散事件序列的方法。我们从变压器的连续时间变型开始，最初制定（Vaswani等，2017）用于没有时间戳的序列。我们在时间$ T $嵌入可能的事件（或其他布尔事实）通过注意在时间$ <T $（以及它们发生时为真实的事实）的事件上。我们使用模式匹配的逻辑规则来控制此关注，这些规则与共享与会者的事件和事实相关。这些规则确定将参加哪些先前的事件，以及如何将事件和事实的嵌入式转换为注意力查询，键和值。其他逻辑规则描述了如何以响应事件更改集事集。我们的方法密切关注Mei等人。 （2020A），并通过时间形式主义进行逻辑规则的时间正式主义。与那样一样，域专家首先写一组逻辑规则，每个逻辑规则在每次$ t $时都建立一个可能的事件和其他事实。每个可能的事件或其他事实都是使用从建立它的规则派生的神经结构嵌入。我们与Mei等人的唯一区别。 （2020A）是，我们得出了一个更平坦的关注的神经结构，而他们使用了更多的串行LSTM架构。我们发现我们的注意力的方法在Robocup数据集中表现得同样良好，逻辑规则在提高性能方面发挥着重要作用。我们还将这两种方法与两种以前的基于关注的方法进行了比较（Zuo等，2020; Zhang等，2020A），在没有逻辑规则的情况下更简单的合成和真实域，并发现我们所提出的方法至少是好的，而有时比其他三种方法中的每一种更好。
translated by 谷歌翻译