Hawkes processes have recently risen to the forefront of tools when it comes to modeling and generating sequential events data. Multidimensional Hawkes processes model both the self and cross-excitation between different types of events and have been applied successfully in various domain such as finance, epidemiology and personalized recommendations, among others. In this work we present an adaptation of the Frank-Wolfe algorithm for learning multidimensional Hawkes processes. Experimental results show that our approach has better or on par accuracy in terms of parameter estimation than other first order methods, while enjoying a significantly faster runtime.
translated by 谷歌翻译
霍克斯过程是一类特殊的时间点过程，表现出自然的因果关系，因为过去事件的发生可能会增加未来事件的可能性。在多维时间过程的维度之间发现潜在影响网络在学科中至关重要，在这些学科中，高频数据将模拟，例如在财务数据或地震数据中。本文处理了多维鹰派过程中学习Granger-Causal网络的问题。我们将此问题提出为模型选择任务，其中我们遵循最小描述长度（MDL）原理。此外，我们建议使用蒙特卡洛方法提出一种用于基于MDL的推理的一般算法，并将其用于因果发现问题。我们将算法与关于合成和现实世界财务数据的最新基线方法进行了比较。合成实验表明，与基线方法相比，与数据尺寸相比，我们方法不可能的图形发现的优势。 G-7债券价格数据的实验结果与专家知识一致。
translated by 谷歌翻译
现代医疗保健系统正在对电子病历（EMR）进行连续自动监视，以识别频率越来越多的不良事件；但是，许多败血症等事件都没有明确阐明前瞻性（即事件链），可用于识别和拦截它的早期不良事件。目前，尚无可靠的框架来发现或描述不良医院事件之前的因果链。临床上相关和可解释的结果需要一个框架，可以（1）推断在EMR数据中发现的多个患者特征（例如，实验室，生命体征等）中的时间相互作用，并且（2）可以识别（s）的模式（s）。到即将发生的不良事件（例如，败血症）。在这项工作中，我们提出了一个线性多元霍克斯进程模型，并与$ g（x）= x^+$链接函数结合起来允许潜在的抑制作用，以恢复Granger Causal（GC）图。我们开发了一个基于两阶段的方案，以最大程度地提高可能性的替代品以估计问题参数。该两相算法可扩展，并通过我们的数值模拟显示有效。随后将其扩展到佐治亚州亚特兰大的Grady医院系统的患者数据集，在那里，合适的Granger Causal图识别出败血症之前的几个高度可解释的链。
translated by 谷歌翻译
我们为时间事件数据提出了一个新的稀疏Granger-Causal学习框架。我们专注于一种称为Hawkes流程的特定点过程。我们首先指出，霍克斯工艺的大多数现有稀疏因果学习算法在最大似然估计中都具有奇异性。结果，它们的稀疏溶液只能显示为数值伪像。在本文中，我们提出了一个基于基于基数规范化的霍克斯过程的数学定义明确的稀疏因果学习框架，该过程可以纠正现有方法的病理问题。我们利用提出的算法来完成实例因果事件分析的任务，其中稀疏性起着至关重要的作用。我们使用两个真实用例验证了所提出的框架，一个来自电网，另一个来自云数据中心管理域。
translated by 谷歌翻译
在本文中，我们使用霍克斯过程来模拟失效序列，即压缩机站的事件，并对压缩机站的各种故障事件进行生存分析。然而，到目前为止，几乎所有相关文献的霍克斯点过程都假定条件强度函数的基本强度是时间不变。这种假设显然太苛刻了才能得到验证。例如，在实际应用中，包括财务分析，可靠性分析，生存分析和社会网络分析，真理条件强度函数的基本强度很可能是时变的。恒定基本强度不会反映随时间发生的故障的基本概率。因此，为了解决这个问题，在本文中，我们提出了一种新的时变基强度，例如，来自威布尔分布。首先，我们从Weibull分布介绍基本强度，然后我们通过最大似然估计器提出有效的学习算法。对恒基强度合成数据，时变基本强度合成数据和实际数据的实验表明，我们的方法可以同时和鲁棒地学习鹰过程和时变基强度的触发模式。真实世界数据的实验揭示了不同种类的失败的格兰杰因果关系和随着时间的推移变化的故障基础概率。
translated by 谷歌翻译
We estimate the general influence functions for spatio-temporal Hawkes processes using a tensor recovery approach by formulating the location dependent influence function that captures the influence of historical events as a tensor kernel. We assume a low-rank structure for the tensor kernel and cast the estimation problem as a convex optimization problem using the Fourier transformed nuclear norm (TNN). We provide theoretical performance guarantees for our approach and present an algorithm to solve the optimization problem. Moreover, we demonstrate the efficiency of our estimation with numerical simulations.
translated by 谷歌翻译
学习时空事件的动态是一个根本的问题。神经点过程提高了与深神经网络的点过程模型的表现。但是，大多数现有方法只考虑没有空间建模的时间动态。我们提出了深蓝点过程（DeepStpp），这是一款整合时空点流程的深层动力学模型。我们的方法灵活，高效，可以在空间和时间准确地预测不规则采样的事件。我们方法的关键构造是非参数时空强度函数，由潜在过程管理。强度函数享有密度的闭合形式集成。潜在进程捕获事件序列的不确定性。我们使用摊销变分推理来推断使用深网络的潜在进程。使用合成数据集，我们验证我们的模型可以准确地学习真实的强度函数。在真实世界的基准数据集上，我们的模型展示了最先进的基线的卓越性能。
translated by 谷歌翻译
时间点过程作为连续域的随机过程通常用于模拟具有发生时间戳的异步事件序列。由于深度神经网络的强烈表达性，在时间点过程的背景下，它们是捕获异步序列中的模式的有希望的选择。在本文中，我们首先审查了最近的研究强调和困难，在深处时间点过程建模异步事件序列，可以得出四个领域：历史序列的编码，条件强度函数的制定，事件的关系发现和学习方法优化。我们通过将其拆除进入四个部分来介绍最近提出的模型，并通过对公平实证评估的相同学习策略进行重新涂布前三个部分进行实验。此外，我们扩展了历史编码器和条件强度函数家族，并提出了一种GRANGER因果区发现框架，用于利用多种事件之间的关系。因为格兰杰因果关系可以由格兰杰因果关系图表示，所以采用分层推断框架中的离散图结构学习来揭示图的潜在结构。进一步的实验表明，具有潜在图表发现的提议框架可以捕获关系并实现改进的拟合和预测性能。
translated by 谷歌翻译
在过去的几年中，霍克斯流程的在线学习受到了越来越多的关注，尤其是用于建模演员网络。但是，这些作品通常会模拟事件或参与者的潜在群集之间的丰富相互作用，或者是参与者之间的网络结构。我们建议对参与者网络的潜在结构进行建模，以及在现实世界中的医疗和财务应用环境中进行的丰富互动。合成和现实世界数据的实验结果展示了我们方法的功效。
translated by 谷歌翻译
这项工作引入了一种新颖的多变量时间点过程，部分均值行为泊松（PMBP）过程，可以利用以将多变量霍克斯过程适合部分间隔删除的数据，该数据包括在尺寸和间隔子集上的事件时间戳的混合中组成的数据。 - 委员会互补尺寸的事件计数。首先，我们通过其条件强度定义PMBP过程，并导出子临界性的规律性条件。我们展示了鹰过程和MBP过程（Rizoiu等人）是PMBP过程的特殊情况。其次，我们提供了能够计算PMBP过程的条件强度和采样事件历史的数字方案。第三，我们通过使用合成和现实世界数据集来证明PMBP过程的适用性：我们测试PMBP过程的能力，以恢复多变量霍克参数给出鹰过程的样本事件历史。接下来，我们在YouTube流行预测任务上评估PMBP过程，并表明它优于当前最先进的鹰强度过程（Rizoiu等人。（2017b））。最后，在Covid19的策划数据集上，关于国家样本的Covid19每日案例计数和Covid19相关的新闻文章，我们展示了PMBP拟合参数上的聚类使各国的分类能够分类案件和新闻的国家级互动报告。
translated by 谷歌翻译
本文提出了弗兰克 - 沃尔夫（FW）的新变种，称为$ k $ fw。标准FW遭受缓慢的收敛性：迭代通常是Zig-zag作为更新方向振荡约束集的极端点。新变种，$ k $ fw，通过在每次迭代中使用两个更强的子问题oracelles克服了这个问题。第一个是$ k $线性优化Oracle（$ k $ loo），计算$ k $最新的更新方向（而不是一个）。第二个是$ k $方向搜索（$ k $ ds），最大限度地减少由$ k $最新更新方向和之前迭代表示的约束组的目标。当问题解决方案承认稀疏表示时，奥克斯都易于计算，而且$ k $ FW会迅速收敛，以便平滑凸起目标和几个有趣的约束集：$ k $ fw实现有限$ \ frac {4l_f ^ 3d ^} { \ Gamma \ Delta ^ 2} $融合在多台和集团规范球上，以及光谱和核规范球上的线性收敛。数值实验验证了$ k $ fw的有效性，并展示了现有方法的数量级加速。
translated by 谷歌翻译
Mixtures of von Mises-Fisher distributions can be used to cluster data on the unit hypersphere. This is particularly adapted for high-dimensional directional data such as texts. We propose in this article to estimate a von Mises mixture using a l 1 penalized likelihood. This leads to sparse prototypes that improve clustering interpretability. We introduce an expectation-maximisation (EM) algorithm for this estimation and explore the trade-off between the sparsity term and the likelihood one with a path following algorithm. The model's behaviour is studied on simulated data and, we show the advantages of the approach on real data benchmark. We also introduce a new data set on financial reports and exhibit the benefits of our method for exploratory analysis.
translated by 谷歌翻译
在评估目标时，在线优化嘈杂的功能需要在部署系统上进行实验，这是制造，机器人技术和许多其他功能的关键任务。通常，对安全输入的限制是未知的，我们只会获得嘈杂的信息，表明我们违反约束的距离有多近。但是，必须始终保证安全性，不仅是算法的最终输出。我们介绍了一种通用方法，用于在高维非线性随机优化问题中寻求一个固定点，其中在学习过程中保持安全至关重要。我们称为LB-SGD的方法是基于应用随机梯度下降（SGD），其精心选择的自适应步长大小到原始问题的对数屏障近似。我们通过一阶和零阶反馈提供了非凸，凸面和强键平滑约束问题的完整收敛分析。与现有方法相比，我们的方法通过维度可以更好地更新和比例。我们从经验上将样本复杂性和方法的计算成本比较现有的安全学习方法。除了合成基准测试之外，我们还证明了方法对在安全强化学习（RL）中政策搜索任务中最大程度地减少限制违规的有效性。
translated by 谷歌翻译
建模和预测太阳能事件，尤其是太阳渐变事件，对于提高太阳能发电系统的情境意识至关重要。人们已经认识到，温度，湿度和云密度等天气条件会显着影响太阳渐变事件的出现和位置。结果，用复杂的时空相关性对这些事件进行建模是高度挑战性的。为了解决这个问题，我们采用了一种新颖的时空分类点过程模型，该模型可以直观有效地解决渐变事件之间的相关性和相互作用。我们在广泛的真实数据实验中证明了模型的解释性和预测能力。
translated by 谷歌翻译
提出了一种新的动态网络模型，称为相互刺激的点处理图（MEG）。 MEG是一种可扩展的网络范围统计模型，用于多达数码标记的点进程，可用于评估未来事件的重要事件时，包括以前未观察到的连接的异常检测。该模型组合了互励磁点过程来估计事件和潜在空间模型之间的依赖性，以推断节点之间的关系。每个网络边缘的强度函数专用于节点特定参数参数，允许跨网络共享信息。这种结构甚至可以估计强度，即使对于未被观察的边缘，这在现实世界中尤其重要，例如网络安全中产生的计算机网络。获得了日志似然的递归形式，用于通过现代梯度上升算法推导快速推理过程。也导出了EM算法。该模型在模拟图和现实世界数据集上进行测试，展示出色的性能。
translated by 谷歌翻译
广义自我符合是许多重要学习问题的目标功能中存在的关键属性。我们建立了一个简单的Frank-Wolfe变体的收敛速率，该变体使用开环步数策略$ \ gamma_t = 2/（t+2）$，获得了$ \ Mathcal {o}（1/t）$收敛率对于这类功能，就原始差距和弗兰克 - 沃尔夫差距而言，$ t $是迭代计数。这避免了使用二阶信息或估计以前工作的局部平滑度参数的需求。我们还显示了各种常见病例的收敛速率的提高，例如，当所考虑的可行区域均匀地凸或多面体时。
translated by 谷歌翻译
在稀疏线性建模 - 最佳子集选择中，研究了一个看似意外的，相对不太理解的基本工具的过度选择，这最小化了对非零系数的约束的限制的剩余平方和。虽然当信噪比（SNR）高时，最佳子集选择过程通常被视为稀疏学习中的“黄金标准”，但是当SNR低时，其预测性能会恶化。特别是，它通过连续收缩方法而言，例如脊回归和套索。我们研究了高噪声制度中最佳子集选择的行为，并提出了一种基于最小二乘标准的正则化版本的替代方法。我们提出的估算员（a）在很大程度上减轻了高噪声制度的最佳次集选择的可预测性能差。 （b）相对于通过脊回归和套索的最佳预测模型，通常递送大幅稀疏模型的同时表现出有利的。我们对所提出的方法的预测性质进行广泛的理论分析，并在噪声水平高时提供相对于最佳子集选择的优越预测性能的理由。我们的估算器可以表达为混合整数二阶圆锥优化问题的解决方案，因此，来自数学优化的现代计算工具可供使用。
translated by 谷歌翻译
在本文中，我们提出了近似的Frank-Wolfe（FW）算法，以在\ textit {线性最小化oracle}（LMO）一般不能有效地获得图形结构的支持集上解决凸的优化问题。我们首先证明了两个流行的近似假设（\ textIt {addive}和\ textit {乘法差距错误）}，对于我们的问题而言无效，因为一般不存在便宜的间隙 - 差异lmo oracle。取而代之的是，提出了一个新的\ textit {近似双重最大化oracle}（dmo），该（DMO）近似于内部产品而不是间隙。当目标为$ l $ -smooth时，我们证明了使用$ \ delta $ -Approximate DMO的标准FW方法收敛为$ \ Mathcal {o}（l / \ delta t +（1- \ delta）（\ delta）（\ delta）一般而言放松约束集。此外，当目标为$ \ mu $ -sronglongly凸面并且该解决方案是唯一的，FW的变体收敛到$ \ Mathcal {o}（l^2 \ log log（t）/（\ mu \ mu \ delta^6 T^） 2））$具有相同的触电复杂性。我们的经验结果表明，即使这些改进的界限也是悲观的，在恢复具有图形结构稀疏性的现实世界图像方面，有了显着改善。
translated by 谷歌翻译
通过人类活动（例如在线购买，健康记录，空间流动性等）生成的大量数据可以在连续时间内表示为一系列事件。在这些连续的时间事件序列上学习深度学习模型是一项非平凡的任务，因为它涉及建模不断增加的事件时间戳，活动间时间差距，事件类型以及不同序列内部和跨不同序列之间的不同事件之间的影响。近年来，对标记的时间点过程（MTPP）的神经增强功能已成为一种强大的框架，以模拟连续时间内定位的异步事件的基本生成机制。但是，MTPP框架中的大多数现有模型和推理方法仅考虑完整的观察方案，即所建模的事件序列是完全观察到的，没有丢失的事件 - 理想的设置很少适用于现实世界应用程序。最近考虑的事件的最新工作是在培训MTPP时采用监督的学习技术，这些技术需要以序列的方式了解每个事件的丢失或观察标签，这进一步限制了其实用性，因为在几种情况下，缺失事件的细节是不知道的apriori 。在这项工作中，我们提供了一种新颖的无监督模型和推理方法，用于在存在事件序列的情况下学习MTPP。具体而言，我们首先使用两个MTPP模拟观察到的事件和缺失事件的生成过程，其中缺少事件表示为潜在的随机变量。然后，我们设计了一种无监督的训练方法，该方法通过变异推断共同学习MTPP。这样的公式可以有效地将丢失的数据归为观察到的事件，并可以在序列中确定缺失事件的最佳位置。
translated by 谷歌翻译
越来越多的间歇可再生能源的整合，特别是在分配水平，需要对TheGrid的知识而设计的先进规划和优化方法，特别是捕获电网拓扑和线参数的进入矩阵。然而，对进入矩阵的可靠估计可以丢失或迅速地过时用于时间变化网格。在这项工作中，我们提出了利用从微量PMU收集的电压和电流测量的数据驱动的识别方法。更确切地说，我们首先呈现最大的似然方法，然后朝着贝叶斯框架移动，利用最大后验估计的原则。与大多数现有的Con-Tribution相比，我们的方法不仅是电压和电流数据上的测量噪声中的因素，而且还能够利用可用的先验信息，例如稀疏性模式和已知的列表参数。在基准案件上进行的模拟表明，与储藏仪相比，我们的方法可以实现明显更大的准确性。
translated by 谷歌翻译