我们为时间事件数据提出了一个新的稀疏Granger-Causal学习框架。我们专注于一种称为Hawkes流程的特定点过程。我们首先指出，霍克斯工艺的大多数现有稀疏因果学习算法在最大似然估计中都具有奇异性。结果，它们的稀疏溶液只能显示为数值伪像。在本文中，我们提出了一个基于基于基数规范化的霍克斯过程的数学定义明确的稀疏因果学习框架，该过程可以纠正现有方法的病理问题。我们利用提出的算法来完成实例因果事件分析的任务，其中稀疏性起着至关重要的作用。我们使用两个真实用例验证了所提出的框架，一个来自电网，另一个来自云数据中心管理域。

在本文中，我们使用霍克斯过程来模拟失效序列，即压缩机站的事件，并对压缩机站的各种故障事件进行生存分析。然而，到目前为止，几乎所有相关文献的霍克斯点过程都假定条件强度函数的基本强度是时间不变。这种假设显然太苛刻了才能得到验证。例如，在实际应用中，包括财务分析，可靠性分析，生存分析和社会网络分析，真理条件强度函数的基本强度很可能是时变的。恒定基本强度不会反映随时间发生的故障的基本概率。因此，为了解决这个问题，在本文中，我们提出了一种新的时变基强度，例如，来自威布尔分布。首先，我们从Weibull分布介绍基本强度，然后我们通过最大似然估计器提出有效的学习算法。对恒基强度合成数据，时变基本强度合成数据和实际数据的实验表明，我们的方法可以同时和鲁棒地学习鹰过程和时变基强度的触发模式。真实世界数据的实验揭示了不同种类的失败的格兰杰因果关系和随着时间的推移变化的故障基础概率。

这项工作引入了一种新颖的多变量时间点过程，部分均值行为泊松（PMBP）过程，可以利用以将多变量霍克斯过程适合部分间隔删除的数据，该数据包括在尺寸和间隔子集上的事件时间戳的混合中组成的数据。 - 委员会互补尺寸的事件计数。首先，我们通过其条件强度定义PMBP过程，并导出子临界性的规律性条件。我们展示了鹰过程和MBP过程（Rizoiu等人）是PMBP过程的特殊情况。其次，我们提供了能够计算PMBP过程的条件强度和采样事件历史的数字方案。第三，我们通过使用合成和现实世界数据集来证明PMBP过程的适用性：我们测试PMBP过程的能力，以恢复多变量霍克参数给出鹰过程的样本事件历史。接下来，我们在YouTube流行预测任务上评估PMBP过程，并表明它优于当前最先进的鹰强度过程（Rizoiu等人。（2017b））。最后，在Covid19的策划数据集上，关于国家样本的Covid19每日案例计数和Covid19相关的新闻文章，我们展示了PMBP拟合参数上的聚类使各国的分类能够分类案件和新闻的国家级互动报告。

霍克斯过程是一类特殊的时间点过程，表现出自然的因果关系，因为过去事件的发生可能会增加未来事件的可能性。在多维时间过程的维度之间发现潜在影响网络在学科中至关重要，在这些学科中，高频数据将模拟，例如在财务数据或地震数据中。本文处理了多维鹰派过程中学习Granger-Causal网络的问题。我们将此问题提出为模型选择任务，其中我们遵循最小描述长度（MDL）原理。此外，我们建议使用蒙特卡洛方法提出一种用于基于MDL的推理的一般算法，并将其用于因果发现问题。我们将算法与关于合成和现实世界财务数据的最新基线方法进行了比较。合成实验表明，与基线方法相比，与数据尺寸相比，我们方法不可能的图形发现的优势。 G-7债券价格数据的实验结果与专家知识一致。

现代医疗保健系统正在对电子病历（EMR）进行连续自动监视，以识别频率越来越多的不良事件；但是，许多败血症等事件都没有明确阐明前瞻性（即事件链），可用于识别和拦截它的早期不良事件。目前，尚无可靠的框架来发现或描述不良医院事件之前的因果链。临床上相关和可解释的结果需要一个框架，可以（1）推断在EMR数据中发现的多个患者特征（例如，实验室，生命体征等）中的时间相互作用，并且（2）可以识别（s）的模式（s）。到即将发生的不良事件（例如，败血症）。在这项工作中，我们提出了一个线性多元霍克斯进程模型，并与$ g（x）= x^+$链接函数结合起来允许潜在的抑制作用，以恢复Granger Causal（GC）图。我们开发了一个基于两阶段的方案，以最大程度地提高可能性的替代品以估计问题参数。该两相算法可扩展，并通过我们的数值模拟显示有效。随后将其扩展到佐治亚州亚特兰大的Grady医院系统的患者数据集，在那里，合适的Granger Causal图识别出败血症之前的几个高度可解释的链。

时间点过程作为连续域的随机过程通常用于模拟具有发生时间戳的异步事件序列。由于深度神经网络的强烈表达性，在时间点过程的背景下，它们是捕获异步序列中的模式的有希望的选择。在本文中，我们首先审查了最近的研究强调和困难，在深处时间点过程建模异步事件序列，可以得出四个领域：历史序列的编码，条件强度函数的制定，事件的关系发现和学习方法优化。我们通过将其拆除进入四个部分来介绍最近提出的模型，并通过对公平实证评估的相同学习策略进行重新涂布前三个部分进行实验。此外，我们扩展了历史编码器和条件强度函数家族，并提出了一种GRANGER因果区发现框架，用于利用多种事件之间的关系。因为格兰杰因果关系可以由格兰杰因果关系图表示，所以采用分层推断框架中的离散图结构学习来揭示图的潜在结构。进一步的实验表明，具有潜在图表发现的提议框架可以捕获关系并实现改进的拟合和预测性能。

Granger因果关系（GC）检验是一种著名的统计假设检验，用于研究一个时期的过去是否影响了另一个时间的未来。它有助于回答一个问题序列是否有助于预测。 Granger因果关系检测的标准传统方法通常假设线性动力学，但是这种简化在许多现实世界应用中不存在，例如，神经科学或基因组学本质上是非线性的。在这种情况下，施加线性模型，例如向量自回旋（VAR）模型可能会导致对真正的Granger因果相互作用的不一致估计。机器学习（ML）可以学习数据集中的隐藏模式（DL）在学习复杂系统的非线性动力学方面表现出巨大的希望。 Tank等人的最新工作建议通过使用神经网络结合对可学习的权重的稀疏性惩罚来克服VAR模型中线性简化的问题。在这项工作中，我们基于Tank等人引入的想法。我们提出了几类新的模型，这些模型可以处理潜在的非线性。首先，我们介绍了学识渊博的内核var（lekvar）模型 - var模型的扩展，这些模型也学习了通过神经网络参数的内核。其次，我们表明可以通过脱钩的惩罚直接将滞后和单个时间序列的重要性分解。这种去耦提供了更好的缩放，并使我们可以将滞后选择嵌入RNN中。最后，我们提出了一种支持迷你批次的新培训算法，并且它与常用的自适应优化器（例如Adam）兼容。癫痫患者的电脑电图（EEG）数据研究了在19个EEG通道之前，期间和之后的GC演变。

Neyman-Scott过程是COX过程的特殊情况。潜在和可观察的随机过程均为泊松过程。我们考虑了本文的深度Neyman-Scott过程，其中网络的建筑组件是所有泊松过程。我们通过Markov Chain Monte Carlo开发了一种高效的后部抽样，并使用它来实现基于可能性的推断。我们的方法为复杂的分层点流程推断出来的空间。我们在实验中展示了更多隐藏的泊松过程为似然拟合和事件类型预测带来了更好的性能。我们还将我们的方法与最先进的模式进行了用于时间现实世界数据集的方法，并使用较少的参数展示数据拟合和预测的竞争能力。

指数族在机器学习中广泛使用，包括连续和离散域中的许多分布（例如，通过SoftMax变换，Gaussian，Dirichlet，Poisson和分类分布）。这些家庭中的每个家庭的分布都有固定的支持。相比之下，对于有限域而言，最近在SoftMax稀疏替代方案（例如Sparsemax，$ \ alpha $ -entmax和Fusedmax）的稀疏替代方案中导致了带有不同支持的分布。本文基于几种技术贡献，开发了连续分布的稀疏替代方案：首先，我们定义了$ \ omega $ regultion的预测图和任意域的Fenchel-young损失（可能是无限或连续的）。对于线性参数化的家族，我们表明，Fenchel-Young损失的最小化等效于统计的矩匹配，从而概括了指数家族的基本特性。当$ \ omega $是带有参数$ \ alpha $的Tsallis negentropy时，我们将获得````trabormed rompential指数）''，其中包括$ \ alpha $ -entmax和sparsemax和sparsemax（$ \ alpha = 2 $）。对于二次能量函数，产生的密度为$ \ beta $ -Gaussians，椭圆形分布的实例，其中包含特殊情况，即高斯，双重量级，三人级和epanechnikov密度，我们为差异而得出了差异的封闭式表达式， Tsallis熵和Fenchel-Young损失。当$ \ Omega $是总变化或Sobolev正常化程序时，我们将获得Fusedmax的连续版本。最后，我们引入了连续的注意机制，从\ {1、4/3、3/3、3/2、2 \} $中得出有效的梯度反向传播算法。使用这些算法，我们证明了我们的稀疏连续分布，用于基于注意力的音频分类和视觉问题回答，表明它们允许参加时间间隔和紧凑区域。

本文解决了解释黑框回归模型异常预测的任务。当使用黑框模型（例如从许多传感器测量值中预测能源消耗的一个模型）时，我们通常会有某些观察到的样品可能会显着偏离其预测的情况。这可能是由于亚最佳黑盒模型，或仅仅​​是因为这些样品是异常值。无论哪种情况，理想情况下都希望计算``责任分数''，以指示输入变量负责异常输出的程度。在这项工作中，我们将此任务形式化为一个统计逆问题：给定模型偏离预期值，推断每个输入变量的责任分数。我们提出了一种称为似然补偿（LC）的新方法，该方法基于可能性原理，并计算对每个输入变量的校正。据我们所知，这是第一个计算实际有价值异常模型偏差的责任分数的原则性框架。我们将方法应用于现实世界中的建筑能源预测任务，并根据专家反馈确认其实用性。

Continuous, automated surveillance systems that incorporate machine learning models are becoming increasingly common in healthcare environments. These models can capture temporally dependent changes across multiple patient variables and can enhance a clinician's situational awareness by providing an early warning alarm of an impending adverse event such as sepsis. However, most commonly used methods, e.g., XGBoost, fail to provide an interpretable mechanism for understanding why a model produced a sepsis alarm at a given time. The ``black box'' nature of many models is a severe limitation as it prevents clinicians from independently corroborating those physiologic features that have contributed to the sepsis alarm. To overcome this limitation, we propose a generalized linear model (GLM) approach to fit a Granger causal graph based on the physiology of several major sepsis-associated derangements (SADs). We adopt a recently developed stochastic monotone variational inequality (VI)-based estimator coupled with forwarding feature selection to learn the graph structure from both continuous and discrete-valued as well as regularly and irregularly sampled time series. Theoretically, we develop a non-asymptotic upper bound on the estimation error for any monotone link function in the GLM. Using synthetic and real-data examples, we demonstrate that the proposed method enjoys result interpretability while achieving comparable performance to popular methods such as XGBoost.

从观察到的数据中推断因果结构在揭示系统的基本动力学方面起着关键作用。本文揭示了一种新的方法，称为多阶段 - 造成结构学习（MS-Castle），以估计在不同时间尺度上发生的线性因果关系的结构。与现有方法不同，MS-Castle明确考虑了多个时间序列之间的即时和滞后相互关系，以不同的尺度表示，呈现固定小波变换和非凸线优化。 MS-Castle将其作为特殊情况融合了一个名为SS-Castle的单个尺度版本，该版本在计算效率，性能和鲁棒性方面相对于合成数据而言是有利的。我们使用MS-Castle研究了Covid-19-19大流行期间15个全球股票市场风险的多阶段因果结构，这说明了MS-Castle如何通过其多尺度分析（优于SS-Castle）提取有意义的信息。我们发现，最持久和最强烈的互动发生在中期决议。此外，我们确定了在经过考虑的时期内推动风险的股票市场：巴西，加拿大和意大利。拟议的方法可以由金融投资者利用，这些投资者取决于其投资视野，可以从因果关系的角度管理股票投资组合中的风险。

本文为工程产品的计算模型或仅返回分类信息的过程提供了一种新的高效和健壮方法，用于罕见事件概率估计，例如成功或失败。对于此类模型，大多数用于估计故障概率的方法，这些方法使用结果的数值来计算梯度或估计与故障表面的接近度。即使性能函数不仅提供了二进制输出，系统的状态也可能是连续输入变量域中定义的不平滑函数，甚至是不连续的函数。在这些情况下，基于经典的梯度方法通常会失败。我们提出了一种简单而有效的算法，该算法可以从随机变量的输入域进行顺序自适应选择点，以扩展和完善简单的基于距离的替代模型。可以在连续采样的任何阶段完成两个不同的任务：（i）估计失败概率，以及（ii）如果需要进一步改进，则选择最佳的候选者进行后续模型评估。选择用于模型评估的下一个点的建议标准最大化了使用候选者分类的预期概率。因此，全球探索与本地剥削之间的完美平衡是自动维持的。该方法可以估计多种故障类型的概率。此外，当可以使用模型评估的数值来构建平滑的替代物时，该算法可以容纳此信息以提高估计概率的准确性。最后，我们定义了一种新的简单但一般的几何测量，这些测量是对稀有事实概率对单个变量的全局敏感性的定义，该度量是作为所提出算法的副产品获得的。

Multivariate Hawkes processes are temporal point processes extensively applied to model event data with dependence on past occurrences and interaction phenomena. In the generalised nonlinear model, positive and negative interactions between the components of the process are allowed, therefore accounting for so-called excitation and inhibition effects. In the nonparametric setting, learning the temporal dependence structure of Hawkes processes is often a computationally expensive task, all the more with Bayesian estimation methods. In general, the posterior distribution in the nonlinear Hawkes model is non-conjugate and doubly intractable. Moreover, existing Monte-Carlo Markov Chain methods are often slow and not scalable to high-dimensional processes in practice. Recently, efficient algorithms targeting a mean-field variational approximation of the posterior distribution have been proposed. In this work, we unify existing variational Bayes inference approaches under a general framework, that we theoretically analyse under easily verifiable conditions on the prior, the variational class, and the model. We notably apply our theory to a novel spike-and-slab variational class, that can induce sparsity through the connectivity graph parameter of the multivariate Hawkes model. Then, in the context of the popular sigmoid Hawkes model, we leverage existing data augmentation technique and design adaptive and sparsity-inducing mean-field variational methods. In particular, we propose a two-step algorithm based on a thresholding heuristic to select the graph parameter. Through an extensive set of numerical simulations, we demonstrate that our approach enjoys several benefits: it is computationally efficient, can reduce the dimensionality of the problem by selecting the graph parameter, and is able to adapt to the smoothness of the underlying parameter.

我们提出了对学度校正随机块模型（DCSBM）的合适性测试。该测试基于调整后的卡方统计量，用于测量$ n $多项式分布的组之间的平等性，该分布具有$ d_1，\ dots，d_n $观测值。在网络模型的背景下，多项式的数量（$ n $）的数量比观测值数量（$ d_i $）快得多，与节点$ i $的度相对应，因此设置偏离了经典的渐近学。我们表明，只要$ \ {d_i \} $的谐波平均值生长到无穷大，就可以使统计量在NULL下分配。顺序应用时，该测试也可以用于确定社区数量。该测试在邻接矩阵的压缩版本上进行操作，因此在学位上有条件，因此对大型稀疏网络具有高度可扩展性。我们结合了一个新颖的想法，即在测试$ K $社区时根据$（k+1）$ - 社区分配来压缩行。这种方法在不牺牲计算效率的情况下增加了顺序应用中的力量，我们证明了它在恢复社区数量方面的一致性。由于测试统计量不依赖于特定的替代方案，因此其效用超出了顺序测试，可用于同时测试DCSBM家族以外的各种替代方案。特别是，我们证明该测试与具有社区结构的潜在可变性网络模型的一般家庭一致。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

象征性的AI社区越来越多地试图在神经符号结构中接受机器学习，但由于文化障碍，仍在挣扎。为了打破障碍，这份相当有思想的个人备忘录试图解释和纠正统计，机器学习和深入学习的惯例，从局外人的角度进行深入学习。它提供了一个分步协议，用于设计一个机器学习系统，该系统满足符号AI社区认真对待所必需的最低理论保证，即，它讨论“在哪些条件下，我们可以停止担心和接受统计机器学习。 “一些亮点：大多数教科书都是为计划专门研究STAT/ML/DL的人编写的，应该接受术语。该备忘录适用于经验丰富的象征研究人员，他们听到了很多嗡嗡声，但仍然不确定和持怀疑态度。有关STAT/ML/DL的信息目前太分散或嘈杂而无法投资。此备忘录优先考虑紧凑性，并特别注意与象征性范式相互共鸣的概念。我希望这份备忘录能节省时间。它优先考虑一般数学建模，并且不讨论任何特定的函数近似器，例如神经网络（NNS），SVMS，决策树等。它可以对校正开放。将此备忘录视为与博客文章相似的内容，采用有关Arxiv的论文的形式。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.