时空时间序列的神经预测推动了几个相关应用领域的研究和工业创新。图神经网络(GNN)通常是预测体系结构的核心组成部分。但是,在大多数时空gnns中,计算复杂度比序列时间长度缩放到二次因子,图中链接的数量是图中的链接数,因此阻碍了这些模型在大图和长时间序列中的应用。尽管在静态图的背景下提出了提高可伸缩性的方法,但很少有研究工作专门用于时空情况。为了填补这一空白,我们提出了一个可扩展的体系结构,该体系结构利用了时间和空间动力学的有效编码。特别是,我们使用一个随机的复发神经网络将输入时间序列的历史嵌入到包括多尺度时间动力学的高维状态表示中。然后,使用图形邻接矩阵的不同功率沿空间维度沿空间维度传播,以生成以富含时空特征池的特征的节点嵌入。可以在不监督的方式中有效地预先计算所得的节点嵌入,然后将其馈送到馈送前向解码器,该解码器学会映射多尺度时空表示形式为预测。然后,可以通过对节点的嵌入而无需破坏任何依赖性,从而使训练过程在节点方面并行化,从而可以对大型网络进行可扩展性。相关数据集的经验结果表明,我们的方法可以与最新技术的状态竞争,同时大大减轻了计算负担。
translated by 谷歌翻译
Outstanding achievements of graph neural networks for spatiotemporal time series analysis show that relational constraints introduce an effective inductive bias into neural forecasting architectures. Often, however, the relational information characterizing the underlying data-generating process is unavailable and the practitioner is left with the problem of inferring from data which relational graph to use in the subsequent processing stages. We propose novel, principled - yet practical - probabilistic score-based methods that learn the relational dependencies as distributions over graphs while maximizing end-to-end the performance at task. The proposed graph learning framework is based on consolidated variance reduction techniques for Monte Carlo score-based gradient estimation, is theoretically grounded, and, as we show, effective in practice. In this paper, we focus on the time series forecasting problem and show that, by tailoring the gradient estimators to the graph learning problem, we are able to achieve state-of-the-art performance while controlling the sparsity of the learned graph and the computational scalability. We empirically assess the effectiveness of the proposed method on synthetic and real-world benchmarks, showing that the proposed solution can be used as a stand-alone graph identification procedure as well as a graph learning component of an end-to-end forecasting architecture.
translated by 谷歌翻译
高吞吐量数据处理应用的高效硬件加速器设计,例如深度神经网络,是计算机架构设计中有挑战性的任务。在这方面,高级合成(HLS)作为快速原型设计的解决方案,从应用程序计算流程的行为描述开始。这种设计空间探索(DSE)旨在识别帕累托最佳的合成配置,其穷举搜索由于设计空间维度和合成过程的禁止计算成本而往往不可行。在该框架内,我们通过提出在文献中,有效和有效地解决了设计问题图形神经网络,该神经网络共同预测了合成的行为规范的加速性能和硬件成本给出了优化指令。考虑到性能和成本估计,学习模型可用于通过引导DSE来快速接近帕累托曲线。所提出的方法优于传统的HLS驱动DSE方法,通过考虑任意长度的计算机程序和输入的不变特性。我们提出了一种新颖的混合控制和数据流图表示,可以在不同硬件加速器的规格上培训图形神经网络;该方法自然地转移到解除数据处理应用程序。此外,我们表明我们的方法实现了与常用模拟器的预测准确性相当,而无需访问HLS编译器和目标FPGA的分析模型,同时是更快的数量级。最后,通过微调来自新目标域的少量样本,可以在未开发的配置空间中解放所学习的表示。
translated by 谷歌翻译
图表神经网络(GNN)基于故障诊断(FD)近年来收到了越来越多的关注,因为来自来自多个应用域的数据可以有利地表示为图。实际上,与传统的FD方法相比,这种特殊的代表性表格导致了卓越的性能。在本次审查中,给出了GNN,对故障诊断领域的潜在应用以及未来观点的简单介绍。首先,通过专注于它们的数据表示,即时间序列,图像和图形,回顾基于神经网络的FD方法。其次,引入了GNN的基本原则和主要架构,注意了图形卷积网络,图注意网络,图形样本和聚合,图形自动编码器和空间 - 时间图卷积网络。第三,通过详细实验验证基于GNN的最相关的故障诊断方法,结论是基于GNN的方法可以实现良好的故障诊断性能。最后,提供了讨论和未来的挑战。
translated by 谷歌翻译
基于Q学习的强化学习算法正在推动深入的强化学习(DRL)研究,以解决复杂的问题并在其中许多方面实现超人的表现。然而,已知Q学习是积极偏见的,因为它通过使用最大值的期望值噪声估计来学习。对动作值的系统高估与DRL方法的固有较高方差相结合会导致逐渐积累的错误,从而导致学习算法的差异。理想情况下,我们希望DRL代理人考虑到他们对每个动作的最佳性的不确定性,并能够利用它以对预期收益进行更明智的估计。在这方面,加权Q学习(WQL)有效地减少了偏见,并在随机环境中显示出显着的结果。 WQL使用估计动作值的加权总和,其中权重对应于每个动作值的概率为最大值。但是,这些概率的计算仅在表格设置中是实用的。在这项工作中,我们通过使用接受辍学训练的神经网络作为深豪斯过程的有效近似,从而提供了方法上的进步,以从DRL中的WQL属性中受益。特别是,我们采用具体的辍学变体来获得DRL认知不确定性的校准估计值。然后,通过采取几个随机前向通过动作值网络并以蒙特卡洛的方式计算权重来获得估计器。这样的权重是对应于最大W.R.T.的每个动作值的概率的贝叶斯估计。通过辍学估计的后验概率分布。我们展示了我们的新颖加权Q学习算法如何减少偏见W.R.T.相关基线,并提供了其在代表性基准方面的优势的经验证据。
translated by 谷歌翻译
我们介绍和分析结构化的随机零订单下降(S-SZD),这是一种有限的差异方法,该方法在一组$ l \ leq d $正交方向上近似于随机梯度,其中$ d $是环境空间的维度。这些方向是随机选择的,并且可能在每个步骤中发生变化。对于平滑的凸功能,我们几乎可以确保迭代的收敛性和对$ o(d/l k^{ - c})$的功能值的收敛速率,每$ c <1/2 $,这是任意关闭的就迭代次数而言,是随机梯度下降(SGD)。我们的界限还显示了使用$ l $多个方向而不是一个方向的好处。对于满足polyak-{\ l} ojasiewicz条件的非convex函数,我们在这种假设下建立了随机Zeroth Order Order Order算法的第一个收敛速率。我们在数值模拟中证实了我们的理论发现,在数值模拟中,满足假设以及对超参数优化的现实世界问题,观察到S-SZD具有很好的实践性能。
translated by 谷歌翻译
本文介绍了多智能体增强学习(MARL)在医学成像中执行3D解剖卷中的导航。我们利用神经风格转移来创建合成计算机断层扫描(CT)代理体房环境,并评估我们代理商的普遍性能力至临床CT卷。我们的框架不需要任何标记的临床数据,并通过多种图像翻译技术轻松集成,从而实现跨模式应用程序。此外,我们仅在2D片上调节我们的代理,在更加困难的成像模型中打破3D引导的地面,例如超声成像。这是在获取标准化诊断视图飞机期间对用户指导的重要一步,提高诊断一致性,并促进更好的案例比较。
translated by 谷歌翻译
大多数机器学习方法和算法给出了预测性能的高优先级,这可能并不总是对应于用户的优先级。在许多情况下,从工程到遗传学的不同领域的从业者和研究人员都需要尤其是在例如并非所有属性可用的环境中的结果的解释和可重复性。因此,需要使机器学习算法的输出更加解释,并提供用户可以根据属性可用性选择的“等价”学习者(在预测性能方面)来进行测试和/或利用这些学习者以获取预测/诊断目的。为了解决这些需求,我们建议研究一个组合筛选和包装方法方法的过程,这些过程基于用户指定的学习方法,贪婪地探讨了属性空间,以找到稀疏的学习者库,随后的低数据收集和存储成本。这种新方法(i)提供了可以容易解释的低维网络,并且(ii)基于具有相同预测功率的强大学习者的属性组合的多样性提高结果的潜在可重量。我们称这种算法“稀疏包装算法”(SWAG)。
translated by 谷歌翻译