来自多个来源的一些数据可以建模为具有不同采样频率，数据组成，时间关系和特征不同的多模式时间序列事件。不同类型的事件具有复杂的非线性关系，每个事件的时间都是不规则的。经典的复发性神经网络（RNN）模型和当前最新变压器模型都无法很好地处理这些功能。在本文中，基于长期短期存储网络（LSTM）提出了用于多模式不规则时间序列事件的特征融合框架。首先，根据不同事件的不规则模式提取复杂特征。其次，将复杂特征之间的非线性相关性和复杂的时间依赖关系捕获并融合到张量中。最后，使用特征门来控制不同张量的访问频率。对MIMIC-III数据集进行的广泛实验表明，所提出的框架在AUC（接收器操作特征曲线下的区域）和AP（平均精度）方面显着优于现有方法。
translated by 谷歌翻译
近年来，霍克斯进程的异步序列的知识是一个值得关注的主题，基于神经网络的鹰过程逐渐成为最热门研究的领域，特别是基于复发神经网络（RNN）。然而，这些模型仍然包含RNN的一些固有缺点，例如消失和爆炸梯度和长期依赖性问题。同时，基于自我关注的变压器在文本处理和语音识别等顺序建模中取得了巨大成功。虽然变压器鹰过程（THP）已经获得了巨大的性能改进，但是THP不会有效地利用异步事件中的时间信息，因为这些异步序列，事件发生时刻与事件的类型一样重要，而传统的THPS只是转换时间信息进入位置编码并将其添加为变压器的输入。考虑到这一点，我们提出了一种新型的基于变压器的霍克斯工艺模型，暂时关注增强变压器鹰过程（TAA-THP），我们修改了传统的DOT产品注意力结构，并介绍了关注结构的时间编码。我们对多种合成和现实生活数据集进行多项实验，以验证我们提出的TAA-THP模型的性能，与现有的基线模型相比，在不同测量上实现的显着改进，包括在测试数据集上的日志可能性，并预测事件类型的准确性和发生时间。此外，通过烧蚀研究，我们通过比较模型的性能和没有时间关注的模型的性能，生动地证明了引入额外的时间关注的优点。
translated by 谷歌翻译
交通速度预测是许多有价值应用程序的关键，由于其各种影响因素，它也是一项具有挑战性的任务。最近的工作试图通过各种混合模型获得更多信息，从而提高了预测准确性。但是，这些方法的空间信息采集方案存在两级分化问题。建模很简单，但包含很少的空间信息，或者建模是完整的，但缺乏灵活性。为了基于确保灵活性引入更多空间信息，本文提出了IRNET（可转让的交叉点重建网络）。首先，本文将相交重建为与相同结构的虚拟交集，从而简化了道路网络的拓扑结构。然后，将空间信息细分为交叉信息和交通流向的序列信息，并通过各种模型获得时空特征。第三，一种自我发项机制用于融合时空特征以进行预测。在与基线的比较实验中，不仅预测效应，而且转移性能具有明显的优势。
translated by 谷歌翻译
学习模当融合的表示和处理未对准的多模式序列在多式联情绪识别中是有意义的，具有挑战性。现有方法使用定向成对注意力或消息中心到熔丝语言，视觉和音频模态。然而，这些方法在融合特征时介绍信息冗余，并且在不考虑方式的互补性的情况下效率低效。在本文中，我们提出了一种高效的神经网络，以学习与CB变压器（LMR-CBT）的模型融合表示，用于从未对准的多模式序列进行多峰情绪识别。具体地，我们首先为三种方式执行特征提取，以获得序列的局部结构。然后，我们设计具有跨模块块（CB变压器）的新型变压器，其能够实现不同模式的互补学习，主要分为局部时间学习，跨模型特征融合和全球自我关注表示。此外，我们将融合功能与原始特征拼接以对序列的情绪进行分类。最后，我们在三个具有挑战性的数据集，IEMocap，CMU-MOSI和CMU-MOSEI进行词语对齐和未对准的实验。实验结果表明我们在两个设置中提出的方法的优势和效率。与主流方法相比，我们的方法以最小数量的参数达到最先进的。
translated by 谷歌翻译
现有的源单元手机识别方法缺乏源设备的长期特征表征，从而导致与源单元相关特征的不准确表示，从而导致识别精度不足。在本文中，我们提出了一种基于时空表示学习的源细胞手机识别方法，其中包括两个主要部分：提取顺序高斯平均矩阵特征和基于时空表示学习的识别模型的构建。在特征提取部分中，基于对记录源信号的时间序列表示的分析，我们通过使用高斯混合模型对数据分布的灵敏度提取具有长期和短期表示能力的顺序高斯平均矩阵。在模型构建部分中，我们设计了一个结构化的时空表示网络C3D-BILSTM，以充分表征时空信息，结合3D卷积网络和双向长期短期记忆网络，用于短期光谱信息和长期的长期记忆网络波动信息表示学习，并通过融合记录源信号的时空特征信息来准确识别细胞手机。该方法的平均准确性为99.03％的封闭设置识别在CCNU \ _Mobile数据集中的45个手机识别，而在小样本尺寸实验中的平均识别率为98.18％，识别性能优于现有的最新目前的识别性能方法。实验结果表明，该方法在多级细胞手机识别中表现出出色的识别性能。
translated by 谷歌翻译
异步事件序列广泛分布在自然界和人类活动中，例如地震记录，社交媒体中的用户活动等。如何蒸馏来自这些看似混乱的数据是研究人员专注的持久主题。最有用的模型之一是点过程模型，在此基础上，研究人员获得了许多明显的结果。此外，近年来，提出了神经网络基础的点过程模型，特别是复发性神经网络（RNN），并与传统模型进行比较，其性能大大提高。变压器模型的启发，可以有效地学习序列数据而无需反复和卷积结构，变压器鹰过程出现，并实现了最先进的性能。然而，有一些研究证明，转换变压器中的递归计算可以进一步提高变压器性能。因此，我们出现了一种新型的变压器鹰过程模型，通用变压器鹰过程（UTHP），其中包含递归机制和自我关注机制，并提高了模型的局部感知能力，我们还介绍了卷积神经网络（CNN）在位置方向前馈部分。我们对几个数据集进行实验，以验证UTHP的有效性，并在引入递归机制后探索变化。这些关于多个数据集的实验表明，与以前的最先进模型相比，我们提出的新模式的性能具有一定的改进。
translated by 谷歌翻译
在本文中，我们介绍了2022年多模式情感分析挑战（MUSE）的解决方案，其中包括Muse-Humor，Muse-Rection和Muse Surns Sub-Challenges。 2022年穆斯穆斯（Muse 2022）着重于幽默检测，情绪反应和多模式的情感压力，利用不同的方式和数据集。在我们的工作中，提取了不同种类的多模式特征，包括声学，视觉，文本和生物学特征。这些功能由Temma和Gru融合到自发机制框架中。在本文中，1）提取了一些新的音频功能，面部表达功能和段落级文本嵌入以进行准确的改进。 2）我们通过挖掘和融合多模式特征来显着提高多模式情感预测的准确性和可靠性。 3）在模型培训中应用有效的数据增强策略，以减轻样本不平衡问题并防止模型形成学习有偏见的主题字符。对于博物馆的子挑战，我们的模型获得了0.8932的AUC分数。对于Muse Rection子挑战，我们在测试集上的Pearson相关系数为0.3879，它的表现优于所有其他参与者。对于Muse Surst Sub-Challenge，我们的方法在测试数据集上的唤醒和价值都优于基线，达到了0.5151的最终综合结果。
translated by 谷歌翻译
Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.
translated by 谷歌翻译
作为自然现象的地震，历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面，可以增加公共准备，并在很大程度上减少损坏。然而，由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战，迄今为止努力一直不足，需要新的方法来解决这个问题。本文意识到这些问题，提出了一种基于注意机制（AM），卷积神经网络（CNN）和双向长短期存储器（BILSTM）模型的新型预测方法，其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制，以更好地关注有效的地震特性并产生更准确的预测。首先，将零阶保持技术应用于地震数据上的预处理，使得模型的输入数据更适当。其次，为了有效地使用空间信息并减少输入数据的维度，CNN用于捕获地震数据之间的空间依赖性。第三，使用Bi-LSTM层来捕获时间依赖性。第四，引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明，该方法具有比其他预测方法更好的性能和概括能力。
translated by 谷歌翻译
作为在Internet交换路由到达性信息的默认协议，边界网关协议（BGP）的流量异常行为与互联网异常事件密切相关。 BGP异常检测模型通过其实时监控和警报功能确保互联网上的稳定路由服务。以前的研究要么专注于特征选择问题或数据中的内存特征，同时忽略特征之间的关系和特征中的精确时间相关（无论是长期还是短期依赖性）。在本文中，我们提出了一种用于捕获来自BGP更新流量的异常行为的多视图模型，其中使用黄土（STL）方法的季节性和趋势分解来减少原始时间序列数据中的噪声和图表网络中的噪声（GAT）用于分别发现功能中的特征关系和时间相关性。我们的结果优于异常检测任务的最先进的方法，平均F1分别在平衡和不平衡数据集上得分高达96.3％和93.2％。同时，我们的模型可以扩展以对多个异常进行分类并检测未知事件。
translated by 谷歌翻译
我们提出了一种三级等级变压器网络（3级），用于在临床笔记上建模长期依赖性，以患者级预测的目的。该网络配备了三个级别的基于变压器的编码器，以逐步地从单词中学到句子，句子票据，最后给患者注释。单词到句子的第一级直接将预先训练的BERT模型应用为完全可训练的组件。虽然第二和第三级实现了一堆基于变压器的编码器，但在最终患者表示进入临床预测的分类层之前。与传统的BERT模型相比，我们的模型将512个令牌的最大输入长度增加到适合建模大量临床笔记的更长的序列。我们经验检查不同的超参数，以识别给定的计算资源限制的最佳权衡。我们的实验结果对不同预测任务的模拟-III数据集表明，所提出的等级变压器网络优于以前的最先进的模型，包括但不限于BigBird。
translated by 谷歌翻译
通过深度学习（DL）大大扩展了数据驱动故障诊断模型的范围。然而，经典卷积和反复化结构具有计算效率和特征表示的缺陷，而基于注意机制的最新变压器架构尚未应用于该字段。为了解决这些问题，我们提出了一种新颖的时变电片（TFT）模型，其灵感来自序列加工的香草变压器大规模成功。特别是，我们设计了一个新的笨蛋和编码器模块，以从振动信号的时频表示（TFR）中提取有效抽象。在此基础上，本文提出了一种基于时变电片的新的端到端故障诊断框架。通过轴承实验数据集的案例研究，我们构建了最佳变压器结构并验证了其故障诊断性能。与基准模型和其他最先进的方法相比，证明了所提出的方法的优越性。
translated by 谷歌翻译
传统机器学习方法面临两种主要挑战，在处理医疗保健预测分析任务方面。首先，医疗保健数据的高维性质需要劳动密集型和耗时的过程，为每项新任务选择适当的功能集。其次，这些方法依赖于特征工程来捕获患者数据的顺序性，这可能无法充分利用医疗事件的时间模式及其依赖性。最近的深度学习方法通过解决医疗数据的高维和时间挑战，对各种医疗保健预测任务显示了有希望的性能。这些方法可以学习关键因素（例如，医学概念或患者）的有用表示及其与高维原始或最低处理的医疗保健数据的相互作用。在本文中，我们系统地审查了专注于推进和使用深神经网络的研究，以利用患者结构化时间序列数据进行医疗保健预测任务。为了识别相关研究，搜索MEDLINE，IEEE，SCOPUS和ACM数字图书馆于2021年2月7日出版的研究。我们发现研究人员在十个研究流中为深度时间序列预测文献做出了贡献：深入学习模型，缺少价值处理，不规则处理，患者表示，静态数据包容，关注机制，解释，纳入医疗本体，学习策略和可扩展性。本研究总结了这些文献流的研究见解，确定了几个关键研究差距，并提出了未来的患者时间序列数据深入学习的研究机会。
translated by 谷歌翻译
在许多现实世界应用中，长序列数据的分析仍然具有挑战性。我们提出了一种新颖的建筑，Chunkformer，可改善现有的变压器框架来处理长时间序列的同时处理挑战。基于原始的变换器的模型采用了注意机制来沿着序列发现全局信息以利用上下文数据。长期顺序数据暂停本地信息，例如短数据序列中的季节性和波动。此外，原始变压器通过在培训课程期间携带整个注意矩阵来消耗更多资源。为了克服这些挑战，ChunkFormer将长序列分成较小的序列块以进行注意力计算，在每个阶段逐步应用不同的块尺寸。以这种方式，所提出的模型逐渐学习本地和全局信息，而不会改变输入序列的总长度。我们在不同的业务域中广泛地测试了这种新架构的有效性，并证明了在现有的基于变压器的模型上的这种模型的优势。
translated by 谷歌翻译
已显示来自各种来源的多模式信息的集成可以提高机器学习模型的性能，因此近年来受到了越来越多的关注。通常，这样的模型使用深度模式特异性网络来获得单峰特征，这些特征合并以获得“晚融合”表示。但是，这些设计承担了各自单峰管道中信息损失的风险。另一方面，结合早期特征的“早期融合”方法遭受了与特征异质性和高样本复杂性相关的问题。在这项工作中，我们提出了一种迭代表示的改进方法，称为渐进式融合，该方法减轻了晚期融合表示的问题。我们的模型不足的技术引入了向后连接，使后期融合的表示形式可用于早期层，从而提高了这些阶段的表示表现力，同时保留了晚期融合设计的优势。我们在任务上测试渐进式融合，包括情感检测，多媒体分析以及与不同模型的时间序列融合，以证明其多功能性。我们表明，我们的方法始终提高性能，例如，在多模式时间序列预测中，MSE降低了5％，鲁棒性提高了40％。
translated by 谷歌翻译
基于历史行为数据的行为预测具有实际的现实意义。它已在推荐，预测学习成绩等中应用。随着用户数据描述的完善，新功能的发展以及多个数据源的融合，包含多种行为的异质行为数据变得越来越普遍。在本文中，我们旨在纳入行为预测的异质用户行为和社会影响。为此，本文提出了一个长期术语内存（LSTM）的变体，该变体可以在对行为序列进行建模时考虑上下文信息，该投影机制可以模拟不同类型的行为之间的多方面关系以及多方面的多方面关系注意机制可以动态地从不同的方面找到信息。许多行为数据属于时空数据。提出了一种基于时空数据并建模社会影响力的社交行为图的无监督方法。此外，基于剩余的基于学习的解码器旨在根据社会行为表示和其他类型的行为表示自动构建多个高阶交叉特征。对现实世界数据集的定性和定量实验已经证明了该模型的有效性。
translated by 谷歌翻译
电子健康记录（EHRS）在患者级别汇总了多种信息，并保留了整个时间内患者健康状况进化的轨迹代表。尽管此信息提供了背景，并且可以由医生利用以监控患者的健康并进行更准确的预后/诊断，但患者记录可以包含长期跨度的信息，这些信息与快速生成的医疗数据速率相结合，使临床决策变得更加复杂。患者轨迹建模可以通过以可扩展的方式探索现有信息来帮助，并可以通过促进预防医学实践来增强医疗保健质量。我们为建模患者轨迹提出了一种解决方案，该解决方案结合了不同类型的信息并考虑了临床数据的时间方面。该解决方案利用了两种不同的架构：一组支持灵活的输入功能集，以将患者的录取转换为密集的表示；以及在基于复发的架构中进行的第二次探索提取的入院表示，其中使用滑动窗口机制在子序列中处理患者轨迹。使用公开可用的模仿III临床数据库评估了开发的解决方案，以两种不同的临床结果，意外的患者再入院和疾病进展。获得的结果证明了第一个体系结构使用单个患者入院进行建模和诊断预测的潜力。虽然临床文本中的信息并未显示在其他现有作品中观察到的判别能力，但这可以通过微调临床模型来解释。最后，我们使用滑动窗口机制来表示基于序列的体系结构的潜力，以表示输入数据，从而获得与其他现有解决方案的可比性能。
translated by 谷歌翻译
The stock market prediction has been a traditional yet complex problem researched within diverse research areas and application domains due to its non-linear, highly volatile and complex nature. Existing surveys on stock market prediction often focus on traditional machine learning methods instead of deep learning methods. Deep learning has dominated many domains, gained much success and popularity in recent years in stock market prediction. This motivates us to provide a structured and comprehensive overview of the research on stock market prediction focusing on deep learning techniques. We present four elaborated subtasks of stock market prediction and propose a novel taxonomy to summarize the state-of-the-art models based on deep neural networks from 2011 to 2022. In addition, we also provide detailed statistics on the datasets and evaluation metrics commonly used in the stock market. Finally, we highlight some open issues and point out several future directions by sharing some new perspectives on stock market prediction.
translated by 谷歌翻译
许多实际关系系统，如社交网络和生物系统，包含动态相互作用。在学习动态图形表示时，必须采用连续的时间信息和几何结构。主流工作通过消息传递网络（例如，GCN，GAT）实现拓扑嵌入。另一方面，时间演进通常通过在栅极机构中具有方便信息过滤的存储单元（例如，LSTM或GU）来表达。但是，由于过度复杂的编码，这种设计可以防止大规模的输入序列。这项工作从自我关注的哲学中学习，并提出了一种高效的基于频谱的神经单元，采用信息的远程时间交互。发达的频谱窗口单元（SWINIT）模型预测了具有保证效率的可扩展动态图形。该架构与一些构成随机SVD，MLP和图形帧卷积的一些简单的有效计算块组装。 SVD加MLP模块编码动态图事件的长期特征演进。帧卷积中的快速帧图形变换嵌入了结构动态。两种策略都提高了模型对可扩展分析的能力。特别地，迭代的SVD近似度将注意力的计算复杂性缩小到具有n个边缘和D边缘特征的动态图形的关注的计算复杂性，并且帧卷积的多尺度变换允许在网络训练中具有足够的可扩展性。我们的Swinit在各种在线连续时间动态图表学习任务中实现了最先进的性能，而与基线方法相比，可学习参数的数量可达七倍。
translated by 谷歌翻译
流量预测在智能运输系统中交通控制和调度任务的实现中起着重要作用。随着数据源的多元化，合理地使用丰富的流量数据来对流量流中复杂的时空依赖性和非线性特征进行建模是智能运输系统的关键挑战。此外，清楚地评估从不同数据中提取的时空特征的重要性成为一个挑战。提出了双层 - 空间时间特征提取和评估（DL -STFEE）模型。 DL-STFEE的下层是时空特征提取层。流量数据中的空间和时间特征是通过多画图卷积和注意机制提取的，并生成了空间和时间特征的不同组合。 DL-STFEE的上层是时空特征评估层。通过高维自我注意力发项机制产生的注意力评分矩阵，空间特征组合被融合和评估，以便获得不同组合对预测效应的影响。在实际的流量数据集上进行了三组实验，以表明DL-STFEE可以有效地捕获时空特征并评估不同时空特征组合的重要性。
translated by 谷歌翻译