卷积和复发性神经网络的结合是一个有希望的框架，它允许提取高质量时空特征以及其时间依赖性，这是时间序列预测问题（例如预测，分类或异常检测）的关键。在本文中，引入了TSFEDL库。它通过使用卷积和经常性的深神经网络来编译20种时间序列提取和预测的最先进方法，用于在多个数据挖掘任务中使用。该库是建立在AGPLV3许可下的一组TensorFlow+Keras和Pytorch模块上的。本提案中包含的架构的性能验证证实了此Python软件包的有用性。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.

分布式声音传感器（DAS）是有效的设备，在许多应用区域中广泛使用，用于记录各种事件的信号，这些事件沿光纤沿光纤沿着非常高的空间分辨率。为了正确地检测和识别记录的事件，具有高计算需求的高级信号处理算法至关重要。卷积神经网络是提取空间信息的高功能工具，非常适合DAS中的事件识别应用。长期术语内存（LSTM）是处理顺序数据的有效仪器。在这项研究中，我们提出了一种多输入的多输出，两个阶段特征提取方法，该方法将这些神经网络体系结构的能力与转移学习的能力结合在一起，以将压电传感器应用于光纤上的振动进行分类。首先，我们从相位-OTDR记录中提取了差幅度和相位信息，并将它们存储在时间空间数据矩阵中。然后，我们在第一阶段使用了最先进的预训练的CNN作为特征提取器。在第二阶段，我们使用LSTMS进一步分析了CNN提取的特征。最后，我们使用密集层来对提取的特征进行分类。为了观察使用的CNN体​​系结构的效果，我们通过五个最先进的预训练模型（VGG-16，Resnet-50，Densenet-121，Mobilenet和Inception-V3）测试了模型。结果表明，在我们的框架中使用VGG-16体系结构可以在50个培训中获得100％的分类精度，并在我们的相位数据集中获得最佳结果。这项研究的结果表明，与LSTM结合的预训练的CNN非常适合分析差分振幅和相位信息，在时间空间数据矩阵中表示，这对于DAS应用中的事件识别操作很有希望。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

视频异常检测是现在计算机视觉中的热门研究主题之一，因为异常事件包含大量信息。异常是监控系统中的主要检测目标之一，通常需要实时行动。关于培训的标签数据的可用性（即，没有足够的标记数据进行异常），半监督异常检测方法最近获得了利益。本文介绍了该领域的研究人员，以新的视角，并评论了最近的基于深度学习的半监督视频异常检测方法，基于他们用于异常检测的共同策略。我们的目标是帮助研究人员开发更有效的视频异常检测方法。由于选择右深神经网络的选择对于这项任务的几个部分起着重要作用，首先准备了对DNN的快速比较审查。与以前的调查不同，DNN是从时空特征提取观点审查的，用于视频异常检测。这部分审查可以帮助本领域的研究人员选择合适的网络，以获取其方法的不同部分。此外，基于其检测策略，一些最先进的异常检测方法受到严格调查。审查提供了一种新颖，深入了解现有方法，并导致陈述这些方法的缺点，这可能是未来作品的提示。

特征提取方法有助于降低维度并捕获相关信息。在时间序列预测（TSF）中，功能可以用作辅助信息，以实现更好的准确性。传统上，TSF中使用的功能是手工制作的，需要域知识和重要的数据工程工作。在这项研究中，我们首先介绍了静态和动态功能的概念，然后使我们能够开发自主功能，以检索不需要域知识的静态特征（FRAN）的自动回归网络（FRAN）。该方法基于CNN分类器，该分类器经过训练，可以为每个系列创建一个集体和独特的类表示，要么是从该系列的部分中或（如果可以使用的类标签），从一组同一类中。它允许以相似的行为区分序列，但要从不同的类别中进行区分，并使从分类器提取的特征具有最大歧视性。我们探讨了我们功能的解释性，并评估预测元学习环境中该方法的预测能力。我们的结果表明，在大多数情况下，我们的功能会提高准确性。一旦训练，我们的方法就会创建比统计方法快的阶数级级。

为了减少乘客等候时间和驾驶员搜索摩擦，骑行公司需要准确地预测时空需求和供需差距。然而，由于乘坐乘车系统中的需求和供需差距有关的时空依赖性，对需求和供需差距的准确预测是一项艰巨的任务。此外，由于机密性和隐私问题，乘车通过删除区域的空间邻接信息，有时会向研究人员发布，这阻碍了时空依赖的检测。为此，本文提出了一种新颖的时空深度学习架构，用于预测具有匿名空间邻接信息的乘车 - HaIning系统中的需求和供需差距，其与时空深度学习架构集成了特征重要性层含有一维卷积神经网络（CNN）和区域分布独立的复发性神经网络（INDRNN）。开发的架构与DIDI Chuxing的真实世界数据集进行了测试，这表明我们的模型基于所提出的体系结构可以优于传统的时间序列模型（例如，Arima）和机器学习模型（例如，梯度升压机，分布式随机林，广义线性模型，人工神经网络）。另外，该特征重要层通过揭示预测中使用的输入特征的贡献提供了模型的解释。

在实践中，非常苛刻，有时无法收集足够大的标记数据数据集以成功培训机器学习模型，并且对此问题的一个可能解决方案是转移学习。本研究旨在评估如何可转让的时间序列数据和哪些条件下的不同域之间的特征。在训练期间，在模型的预测性能和收敛速度方面观察到转移学习的影响。在我们的实验中，我们使用1,500和9,000个数据实例的减少数据集来模仿现实世界的条件。使用相同的缩小数据集，我们培训了两组机器学习模型：那些随着转移学习的培训和从头开始培训的机器学习模型。使用四台机器学习模型进行实验。在相同的应用领域（地震学）以及相互不同的应用领域（地震，语音，医学，金融）之间进行知识转移。我们在训练期间遵守模型的预测性能和收敛速度。为了确认所获得的结果的有效性，我们重复了实验七次并应用了统计测试以确认结果的重要性。我们研究的一般性结论是转移学习可能会增加或不会对模型的预测性能或其收敛速度产生负面影响。在更多细节中分析收集的数据，以确定哪些源域和目标域兼容以用于传输知识。我们还分析了目标数据集大小的效果和模型的选择及其超参数对转移学习的影响。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

入侵检测是汽车通信安全的重要防御措施。准确的框架检测模型有助于车辆避免恶意攻击。攻击方法的不确定性和多样性使此任务具有挑战性。但是，现有作品仅考虑本地功能或多功能的弱特征映射的限制。为了解决这些局限性，我们提出了一个新型的模型，用于通过车载通信流量（STC-IDS）的时空相关特征（STC-IDS）进行汽车入侵检测。具体而言，提出的模型利用编码检测体系结构。在编码器部分中，空间关系和时间关系是同时编码的。为了加强特征之间的关系，基于注意力的卷积网络仍然捕获空间和频道特征以增加接受场，而注意力LSTM则建立了以前的时间序列或关键字节的有意义的关系。然后将编码的信息传递给检测器，以产生有力的时空注意力特征并实现异常分类。特别是，构建了单帧和多帧模型，分别呈现不同的优势。在基于贝叶斯优化的自动超参数选择下，该模型经过培训以达到最佳性能。基于现实世界中车辆攻击数据集的广泛实证研究表明，STC-IDS优于基线方法，并且在保持效率的同时获得了较少的假警报率。

能量供应和需求受到气象条件的影响。随着对可再生能源的需求增加，精确天气预报的相关性增加。能源提供者和决策者要求天气信息进行明智的选择，并根据业务目标建立最佳计划。由于最近应用于卫星图像的深度学习技术，使用遥感数据的天气预报也是主要进步的主题。本文通过基于U-Net的架构调查了荷兰沿海海洋元素的多个步骤框架预测。来自哥白尼观察计划的每小时数据在2年内跨过跨越2年的时间，用于培训模型并进行预测，包括季节性预测。我们提出了U-Net架构的变化，并使用剩余连接，并行卷积和不对称卷积进一步扩展了这一新颖模型，以便引入三种额外的架构。特别是，我们表明，配备有平行和不对称卷积的架构以及跳过连接优于其他三个讨论的模型。

自动日志文件分析可以尽早发现相关事件，例如系统故障。特别是，自我学习的异常检测技术在日志数据中捕获模式，随后向系统操作员报告意外的日志事件事件，而无需提前提供或手动对异常情况进行建模。最近，已经提出了越来越多的方法来利用深度学习神经网络为此目的。与传统的机器学习技术相比，这些方法证明了出色的检测性能，并同时解决了不稳定数据格式的问题。但是，有许多不同的深度学习体系结构，并且编码由神经网络分析的原始和非结构化日志数据是不平凡的。因此，我们进行了系统的文献综述，概述了部署的模型，数据预处理机制，异常检测技术和评估。该调查没有定量比较现有方法，而是旨在帮助读者了解不同模型体系结构的相关方面，并强调未来工作的开放问题。

自回旋运动平均值（ARMA）模型是经典的，可以说是模型时间序列数据的最多研究的方法之一。它具有引人入胜的理论特性，并在从业者中广泛使用。最近的深度学习方法普及了经常性神经网络（RNN），尤其是长期记忆（LSTM）细胞，这些细胞已成为神经时间序列建模中最佳性能和最常见的构件之一。虽然对具有长期效果的时间序列数据或序列有利，但复杂的RNN细胞并不总是必须的，有时甚至可能不如更简单的复发方法。在这项工作中，我们介绍了ARMA细胞，这是一种在神经网络中的时间序列建模的更简单，模块化和有效的方法。该单元可以用于存在复发结构的任何神经网络体系结构中，并自然地使用矢量自动进程处理多元时间序列。我们还引入了Convarma细胞作为空间相关时间序列的自然继任者。我们的实验表明，所提出的方法在性能方面与流行替代方案具有竞争力，同时由于其简单性而变得更加强大和引人注目。

近年来，地理空间行业一直在稳定发展。这种增长意味着增加卫星星座，每天都会产生大量的卫星图像和其他遥感数据。有时，这些信息，即使在某些情况下我们指的是公开可用的数据，由于它的大小，它也无法占据。从时间和其他资源的角度来看，借助人工或使用传统的自动化方法来处理如此大量的数据并不总是可行的解决方案。在目前的工作中，我们提出了一种方法，用于创建一个由公开可用的遥感数据组成的多模式和时空数据集，并使用ART机器学习（ML）技术进行可行性进行测试。确切地说，卷积神经网络（CNN）模型的用法能够分离拟议数据集中存在的不同类别的植被。在地理信息系统（GIS）和计算机视觉（CV）的背景下，类似方法的受欢迎程度和成功更普遍地表明，应考虑并进一步分析和开发方法。

人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。

在视频中，人类的行为是三维（3D）信号。这些视频研究了人类行为的时空知识。使用3D卷积神经网络（CNN）研究了有希望的能力。 3D CNN尚未在静止照片中为其建立良好的二维（2D）等效物获得高输出。董事会3D卷积记忆和时空融合面部训练难以防止3D CNN完成非凡的评估。在本文中，我们实施了混合深度学习体系结构，该体系结构结合了Stip和3D CNN功能，以有效地增强3D视频的性能。实施后，在每个时空融合圈中进行训练的较详细和更深的图表。训练模型在处理模型的复杂评估后进一步增强了结果。视频分类模型在此实现模型中使用。引入了使用深度学习的多媒体数据分类的智能3D网络协议，以进一步了解人类努力中的时空关联。在实施结果时，著名的数据集（即UCF101）评估了提出的混合技术的性能。结果击败了提出的混合技术，该混合动力技术基本上超过了最初的3D CNN。将结果与文献的最新框架进行比较，以识别UCF101的行动识别，准确度为95％。

作为自然现象的地震，历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面，可以增加公共准备，并在很大程度上减少损坏。然而，由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战，迄今为止努力一直不足，需要新的方法来解决这个问题。本文意识到​​这些问题，提出了一种基于注意机制（AM），卷积神经网络（CNN）和双向长短期存储器（BILSTM）模型的新型预测方法，其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制，以更好地关注有效的地震特性并产生更准确的预测。首先，将零阶保持技术应用于地震数据上的预处理，使得模型的输入数据更适当。其次，为了有效地使用空间信息并减少输入数据的维度，CNN用于捕获地震数据之间的空间依赖性。第三，使用Bi-LSTM层来捕获时间依赖性。第四，引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明，该方法具有比其他预测方法更好的性能和概括能力。

机器学习，在深入学习的进步，在过去分析时间序列方面表现出巨大的潜力。但是，在许多情况下，可以通过将其结合到学习方法中可能改善预测的附加信息。这对于由例如例如传感器位置的传感器网络而产生的数据至关重要。然后，可以通过通过图形结构建模，以及顺序（时间）信息来利用这种空间信息。适应深度学习的最新进展在各种图形相关任务中表明了有希望的潜力。但是，这些方法尚未在很大程度上适用于时间序列相关任务。具体而言，大多数尝试基本上围绕空间 - 时间图形神经网络巩固了时间序列预测的小序列长度。通常，这些架构不适合包含大数据序列的回归或分类任务。因此，在这项工作中，我们使用图形神经网络的好处提出了一种能够在多变量时间序列回归任务中处理这些长序列的架构。我们的模型在包含地震波形的两个地震数据集上进行测试，其中目标是预测在一组站的地面摇动的强度测量。我们的研究结果表明了我们的方法的有希望的结果，这是深入讨论的额外消融研究。