第三方评级机构颁发的公司信贷评级是对公司信誉的量化评估。信贷评级与公司违约债务义务的可能性高度相关。这些评级在投资决策中起关键作用，这是关键风险因素之一。它们也是监管框架的核心，例如在计算金融机构必要的资本中，巴塞尔二世。能够预测评级变化将极大地使投资者和监管机构受益。在本文中，我们考虑了公司信用评级移民早期预测问题，该问题预测发行人的信用等级将根据当时的最新财务报告信息在12个月后升级，不变或降级。我们研究了不同标准的机器学习算法的有效性，并得出结论这些模型表现不佳。作为我们贡献的一部分，我们提出了一个新的多任务设想基于变压器的自动编码器（META）模型，以解决这个具有挑战性的问题。 META包括位置编码，基于变压器的自动编码器和多任务预测，以学习迁移预测和评级预测的有效表示。这使得元可以更好地探索一年后预测的培训阶段的历史数据。实验结果表明，元表现优于所有基线模型。

在本文中，我们研究了中途公司，即在市场资本化少于100亿美元的公开交易公司。在30年内使用美国中载公司的大型数据集，我们期望通过中期预测默认的概率术语结构，了解哪些数据源（即基本，市场或定价数据）对违约风险贡献最多。然而，现有方法通常要求来自不同时间段的数据首先聚合并转变为横截面特征，我们将问题框架作为多标签时间级分类问题。我们适应变压器模型，从自然语言处理领域发出的最先进的深度学习模型，以信用风险建模设置。我们还使用注意热图解释这些模型的预测。为了进一步优化模型，我们为多标签分类和新型多通道架构提供了一种自定义损耗功能，具有差异训练，使模型能够有效地使用所有输入数据。我们的结果表明，拟议的深度学习架构的卓越性能，导致传统模型的AUC（接收器运行特征曲线下的区域）提高了13％。我们还展示了如何使用特定于这些模型的福利方法生成不同数据源和时间关系的重要性排名。

The stock market prediction has been a traditional yet complex problem researched within diverse research areas and application domains due to its non-linear, highly volatile and complex nature. Existing surveys on stock market prediction often focus on traditional machine learning methods instead of deep learning methods. Deep learning has dominated many domains, gained much success and popularity in recent years in stock market prediction. This motivates us to provide a structured and comprehensive overview of the research on stock market prediction focusing on deep learning techniques. We present four elaborated subtasks of stock market prediction and propose a novel taxonomy to summarize the state-of-the-art models based on deep neural networks from 2011 to 2022. In addition, we also provide detailed statistics on the datasets and evaluation metrics commonly used in the stock market. Finally, we highlight some open issues and point out several future directions by sharing some new perspectives on stock market prediction.

良好的研究努力致力于利用股票预测中的深度神经网络。虽然远程依赖性和混沌属性仍然是在预测未来价格趋势之前降低最先进的深度学习模型的表现。在这项研究中，我们提出了一个新的框架来解决这两个问题。具体地，在将时间序列转换为复杂网络方面，我们将市场价格系列转换为图形。然后，从映射的图表中提取参考时间点和节点权重之间的关联的结构信息以解决关于远程依赖性和混沌属性的问题。我们采取图形嵌入式以表示时间点之间的关联作为预测模型输入。节点重量被用作先验知识，以增强时间关注的学习。我们拟议的框架的有效性通过现实世界股票数据验证，我们的方法在几个最先进的基准中获得了最佳性能。此外，在进行的交易模拟中，我们的框架进一步获得了最高的累积利润。我们的结果补充了复杂网络方法在金融领域的现有应用，并为金融市场中决策支持的投资应用提供了富有识别的影响。

股票市场是一个网络，为几乎所有主要的经济交易提供平台。虽然投资股票市场是一个好主意，但对单个股票进行投资可能不是一个好主意，尤其是对于休闲投资者而言。智能储备需要深入研究和大量奉献精神。预测这种股票价值提供了巨大的套利利润机会。找到解决方案的这种吸引力促使研究人员找到了过去的问题，例如波动，季节性和时间依赖时间。本文调查了自然语言处理和机器学习技术领域的最新文献，用于预测股票市场的发展。本文的主要贡献包括许多最近的文章的复杂分类以及股票市场预测研究及其相关领域的最新研究趋势。

基于历史行为数据的行为预测具有实际的现实意义。它已在推荐，预测学习成绩等中应用。随着用户数据描述的完善，新功能的发展以及多个数据源的融合，包含多种行为的异质行为数据变得越来越普遍。在本文中，我们旨在纳入行为预测的异质用户行为和社会影响。为此，本文提出了一个长期术语内存（LSTM）的变体，该变体可以在对行为序列进行建模时考虑上下文信息，该投影机制可以模拟不同类型的行为之间的多方面关系以及多方面的多方面关系注意机制可以动态地从不同的方面找到信息。许多行为数据属于时空数据。提出了一种基于时空数据并建模社会影响力的社交行为图的无监督方法。此外，基于剩余的基于学习的解码器旨在根据社会行为表示和其他类型的行为表示自动构建多个高阶交叉特征。对现实世界数据集的定性和定量实验已经证明了该模型的有效性。

已经发现，已经发现深度学习架构，特别是深度动量网络（DMNS）[1904.04912]是一种有效的势头和平均逆转交易的方法。然而，近年来一些关键挑战涉及学习长期依赖，在考虑返回交易成本净净额并适应新的市场制度时，绩效的退化，特别是在SARS-COV-2危机期间。注意机制或基于变换器的架构是对这些挑战的解决方案，因为它们允许网络专注于过去和长期模式的重要时间步骤。我们介绍了势头变压器，一种基于关注的架构，胜过基准，并且本质上是可解释的，为我们提供更大的深入学习交易策略。我们的模型是基于LSTM的DMN的扩展，它通过在风险调整的性能度量上优化网络，直接输出位置尺寸，例如锐利比率。我们发现注意力LSTM混合解码器仅时间融合变压器（TFT）样式架构是最佳的执行模型。在可解释性方面，我们观察注意力模式的显着结构，在动量转点时具有重要的重要性。因此，时间序列被分段为制度，并且该模型倾向于关注以前的制度中的先前时间步骤。我们发现ChangePoint检测（CPD）[2105.13727]，另一个用于响应政权变化的技术可以补充多抬头的注意力，特别是当我们在多个时间尺度运行CPD时。通过添加可解释的变量选择网络，我们观察CPD如何帮助我们的模型在日常返回数据上主要远离交易。我们注意到该模型可以智能地切换和混合古典策略 - 基于数据的决定。

制定准确的旅游预测模型对于为旅游管理做出理想的政策决策至关重要。早期研究旅游管理专注于发现与旅游需求相关的外部因素。最近的研究利用深度学习随需需求预测以及这些外部因素。它们主要使用递归神经网络模型，例如LSTM和RNN的框架。然而，这些模型不适合用于预测旅游需求。这是因为旅游需求受到各种外部因素变化的强烈影响，递归神经网络模型在处理这些多变量输入方面具有限制。我们提出了一种多主题CNN模型（MHAC），用于解决这些限制。 MHAC使用1D卷积神经网络来分析时间模式和注意机制，以反映输入变量之间的相关性。该模型可以从各种变量的时间序列数据中提取空间特征。我们通过考虑韩国文化的政治，疾病，季节和吸引力等外部因素，应用我们的预测框架来预测韩国的入境旅游变化。广泛实验的性能结果表明，我们的方法优于韩国旅游预测的其他基于深受学习的预测框架。

Future surveys such as the Legacy Survey of Space and Time (LSST) of the Vera C. Rubin Observatory will observe an order of magnitude more astrophysical transient events than any previous survey before. With this deluge of photometric data, it will be impossible for all such events to be classified by humans alone. Recent efforts have sought to leverage machine learning methods to tackle the challenge of astronomical transient classification, with ever improving success. Transformers are a recently developed deep learning architecture, first proposed for natural language processing, that have shown a great deal of recent success. In this work we develop a new transformer architecture, which uses multi-head self attention at its core, for general multi-variate time-series data. Furthermore, the proposed time-series transformer architecture supports the inclusion of an arbitrary number of additional features, while also offering interpretability. We apply the time-series transformer to the task of photometric classification, minimising the reliance of expert domain knowledge for feature selection, while achieving results comparable to state-of-the-art photometric classification methods. We achieve a logarithmic-loss of 0.507 on imbalanced data in a representative setting using data from the Photometric LSST Astronomical Time-Series Classification Challenge (PLAsTiCC). Moreover, we achieve a micro-averaged receiver operating characteristic area under curve of 0.98 and micro-averaged precision-recall area under curve of 0.87.

最近，对于长期时间序列预测（LTSF）任务，基于变压器的解决方案激增。尽管过去几年的表现正在增长，但我们质疑这项研究中这一研究的有效性。具体而言，可以说，变形金刚是最成功的解决方案，是在长序列中提取元素之间的语义相关性。但是，在时间序列建模中，我们要在一组连续点的有序集中提取时间关系。在采用位置编码和使用令牌将子系列嵌入变压器中的同时，有助于保留某些订购信息，但\ emph {置换不变}的自我注意力专注机制的性质不可避免地会导致时间信息损失。为了验证我们的主张，我们介绍了一组名为LTSF线性的令人尴尬的简单单层线性模型，以进行比较。在九个现实生活数据集上的实验结果表明，LTSF线性在所有情况下都超过现有的基于变压器的LTSF模型，并且通常要大幅度较大。此外，我们进行了全面的经验研究，以探索LTSF模型各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现为LTSF任务打开了新的研究方向。我们还主张重新审视基于变压器解决方案对其他时间序列分析任务（例如，异常检测）的有效性。代码可在：\ url {https://github.com/cure-lab/ltsf-linear}中获得。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

传统的机器学习方法已在金融创新中得到广泛研究。我的研究重点是深度学习方法在资产定价上的应用。我研究了资产定价的各种深度学习方法，尤其是用于风险溢价测量的方法。所有模型都采用相同的预测信号（公司特征，系统风险和宏观经济学）。我证明了各种最先进的（SOTA）深度学习方法的高性能，并确定具有记忆机制和注意力的RNN在预测性方面具有最佳性能。此外，我使用深度学习预测向投资者展示了巨大的经济收益。我的比较实验的结果突出了设计深度学习模型时领域知识和财务理论的重要性。我还显示回报预测任务为深度学习带来了新的挑战。变化分布的时间会导致分配转移问题，这对于财务时间序列预测至关重要。我证明，深度学习方法可以改善资产风险溢价测量。由于蓬勃发展的深度学习研究，他们可以不断促进对资产定价背后的基本财务机制的研究。我还提出了一种有前途的研究方法，该方法可以通过可解释的人工智能（AI）方法从数据学习并弄清基本的经济机制。我的发现不仅证明了深度学习在开花金融科技开发中的价值合理，而且还强调了他们比传统机器学习方法的前景和优势。

冠状病毒疾病或Covid-19是由SARS-COV-2病毒引起的一种传染病。该病毒引起的第一个确认病例是在2019年12月底在中国武汉市发现的。然后，此案遍布全球，包括印度尼西亚。因此，联合19案被WHO指定为全球大流行。可以使用多种方法（例如深神经网络（DNN））预测COVID-19病例的增长，尤其是在印度尼西亚。可以使用的DNN模型之一是可以预测时间序列的深变压器。该模型经过多种测试方案的培训，以获取最佳模型。评估是找到最佳的超参数。然后，使用预测天数，优化器，功能数量以及与长期短期记忆（LSTM）（LSTM）和复发性神经网络（RNN）的先前模型进行比较的最佳超参数设置进行了进一步的评估。 。所有评估均使用平均绝对百分比误差（MAPE）的度量。基于评估的结果，深层变压器在使用前层归一化时会产生最佳的结果，并预测有一天的MAPE值为18.83。此外，接受Adamax优化器训练的模型在其他测试优化器中获得了最佳性能。 Deep Transformer的性能还超过了其他测试模型，即LSTM和RNN。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

在许多研究中已经表明，考虑相关股票数据预测股票价格变动的重要性，但是，用于建模，嵌入和分析相互关联股票行为的先进图形技术尚未被广泛利用，以预测股票价格变动。该领域的主要挑战是找到一种建模任意股票之间现有关系的方法，并利用这种模型来改善这些股票的预测绩效。该领域中的大多数现有方法都取决于基本的图形分析技术，预测能力有限，并且缺乏通用性和灵活性。在本文中，我们介绍了一个名为GCNET的新颖框架，该框架将任意股票之间的关系建模为称为“影响网络”的图形结构，并使用一组基于历史的预测模型来推断出股票子集的合理初始标签图中的节点。最后，GCNET使用图形卷积网络算法来分析此部分标记的图形，并预测图中每个库存的下一个运动价格方向。 GCNET是一个一般预测框架，可以根据其历史数据来预测相互作用股票的价格波动。我们对纳斯达克指数一组股票的实验和评估表明，GCNET在准确性和MCC测量方面显着提高了SOTA的性能。

人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。

为了提高风能生产的安全性和可靠性，短期预测已成为最重要的。这项研究的重点是挪威大陆架的多步时时空风速预测。图形神经网络（GNN）体系结构用于提取空间依赖性，具有不同的更新功能以学习时间相关性。这些更新功能是使用不同的神经网络体系结构实现的。近年来，一种这样的架构，即变压器，在序列建模中变得越来越流行。已经提出了对原始体系结构的各种改动，以更好地促进时间序列预测，本研究的重点是告密者Logsparse Transformer和AutoFormer。这是第一次将logsparse变压器和自动形态应用于风预测，并且第一次以任何一种或告密者的形式在时空设置以进行风向预测。通过比较时空长的短期记忆（LSTM）和多层感知器（MLP）模型，该研究表明，使用改变的变压器体系结构作为GNN中更新功能的模型能够超越这些功能。此外，我们提出了快速的傅立叶变压器（FFTRANSFORMER），该变压器是基于信号分解的新型变压器体系结构，由两个单独的流组成，分别分析趋势和周期性成分。发现FFTRANSFORMER和自动成型器可在10分钟和1小时的预测中取得优异的结果，而FFTRANSFORMER显着优于所有其他模型的4小时预测。最后，通过改变图表表示的连通性程度，该研究明确说明了所有模型如何利用空间依赖性来改善局部短期风速预测。

Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.

信息爆炸的时代促使累积巨大的时间序列数据，包括静止和非静止时间序列数据。最先进的算法在处理静止时间数据方面取得了体面的性能。然而，解决静止​​时间系列的传统算法不适用于外汇交易的非静止系列。本文调查了适用的模型，可以提高预测未来非静止时间序列序列趋势的准确性。特别是，我们专注于识别潜在模型，并调查识别模式从历史数据的影响。我们提出了基于RNN的\ Rebuttal {The} SEQ2Seq模型的组合，以及通过动态时间翘曲和Zigzag峰谷指示器提取的注重机制和富集的集合特征。定制损失函数和评估指标旨在更加关注预测序列的峰值和谷点。我们的研究结果表明，我们的模型可以在外汇数据集中预测高精度的4小时未来趋势，这在逼真的情况下至关重要，以协助外汇交易决策。我们进一步提供了对各种损失函数，评估指标，模型变体和组件对模型性能的影响的评估。