由于它存在的挑战以及甚至进行预测准确性或预测的潜在奖励，财务预测是机器学习研究的一个重要而活跃的机器学习研究领域。传统上，财务预测严重依赖于结构化财务报表的定量指标和指标。盈利会议呼叫数据（包括文本和音频）是使用深度盈利和相关方法的各种预测任务的重要非结构化数据的重要来源。但是，当前基于深度学习的方法在他们处理数字数据的方式有限;数字通常被视为普通文本令牌，而不利用其底层数字结构。本文介绍了一个以数字为导向的分层变压器模型，以预测库存退货，以及使用多模态对齐收益的财务风险通过利用不同类别的数字（货币，时间，百分比等）及其幅度来调用数据。我们使用现实世界公共可公共数据集介绍了对几个最先进的基线的NumHTML的全面评估结果。结果表明，NumHTML在各种评估指标中显着优于当前最先进的指标，并且它有可能在实际交易环境中提供重大的财务收益。

The stock market prediction has been a traditional yet complex problem researched within diverse research areas and application domains due to its non-linear, highly volatile and complex nature. Existing surveys on stock market prediction often focus on traditional machine learning methods instead of deep learning methods. Deep learning has dominated many domains, gained much success and popularity in recent years in stock market prediction. This motivates us to provide a structured and comprehensive overview of the research on stock market prediction focusing on deep learning techniques. We present four elaborated subtasks of stock market prediction and propose a novel taxonomy to summarize the state-of-the-art models based on deep neural networks from 2011 to 2022. In addition, we also provide detailed statistics on the datasets and evaluation metrics commonly used in the stock market. Finally, we highlight some open issues and point out several future directions by sharing some new perspectives on stock market prediction.

非结构化数据，尤其是文本，在各个领域继续迅速增长。特别是，在金融领域，有大量累积的非结构化财务数据，例如公司定期向监管机构提交的文本披露文件，例如证券和交易委员会（SEC）。这些文档通常很长，并且倾向于包含有关公司绩效的宝贵信息。因此，从这些长文本文档中学习预测模型是非常兴趣的，尤其是用于预测数值关键绩效指标（KPI）。尽管在训练有素的语言模型（LMS）中取得了长足的进步，这些模型从大量的文本数据中学习，但他们仍然在有效的长期文档表示方面挣扎。我们的工作满足了这种批判性需求，即如何开发更好的模型来从长文本文档中提取有用的信息，并学习有效的功能，这些功能可以利用软件财务和风险信息来进行文本回归（预测）任务。在本文中，我们提出并实施了一个深度学习框架，该框架将长文档分为大块，并利用预先训练的LMS处理和将块汇总为矢量表示，然后进行自我关注以提取有价值的文档级特征。我们根据美国银行的10-K公共披露报告以及美国公司提交的另一个报告数据集评估了模型。总体而言，我们的框架优于文本建模的强大基线方法以及仅使用数值数据的基线回归模型。我们的工作提供了更好的见解，即如何利用预先训练的域特异性和微调的长输入LMS来表示长文档可以提高文本数据的表示质量，从而有助于改善预测分析。

由于其免费形式和丰富的信息，收入电话会议吸引了越来越多的研究人员。但是，现有的研究不考虑说话者角色信息。此外，当前的研究并未充分说明公司间关系对公司风险的影响。唯一整合公司网络和收益电话会议的研究是为在不同日期举行收益电话会议的公司构建的无向图表，未能满足没有针对预测任务的时间信息泄漏的要求。为了解决上述问题，我们提出了一个名为“时间虚拟图神经网络（TVGNN）”的新模型，该模型结合了收入电话会议和公司网络以预测公司风险。我们的模型首次将参与者角色信息包含在对话建模中。此外，我们开发了一种新方法来构建公司网络，以确保图表中没有时间信息泄漏。在实验中，我们提出的模型的表现优于所有基准。补充分析证明了该模型的有效性和解释性。

自然语言处理（NLP）通过分析社交媒体或新闻媒体的文本来证明支持财务决策的巨大潜力。在这项工作中，我们建立了一个平台，可以系统地研究NLP股票自动交易算法。与以前的工作相反，我们的平台具有三个功能：（1）我们为每个特定股票提供财务新闻。 （2）我们为每种股票提供各种股票因素。 （3）我们评估了更多与财务相关的指标的绩效。这样的设计使我们能够在更现实的环境中开发和评估NLP库存自动交易算法。除了设计评估平台和数据集集合外，我们还通过提出一个系统来自动从各种输入信息中学习良好的功能表示形式来做出技术贡献。我们算法的关键是一种称为语义角色标签池（SRLP）的方法，该方法利用语义角色标签（SRL）来创建每个新闻段的紧凑表示。基于SRLP，我们进一步纳入了其他股票因素以进行最终预测。此外，我们提出了一种基于SRLP的自我监督的学习策略，以增强系统的分布概括性能。通过我们的实验研究，我们表明所提出的方法可以实现更好的性能，并胜过所有基本线的年度回报率，以及CSI300指数和XIN9指数的最大减收率。我们的ASTOCK数据集和代码可在https://github.com/jinanzou/astock上找到。

可以从金融新闻文章中获取的主要信息来源，这些文章与股票趋势的波动有一些相关性。在本文中，我们从多个现实的观点研究了金融新闻对股票趋势的影响。其背后的直觉是基于新闻事件不同间隔的新闻不确定性以及每个金融新闻中缺乏注释的新闻不确定性。在多个实例学习（MIL）的情况下，将培训实例安排在袋子中，并为整个袋子而不是实例分配标签，我们开发了一种灵活且适应性的多态度学习模型，并评估其在方向运动预测中的能力《金融新闻数据集》中的标准和POORS 500指数。具体来说，我们将每个交易日视为一个袋子，每个交易日都会发生一定数量的新闻作为每个袋子的情况。实验结果表明，与其他最先进的方法和基准相比，我们提出的基于多实体的框架在趋势预测的准确性方面获得了出色的结果。

股票市场是一个网络，为几乎所有主要的经济交易提供平台。虽然投资股票市场是一个好主意，但对单个股票进行投资可能不是一个好主意，尤其是对于休闲投资者而言。智能储备需要深入研究和大量奉献精神。预测这种股票价值提供了巨大的套利利润机会。找到解决方案的这种吸引力促使研究人员找到了过去的问题，例如波动，季节性和时间依赖时间。本文调查了自然语言处理和机器学习技术领域的最新文献，用于预测股票市场的发展。本文的主要贡献包括许多最近的文章的复杂分类以及股票市场预测研究及其相关领域的最新研究趋势。

股票价格随着典型的趋势波动而不是纯粹随机散步。传统上，未来库存流动的预测是基于历史贸易记录。如今，随着社交媒体的发展，市场上的许多积极参与者选择宣传他们的策略，这为窗户提供了一个窗口，通过提取社交媒体背后的语义来瞥见整个市场对未来运动的态度。但是，社交媒体包含相互冲突的信息，无法完全取代历史记录。在这项工作中，我们提出了一种多模态注意网络，以减少冲突并集成语义和数字特征，以全面预测未来库存运动。具体而言，我们首先从社交媒体提取语义信息，并根据海报的身份和公众声誉估算他们的信誉。然后我们将语义从在线帖子和数字特征融入历史记录，以进行交易策略。实验结果表明，我们的方法在预测准确性（61.20 \％）和交易利润（9.13 \％）中，我们的方法优于先前的方法。它表明，我们的方法提高了库存运动预测的性能，并向未来的多种式融合朝向库存预测的研究。

越来越多的投资者和机器学习模型依靠社交媒体（例如Twitter和Reddit）来收集实时信息和情感以预测股票价格变动。尽管已知基于文本的模型容易受到对抗性攻击的影响，但库存预测模型是否具有相似的漏洞。在本文中，我们尝试了各种对抗性攻击配置，以欺骗三个股票预测受害者模型。我们通过解决语义和预算限制的组合优化问题来解决对抗生成的任务。我们的结果表明，提出的攻击方法可以通过简单地将扰动但语义上相似的推文连接来实现一致的成功率，并在交易模拟中造成巨大的货币损失。

由于市场的不确定性，预测文本信息的股票价格是一个具有挑战性的任务，并且难以理解机器的观点。以前的研究主要关注基于单一新闻的情绪提取。但是，金融市场上的股票可以高度相关，有关一股股票的一个新闻可以迅速影响其他股票的价格。要考虑到这一效果，我们提出了一种新的股票运动预测框架：用于库存预测（MGRN）的多图复发网络。该架构允许将文本情绪与其他财务数据中提取的财务新闻和多个关系信息相结合。通过精度测试和STOXX Europe 600指数中的股票的交易仿真，我们展示了我们模型的更好的性能而不是其他基准。

Language model pre-training has proven to be useful in learning universal language representations. As a state-of-the-art language model pre-training model, BERT (Bidirectional Encoder Representations from Transformers) has achieved amazing results in many language understanding tasks. In this paper, we conduct exhaustive experiments to investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning. Finally, the proposed solution obtains new state-of-the-art results on eight widely-studied text classification datasets. 1

语言基础与视觉是一个积极的研究领域，旨在通过利用视觉感知知识来丰富基于文本的单词含义的表示。尽管进行了多次接地尝试，但仍不清楚如何以一种保持文本和视觉知识的适当平衡的方式将视觉知识注入语言嵌入一词。一些普遍的问题是以下内容。视觉基础对抽象单词有益吗？还是仅限于具体单词的贡献？弥合文本和视觉之间差距的最佳方法是什么？通过视觉接地的文本嵌入，我们可以获得多少收益？本研究通过提出一种简单但非常有效的基础方法来解决这些问题，以预先训练的单词嵌入。我们的模型将文本嵌入与视觉保持一致，同时在很大程度上保留了在文本语料库中使用单词使用的分布统计数据。通过应用学习的对齐方式，我们能够生成视觉接地的嵌入，用于看不见的单词，包括抽象单词。一系列对单词相似性基准的评估表明，视觉接地不仅对具体单词有益，而且对抽象单词也有益。我们还表明，我们的视觉接地方法为上下文化的嵌入提供了优势，但只有在对相对尺寸相对较小的语料库进行培训时，我们才能提供优势。可以在https://github.com/hazel1994/visaly_grounded_word_word_embeddings_2上获得英语的代码和接地嵌入。

股票运动预测（SMP）旨在预测上市公司的股份量股份，由于金融市场的挥发性，这是一个具有挑战性的任务。最近的财务研究表明，动量溢出效应在股票波动中发挥着重要作用。然而，以前的研究通常只学习相关公司之间的简单连接信息，这不可避免地未能模仿真实金融市场中上市公司的复杂关系。为了解决这个问题，我们首先建立一个更全面的市场知识图（MKG），其中包含有限的公司，包括上市公司及其相关的高管，以及包括明确关系和隐性关系的混合关系。之后，我们提出了一种新颖的双重关注网络，以了解基于构造的MKG用于库存预测的势头溢出信号。对九个SOTA基线构建数据集的实证实验表明，所提出的丹林公司能够改善与构造的MKG的库存预测。

保持个人特征和复杂的关系，广泛利用和研究了图表数据。通过更新和聚合节点的表示，能够捕获结构信息，图形神经网络（GNN）模型正在获得普及。在财务背景下，该图是基于实际数据构建的，这导致复杂的图形结构，因此需要复杂的方法。在这项工作中，我们在最近的财务环境中对GNN模型进行了全面的审查。我们首先将普通使用的财务图分类并总结每个节点的功能处理步骤。然后，我们总结了每个地图类型的GNN方法，每个区域的应用，并提出一些潜在的研究领域。

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。

Short text classification is a crucial and challenging aspect of Natural Language Processing. For this reason, there are numerous highly specialized short text classifiers. However, in recent short text research, State of the Art (SOTA) methods for traditional text classification, particularly the pure use of Transformers, have been unexploited. In this work, we examine the performance of a variety of short text classifiers as well as the top performing traditional text classifier. We further investigate the effects on two new real-world short text datasets in an effort to address the issue of becoming overly dependent on benchmark datasets with a limited number of characteristics. Our experiments unambiguously demonstrate that Transformers achieve SOTA accuracy on short text classification tasks, raising the question of whether specialized short text techniques are necessary.

我们提出了一种三级等级变压器网络（3级），用于在临床笔记上建模长期依赖性，以患者级预测的目的。该网络配备了三个级别的基于变压器的编码器，以逐步地从单词中学到句子，句子票据，最后给患者注释。单词到句子的第一级直接将预先训练的BERT模型应用为完全可训练的组件。虽然第二和第三级实现了一堆基于变压器的编码器，但在最终患者表示进入临床预测的分类层之前。与传统的BERT模型相比，我们的模型将512个令牌的最大输入长度增加到适合建模大量临床笔记的更长的序列。我们经验检查不同的超参数，以识别给定的计算资源限制的最佳权衡。我们的实验结果对不同预测任务的模拟-III数据集表明，所提出的等级变压器网络优于以前的最先进的模型，包括但不限于BigBird。

社交媒体网络已成为人们生活的重要方面，它是其思想，观点和情感的平台。因此，自动化情绪分析（SA）对于以其他信息来源无法识别人们的感受至关重要。对这些感觉的分析揭示了各种应用，包括品牌评估，YouTube电影评论和医疗保健应用。随着社交媒体的不断发展，人们以不同形式发布大量信息，包括文本，照片，音频和视频。因此，传统的SA算法已变得有限，因为它们不考虑其他方式的表现力。通过包括来自各种物质来源的此类特征，这些多模式数据流提供了新的机会，以优化基于文本的SA之外的预期结果。我们的研究重点是多模式SA的最前沿领域，该领域研究了社交媒体网络上发布的视觉和文本数据。许多人更有可能利用这些信息在这些平台上表达自己。为了作为这个快速增长的领域的学者资源，我们介绍了文本和视觉SA的全面概述，包括数据预处理，功能提取技术，情感基准数据集以及适合每个字段的多重分类方法的疗效。我们还简要介绍了最常用的数据融合策略，并提供了有关Visual Textual SA的现有研究的摘要。最后，我们重点介绍了最重大的挑战，并调查了一些重要的情感应用程序。

多文件摘要（MDS）是信息聚合的有效工具，它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是，首先，系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学，总结神经网络的设计策略，并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后，我们提出了与这个新的和令人兴奋的领域有关的几个方向。

As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.