自然语言处理（NLP）通过分析社交媒体或新闻媒体的文本来证明支持财务决策的巨大潜力。在这项工作中，我们建立了一个平台，可以系统地研究NLP股票自动交易算法。与以前的工作相反，我们的平台具有三个功能：（1）我们为每个特定股票提供财务新闻。 （2）我们为每种股票提供各种股票因素。 （3）我们评估了更多与财务相关的指标的绩效。这样的设计使我们能够在更现实的环境中开发和评估NLP库存自动交易算法。除了设计评估平台和数据集集合外，我们还通过提出一个系统来自动从各种输入信息中学习良好的功能表示形式来做出技术贡献。我们算法的关键是一种称为语义角色标签池（SRLP）的方法，该方法利用语义角色标签（SRL）来创建每个新闻段的紧凑表示。基于SRLP，我们进一步纳入了其他股票因素以进行最终预测。此外，我们提出了一种基于SRLP的自我监督的学习策略，以增强系统的分布概括性能。通过我们的实验研究，我们表明所提出的方法可以实现更好的性能，并胜过所有基本线的年度回报率，以及CSI300指数和XIN9指数的最大减收率。我们的ASTOCK数据集和代码可在https://github.com/jinanzou/astock上找到。

The stock market prediction has been a traditional yet complex problem researched within diverse research areas and application domains due to its non-linear, highly volatile and complex nature. Existing surveys on stock market prediction often focus on traditional machine learning methods instead of deep learning methods. Deep learning has dominated many domains, gained much success and popularity in recent years in stock market prediction. This motivates us to provide a structured and comprehensive overview of the research on stock market prediction focusing on deep learning techniques. We present four elaborated subtasks of stock market prediction and propose a novel taxonomy to summarize the state-of-the-art models based on deep neural networks from 2011 to 2022. In addition, we also provide detailed statistics on the datasets and evaluation metrics commonly used in the stock market. Finally, we highlight some open issues and point out several future directions by sharing some new perspectives on stock market prediction.

由于它存在的挑战以及甚至进行预测准确性或预测的潜在奖励，财务预测是机器学习研究的一个重要而活跃的机器学习研究领域。传统上，财务预测严重依赖于结构化财务报表的定量指标和指标。盈利会议呼叫数据（包括文本和音频）是使用深度盈利和相关方法的各种预测任务的重要非结构化数据的重要来源。但是，当前基于深度学习的方法在他们处理数字数据的方式有限;数字通常被视为普通文本令牌，而不利用其底层数字结构。本文介绍了一个以数字为导向的分层变压器模型，以预测库存退货，以及使用多模态对齐收益的财务风险通过利用不同类别的数字（货币，时间，百分比等）及其幅度来调用数据。我们使用现实世界公共可公共数据集介绍了对几个最先进的基线的NumHTML的全面评估结果。结果表明，NumHTML在各种评估指标中显着优于当前最先进的指标，并且它有可能在实际交易环境中提供重大的财务收益。

可以从金融新闻文章中获取的主要信息来源，这些文章与股票趋势的波动有一些相关性。在本文中，我们从多个现实的观点研究了金融新闻对股票趋势的影响。其背后的直觉是基于新闻事件不同间隔的新闻不确定性以及每个金融新闻中缺乏注释的新闻不确定性。在多个实例学习（MIL）的情况下，将培训实例安排在袋子中，并为整个袋子而不是实例分配标签，我们开发了一种灵活且适应性的多态度学习模型，并评估其在方向运动预测中的能力《金融新闻数据集》中的标准和POORS 500指数。具体来说，我们将每个交易日视为一个袋子，每个交易日都会发生一定数量的新闻作为每个袋子的情况。实验结果表明，与其他最先进的方法和基准相比，我们提出的基于多实体的框架在趋势预测的准确性方面获得了出色的结果。

由于市场的不确定性，预测文本信息的股票价格是一个具有挑战性的任务，并且难以理解机器的观点。以前的研究主要关注基于单一新闻的情绪提取。但是，金融市场上的股票可以高度相关，有关一股股票的一个新闻可以迅速影响其他股票的价格。要考虑到这一效果，我们提出了一种新的股票运动预测框架：用于库存预测（MGRN）的多图复发网络。该架构允许将文本情绪与其他财务数据中提取的财务新闻和多个关系信息相结合。通过精度测试和STOXX Europe 600指数中的股票的交易仿真，我们展示了我们模型的更好的性能而不是其他基准。

股票市场是一个网络，为几乎所有主要的经济交易提供平台。虽然投资股票市场是一个好主意，但对单个股票进行投资可能不是一个好主意，尤其是对于休闲投资者而言。智能储备需要深入研究和大量奉献精神。预测这种股票价值提供了巨大的套利利润机会。找到解决方案的这种吸引力促使研究人员找到了过去的问题，例如波动，季节性和时间依赖时间。本文调查了自然语言处理和机器学习技术领域的最新文献，用于预测股票市场的发展。本文的主要贡献包括许多最近的文章的复杂分类以及股票市场预测研究及其相关领域的最新研究趋势。

原油价格预测研究由于其对全球经济的重大影响，从学者和政策制定者引起了巨大的关注。除供需外，原油价格在很大程度上受到各种因素的影响，如经济发展，金融市场，冲突，战争和政治事件。最先前的研究将原油价格预测视为时间序列或计量计量的可变预测问题。虽然最近已经考虑了考虑实时新闻事件的影响，但大多数作品主要使用原始新闻头条或主题模型来提取文本功能，而不会深刻探索事件信息。在这项研究中，提出了一种新的原油价格预测框架，Agesl，用于处理这个问题。在我们的方法中，利用开放域事件提取算法提取底层相关事件，并且文本情绪分析算法用于从大规模新闻中提取情绪。然后，一系列深度神经网络集成了新闻事件特征，感情特征和历史价格特征，以预测未来原油价格。实证实验是在西德克萨斯中间体（WTI）原油价格数据上进行的，结果表明，与几种基准方法相比，我们的方法获得了卓越的性能。

价格运动的预测旨在根据当前的市场条件和其他相关信息来预测金融资产的未来趋势。最近，机器学习（ML）方法已经变得越来越流行，并在学术界和工业中都取得了预测的有希望的结果。大多数现有的ML解决方案将预测问题作为分类（预测方向）或回归（以预测回报）问题，以期在整个培训数据集中。但是，由于财务数据的信噪比和随机性质极低，良好的交易机会极为稀缺。结果，如果没有仔细选择潜在的有利可图的样本，这种ML方法容易捕获噪声而不是真实信号的模式。为了解决这个问题，我们提出了一个新颖的价格变动预测框架，称为“地方意识到的关注和迭代精致标签”（LARA），由两个主要组成部分组成：1）局部意识 - 引起关注会自动提取潜在的有利可图的样品，以通过到周围的周围来提取。班级感知标签信息。此外，配备了公制学习技术，当地意识到的注意力享受特定于任务的距离指标，并以更有效的方式分散了对潜在有利可图的样本的关注。 2）迭代精致标签进一步迭代地完善了嘈杂样品的标签，然后结合了学到的预测因子，使其与看不见和嘈杂的样品相结合。在对三个现实世界金融市场的许多实验中：ETF，股票和加密货币，Lara与传统的时间序列分析方法和QLIB平台上的一组基于机器的竞争对手相比，取得了卓越的性能。广泛的消融研究和实验还表明，拉拉确实捕获了更可靠的交易机会。

如何快速自动自动挖掘有效的信息并提供投资决策，吸引了学术界和行业的更多关注。全球大流行已经提出了新的挑战。本文提出了一个两阶段的alphamldigger，可有效地发现高度波动的市场回报。在第1阶段，提出了一个深层的NLP模型，以将Sina Microblog上的博客转移到市场情绪。在第2阶段，预测的市场情绪与社交网络指标功能和股票市场历史记录功能相结合，以使用不同的机器学习模型和优化器来预测股票移动。结果表明，我们的alphamldigger在测试集中的准确性比以前的作品更高，并且在某种程度上对Covid-19的负面影响是牢固的。

非结构化数据，尤其是文本，在各个领域继续迅速增长。特别是，在金融领域，有大量累积的非结构化财务数据，例如公司定期向监管机构提交的文本披露文件，例如证券和交易委员会（SEC）。这些文档通常很长，并且倾向于包含有关公司绩效的宝贵信息。因此，从这些长文本文档中学习预测模型是非常兴趣的，尤其是用于预测数值关键绩效指标（KPI）。尽管在训练有素的语言模型（LMS）中取得了长足的进步，这些模型从大量的文本数据中学习，但他们仍然在有效的长期文档表示方面挣扎。我们的工作满足了这种批判性需求，即如何开发更好的模型来从长文本文档中提取有用的信息，并学习有效的功能，这些功能可以利用软件财务和风险信息来进行文本回归（预测）任务。在本文中，我们提出并实施了一个深度学习框架，该框架将长文档分为大块，并利用预先训练的LMS处理和将块汇总为矢量表示，然后进行自我关注以提取有价值的文档级特征。我们根据美国银行的10-K公共披露报告以及美国公司提交的另一个报告数据集评估了模型。总体而言，我们的框架优于文本建模的强大基线方法以及仅使用数值数据的基线回归模型。我们的工作提供了更好的见解，即如何利用预先训练的域特异性和微调的长输入LMS来表示长文档可以提高文本数据的表示质量，从而有助于改善预测分析。

在文档级事件提取（DEE）任务中，事件参数始终散布在句子（串行问题）中，并且多个事件可能存在于一个文档（多事件问题）中。在本文中，我们认为事件参数的关系信息对于解决上述两个问题具有重要意义，并提出了一个新的DEE框架，该框架可以对关系依赖关系进行建模，称为关系授权的文档级事件提取（REDEE）。更具体地说，该框架具有一种新颖的量身定制的变压器，称为关系增强的注意变形金刚（RAAT）。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息，我们介绍了一个单独的事件关系预测任务，并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性，该方法可以在两个公共数据集上实现最新性能。我们的代码可在https：// github上找到。 com/tencentyouturesearch/raat。

股票价格随着典型的趋势波动而不是纯粹随机散步。传统上，未来库存流动的预测是基于历史贸易记录。如今，随着社交媒体的发展，市场上的许多积极参与者选择宣传他们的策略，这为窗户提供了一个窗口，通过提取社交媒体背后的语义来瞥见整个市场对未来运动的态度。但是，社交媒体包含相互冲突的信息，无法完全取代历史记录。在这项工作中，我们提出了一种多模态注意网络，以减少冲突并集成语义和数字特征，以全面预测未来库存运动。具体而言，我们首先从社交媒体提取语义信息，并根据海报的身份和公众声誉估算他们的信誉。然后我们将语义从在线帖子和数字特征融入历史记录，以进行交易策略。实验结果表明，我们的方法在预测准确性（61.20 \％）和交易利润（9.13 \％）中，我们的方法优于先前的方法。它表明，我们的方法提高了库存运动预测的性能，并向未来的多种式融合朝向库存预测的研究。

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.

在许多研究中已经表明，考虑相关股票数据预测股票价格变动的重要性，但是，用于建模，嵌入和分析相互关联股票行为的先进图形技术尚未被广泛利用，以预测股票价格变动。该领域的主要挑战是找到一种建模任意股票之间现有关系的方法，并利用这种模型来改善这些股票的预测绩效。该领域中的大多数现有方法都取决于基本的图形分析技术，预测能力有限，并且缺乏通用性和灵活性。在本文中，我们介绍了一个名为GCNET的新颖框架，该框架将任意股票之间的关系建模为称为“影响网络”的图形结构，并使用一组基于历史的预测模型来推断出股票子集的合理初始标签图中的节点。最后，GCNET使用图形卷积网络算法来分析此部分标记的图形，并预测图中每个库存的下一个运动价格方向。 GCNET是一个一般预测框架，可以根据其历史数据来预测相互作用股票的价格波动。我们对纳斯达克指数一组股票的实验和评估表明，GCNET在准确性和MCC测量方面显着提高了SOTA的性能。

Script event prediction aims to predict the subsequent event given the context. This requires the capability to infer the correlations between events. Recent works have attempted to improve event correlation reasoning by using pretrained language models and incorporating external knowledge~(e.g., discourse relations). Though promising results have been achieved, some challenges still remain. First, the pretrained language models adopted by current works ignore event-level knowledge, resulting in an inability to capture the correlations between events well. Second, modeling correlations between events with discourse relations is limited because it can only capture explicit correlations between events with discourse markers, and cannot capture many implicit correlations. To this end, we propose a novel generative approach for this task, in which a pretrained language model is fine-tuned with an event-centric pretraining objective and predicts the next event within a generative paradigm. Specifically, we first introduce a novel event-level blank infilling strategy as the learning objective to inject event-level knowledge into the pretrained language model, and then design a likelihood-based contrastive loss for fine-tuning the generative model. Instead of using an additional prediction layer, we perform prediction by using sequence likelihoods generated by the generative model. Our approach models correlations between events in a soft way without any external knowledge. The likelihood-based prediction eliminates the need to use additional networks to make predictions and is somewhat interpretable since it scores each word in the event. Experimental results on the multi-choice narrative cloze~(MCNC) task demonstrate that our approach achieves better results than other state-of-the-art baselines. Our code will be available at \url{https://github.com/zhufq00/mcnc}.

在视觉上丰富的文件（VRD）上的结构化文本理解是文档智能的重要组成部分。由于VRD中的内容和布局的复杂性，结构化文本理解是一项有挑战性的任务。大多数现有的研究将此问题与两个子任务结尾：实体标记和实体链接，这需要整体地了解令牌和段级别的文档的上下文。但是，很少的工作已经关注有效地从不同层次提取结构化数据的解决方案。本文提出了一个名为structext的统一框架，它对于处理两个子任务是灵活的，有效的。具体地，基于变压器，我们引入了一个段令牌对齐的编码器，以处理不同粒度水平的实体标记和实体链接任务。此外，我们设计了一种具有三个自我监督任务的新型预训练策略，以学习更丰富的代表性。 Structext使用现有屏蔽的视觉语言建模任务和新句子长度预测和配对框方向任务，以跨文本，图像和布局结合多模态信息。我们评估我们在分段级别和令牌级别的结构化文本理解的方法，并表明它优于最先进的同行，在Funsd，Srie和Ephoie数据集中具有显着优越的性能。

股票运动预测（SMP）旨在预测上市公司的股份量股份，由于金融市场的挥发性，这是一个具有挑战性的任务。最近的财务研究表明，动量溢出效应在股票波动中发挥着重要作用。然而，以前的研究通常只学习相关公司之间的简单连接信息，这不可避免地未能模仿真实金融市场中上市公司的复杂关系。为了解决这个问题，我们首先建立一个更全面的市场知识图（MKG），其中包含有限的公司，包括上市公司及其相关的高管，以及包括明确关系和隐性关系的混合关系。之后，我们提出了一种新颖的双重关注网络，以了解基于构造的MKG用于库存预测的势头溢出信号。对九个SOTA基线构建数据集的实证实验表明，所提出的丹林公司能够改善与构造的MKG的库存预测。

立场检测旨在确定文本的作者是否赞成，反对或中立。这项任务的主要挑战是两个方面的：由于不同目标以及缺乏目标的上下文信息而产生的几乎没有学习。现有作品主要通过设计基于注意力的模型或引入嘈杂的外部知识来解决第二期，而第一个问题仍未探索。在本文中，受到预训练的语言模型（PLM）的潜在能力（PLM）的启发，我们建议介绍基于立场检测的及时基于迅速的微调。 PLM可以为目标提供基本的上下文信息，并通过提示启用几次学习。考虑到目标在立场检测任务中的关键作用，我们设计了目标感知的提示并提出了一种新颖的语言。我们的语言器不会将每个标签映射到具体单词，而是将每个标签映射到矢量，并选择最能捕获姿势与目标之间相关性的标签。此外，为了减轻通过单人工提示来处理不同目标的可能缺陷，我们建议将信息从多个提示中学到的信息提炼。实验结果表明，我们提出的模型在全数据和少数场景中的表现出色。

中文拼写检查（CSC）的任务旨在检测和纠正文本中可以找到的拼写错误。虽然手动注释高质量的数据集很昂贵且耗时，因此培训数据集的规模通常很小（例如，Sighan15仅包含2339个用于培训的样本），因此基于学习的模型通常会遭受数据稀疏限制。和过度合适的问题，尤其是在大语言模型时代。在本文中，我们致力于研究\ textbf {无监督}范式来解决CSC问题，我们提出了一个名为\ textbf {uchecker}的框架，以进行无监督的拼写错误检测和校正。考虑到其强大的语言诊断能力，将蒙面审慎的语言模型（例如BERT）引入为骨干模型。从各种且灵活的掩蔽操作中受益，我们提出了一种混乱集引导的掩盖策略，以精细培训掩盖语言模型，以进一步提高无监督的检测和校正的性能。标准数据集的实验结果证明了我们提出的模型Uchecker在字符级别和句子级的准确性，精度，回忆和F1分别对拼写错误检测和校正任务分别进行的效率。