由于它存在的挑战以及甚至进行预测准确性或预测的潜在奖励,财务预测是机器学习研究的一个重要而活跃的机器学习研究领域。传统上,财务预测严重依赖于结构化财务报表的定量指标和指标。盈利会议呼叫数据(包括文本和音频)是使用深度盈利和相关方法的各种预测任务的重要非结构化数据的重要来源。但是,当前基于深度学习的方法在他们处理数字数据的方式有限;数字通常被视为普通文本令牌,而不利用其底层数字结构。本文介绍了一个以数字为导向的分层变压器模型,以预测库存退货,以及使用多模态对齐收益的财务风险通过利用不同类别的数字(货币,时间,百分比等)及其幅度来调用数据。我们使用现实世界公共可公共数据集介绍了对几个最先进的基线的NumHTML的全面评估结果。结果表明,NumHTML在各种评估指标中显着优于当前最先进的指标,并且它有可能在实际交易环境中提供重大的财务收益。
translated by 谷歌翻译
可以从金融新闻文章中获取的主要信息来源,这些文章与股票趋势的波动有一些相关性。在本文中,我们从多个现实的观点研究了金融新闻对股票趋势的影响。其背后的直觉是基于新闻事件不同间隔的新闻不确定性以及每个金融新闻中缺乏注释的新闻不确定性。在多个实例学习(MIL)的情况下,将培训实例安排在袋子中,并为整个袋子而不是实例分配标签,我们开发了一种灵活且适应性的多态度学习模型,并评估其在方向运动预测中的能力《金融新闻数据集》中的标准和POORS 500指数。具体来说,我们将每个交易日视为一个袋子,每个交易日都会发生一定数量的新闻作为每个袋子的情况。实验结果表明,与其他最先进的方法和基准相比,我们提出的基于多实体的框架在趋势预测的准确性方面获得了出色的结果。
translated by 谷歌翻译
原油价格预测研究由于其对全球经济的重大影响,从学者和政策制定者引起了巨大的关注。除供需外,原油价格在很大程度上受到各种因素的影响,如经济发展,金融市场,冲突,战争和政治事件。最先前的研究将原油价格预测视为时间序列或计量计量的可变预测问题。虽然最近已经考虑了考虑实时新闻事件的影响,但大多数作品主要使用原始新闻头条或主题模型来提取文本功能,而不会深刻探索事件信息。在这项研究中,提出了一种新的原油价格预测框架,Agesl,用于处理这个问题。在我们的方法中,利用开放域事件提取算法提取底层相关事件,并且文本情绪分析算法用于从大规模新闻中提取情绪。然后,一系列深度神经网络集成了新闻事件特征,感情特征和历史价格特征,以预测未来原油价格。实证实验是在西德克萨斯中间体(WTI)原油价格数据上进行的,结果表明,与几种基准方法相比,我们的方法获得了卓越的性能。
translated by 谷歌翻译
价格运动的预测旨在根据当前的市场条件和其他相关信息来预测金融资产的未来趋势。最近,机器学习(ML)方法已经变得越来越流行,并在学术界和工业中都取得了预测的有希望的结果。大多数现有的ML解决方案将预测问题作为分类(预测方向)或回归(以预测回报)问题,以期在整个培训数据集中。但是,由于财务数据的信噪比和随机性质极低,良好的交易机会极为稀缺。结果,如果没有仔细选择潜在的有利可图的样本,这种ML方法容易捕获噪声而不是真实信号的模式。为了解决这个问题,我们提出了一个新颖的价格变动预测框架,称为“地方意识到的关注和迭代精致标签”(LARA),由两个主要组成部分组成:1)局部意识 - 引起关注会自动提取潜在的有利可图的样品,以通过到周围的周围来提取。班级感知标签信息。此外,配备了公制学习技术,当地意识到的注意力享受特定于任务的距离指标,并以更有效的方式分散了对潜在有利可图的样本的关注。 2)迭代精致标签进一步迭代地完善了嘈杂样品的标签,然后结合了学到的预测因子,使其与看不见和嘈杂的样品相结合。在对三个现实世界金融市场的许多实验中:ETF,股票和加密货币,Lara与传统的时间序列分析方法和QLIB平台上的一组基于机器的竞争对手相比,取得了卓越的性能。广泛的消融研究和实验还表明,拉拉确实捕获了更可靠的交易机会。
translated by 谷歌翻译
由于市场的不确定性,预测文本信息的股票价格是一个具有挑战性的任务,并且难以理解机器的观点。以前的研究主要关注基于单一新闻的情绪提取。但是,金融市场上的股票可以高度相关,有关一股股票的一个新闻可以迅速影响其他股票的价格。要考虑到这一效果,我们提出了一种新的股票运动预测框架:用于库存预测(MGRN)的多图复发网络。该架构允许将文本情绪与其他财务数据中提取的财务新闻和多个关系信息相结合。通过精度测试和STOXX Europe 600指数中的股票的交易仿真,我们展示了我们模型的更好的性能而不是其他基准。
translated by 谷歌翻译
如何快速自动自动挖掘有效的信息并提供投资决策,吸引了学术界和行业的更多关注。全球大流行已经提出了新的挑战。本文提出了一个两阶段的alphamldigger,可有效地发现高度波动的市场回报。在第1阶段,提出了一个深层的NLP模型,以将Sina Microblog上的博客转移到市场情绪。在第2阶段,预测的市场情绪与社交网络指标功能和股票市场历史记录功能相结合,以使用不同的机器学习模型和优化器来预测股票移动。结果表明,我们的alphamldigger在测试集中的准确性比以前的作品更高,并且在某种程度上对Covid-19的负面影响是牢固的。
translated by 谷歌翻译
在文档级事件提取(DEE)任务中,事件参数始终散布在句子(串行问题)中,并且多个事件可能存在于一个文档(多事件问题)中。在本文中,我们认为事件参数的关系信息对于解决上述两个问题具有重要意义,并提出了一个新的DEE框架,该框架可以对关系依赖关系进行建模,称为关系授权的文档级事件提取(REDEE)。更具体地说,该框架具有一种新颖的量身定制的变压器,称为关系增强的注意变形金刚(RAAT)。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息,我们介绍了一个单独的事件关系预测任务,并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性,该方法可以在两个公共数据集上实现最新性能。我们的代码可在https:// github上找到。 com/tencentyouturesearch/raat。
translated by 谷歌翻译
非结构化数据,尤其是文本,在各个领域继续迅速增长。特别是,在金融领域,有大量累积的非结构化财务数据,例如公司定期向监管机构提交的文本披露文件,例如证券和交易委员会(SEC)。这些文档通常很长,并且倾向于包含有关公司绩效的宝贵信息。因此,从这些长文本文档中学习预测模型是非常兴趣的,尤其是用于预测数值关键绩效指标(KPI)。尽管在训练有素的语言模型(LMS)中取得了长足的进步,这些模型从大量的文本数据中学习,但他们仍然在有效的长期文档表示方面挣扎。我们的工作满足了这种批判性需求,即如何开发更好的模型来从长文本文档中提取有用的信息,并学习有效的功能,这些功能可以利用软件财务和风险信息来进行文本回归(预测)任务。在本文中,我们提出并实施了一个深度学习框架,该框架将长文档分为大块,并利用预先训练的LMS处理和将块汇总为矢量表示,然后进行自我关注以提取有价值的文档级特征。我们根据美国银行的10-K公共披露报告以及美国公司提交的另一个报告数据集评估了模型。总体而言,我们的框架优于文本建模的强大基线方法以及仅使用数值数据的基线回归模型。我们的工作提供了更好的见解,即如何利用预先训练的域特异性和微调的长输入LMS来表示长文档可以提高文本数据的表示质量,从而有助于改善预测分析。
translated by 谷歌翻译
股票价格随着典型的趋势波动而不是纯粹随机散步。传统上,未来库存流动的预测是基于历史贸易记录。如今,随着社交媒体的发展,市场上的许多积极参与者选择宣传他们的策略,这为窗户提供了一个窗口,通过提取社交媒体背后的语义来瞥见整个市场对未来运动的态度。但是,社交媒体包含相互冲突的信息,无法完全取代历史记录。在这项工作中,我们提出了一种多模态注意网络,以减少冲突并集成语义和数字特征,以全面预测未来库存运动。具体而言,我们首先从社交媒体提取语义信息,并根据海报的身份和公众声誉估算他们的信誉。然后我们将语义从在线帖子和数字特征融入历史记录,以进行交易策略。实验结果表明,我们的方法在预测准确性(61.20 \%)和交易利润(9.13 \%)中,我们的方法优于先前的方法。它表明,我们的方法提高了库存运动预测的性能,并向未来的多种式融合朝向库存预测的研究。
translated by 谷歌翻译
BERT,ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是,当应用于特定域时,这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况,Twitter是一种不断变化的信息流,以非正式和复杂的语言编写的信息流,鉴于人类的重要作用,每个信息都需要仔细评估,即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下,特定语言的细微差别用来迷失翻译。为了面对这些挑战,我们提出了\ textbf {bertuit},这是迄今为止针对西班牙语提出的较大变压器,使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源,以更好地了解西班牙Twitter,并用于专注于该社交网络的应用程序,特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估,并与M-Bert,XLM-Roberta和XLM-T进行了比较,该任务非常具有竞争性的多语言变压器。在这种情况下,使用应用程序显示了我们方法的实用性:一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播,这意味着在英语说话之外转移时,变形金刚的性能可能会受到影响。
translated by 谷歌翻译
通讯和社交网络可以从分析师和公众提供公司提供的产品和/或服务的角度来反映市场和特定股票的意见。因此,这些文本的情感分析可以提供有用的信息,以帮助投资者在市场上进行贸易。在本文中,建议通过预测-1和+1之间的范围内的分数(数据类型Rime)来确定与公司和股票相关的情绪。具体而言,我们精细调整了罗伯塔模型来处理头条和微博,并将其与其他变压器层组合,以处理与情绪词典的句子分析,以改善情绪分析。我们在Semeval-2017任务5发布的财务数据上进行了评估,我们的命题优于Semeval-2017任务5和强基线的最佳系统。实际上,与财务和一般情绪词典的上下文句子分析的组合为我们的模型提供了有用的信息,并允许它产生更可靠的情感分数。
translated by 谷歌翻译
在视觉上丰富的文件(VRD)上的结构化文本理解是文档智能的重要组成部分。由于VRD中的内容和布局的复杂性,结构化文本理解是一项有挑战性的任务。大多数现有的研究将此问题与两个子任务结尾:实体标记和实体链接,这需要整体地了解令牌和段级别的文档的上下文。但是,很少的工作已经关注有效地从不同层次提取结构化数据的解决方案。本文提出了一个名为structext的统一框架,它对于处理两个子任务是灵活的,有效的。具体地,基于变压器,我们引入了一个段令牌对齐的编码器,以处理不同粒度水平的实体标记和实体链接任务。此外,我们设计了一种具有三个自我监督任务的新型预训练策略,以学习更丰富的代表性。 Structext使用现有屏蔽的视觉语言建模任务和新句子长度预测和配对框方向任务,以跨文本,图像和布局结合多模态信息。我们评估我们在分段级别和令牌级别的结构化文本理解的方法,并表明它优于最先进的同行,在Funsd,Srie和Ephoie数据集中具有显着优越的性能。
translated by 谷歌翻译
来自变压器(BERT)的双向编码器表示显示了各种NLP任务的奇妙改进,并且已经提出了其连续的变体来进一步提高预先训练的语言模型的性能。在本文中,我们的目标是首先介绍中国伯特的全文掩蔽(WWM)策略,以及一系列中国预培训的语言模型。然后我们还提出了一种简单但有效的型号,称为Macbert,这在几种方面提高了罗伯塔。特别是,我们提出了一种称为MLM作为校正(MAC)的新掩蔽策略。为了展示这些模型的有效性,我们创建了一系列中国预先培训的语言模型,作为我们的基线,包括BERT,Roberta,Electra,RBT等。我们对十个中国NLP任务进行了广泛的实验,以评估创建的中国人托管语言模型以及提议的麦克白。实验结果表明,Macbert可以在许多NLP任务上实现最先进的表演,我们还通过几种可能有助于未来的研究的调查结果来消融细节。我们开源我们的预先培训的语言模型,以进一步促进我们的研究界。资源可用:https://github.com/ymcui/chinese-bert-wwm
translated by 谷歌翻译
立场检测旨在确定文本的作者是否赞成,反对或中立。这项任务的主要挑战是两个方面的:由于不同目标以及缺乏目标的上下文信息而产生的几乎没有学习。现有作品主要通过设计基于注意力的模型或引入嘈杂的外部知识来解决第二期,而第一个问题仍未探索。在本文中,受到预训练的语言模型(PLM)的潜在能力(PLM)的启发,我们建议介绍基于立场检测的及时基于迅速的微调。 PLM可以为目标提供基本的上下文信息,并通过提示启用几次学习。考虑到目标在立场检测任务中的关键作用,我们设计了目标感知的提示并提出了一种新颖的语言。我们的语言器不会将每个标签映射到具体单词,而是将每个标签映射到矢量,并选择最能捕获姿势与目标之间相关性的标签。此外,为了减轻通过单人工提示来处理不同目标的可能缺陷,我们建议将信息从多个提示中学到的信息提炼。实验结果表明,我们提出的模型在全数据和少数场景中的表现出色。
translated by 谷歌翻译
股票运动预测(SMP)旨在预测上市公司的股份量股份,由于金融市场的挥发性,这是一个具有挑战性的任务。最近的财务研究表明,动量溢出效应在股票波动中发挥着重要作用。然而,以前的研究通常只学习相关公司之间的简单连接信息,这不可避免地未能模仿真实金融市场中上市公司的复杂关系。为了解决这个问题,我们首先建立一个更全面的市场知识图(MKG),其中包含有限的公司,包括上市公司及其相关的高管,以及包括明确关系和隐性关系的混合关系。之后,我们提出了一种新颖的双重关注网络,以了解基于构造的MKG用于库存预测的势头溢出信号。对九个SOTA基线构建数据集的实证实验表明,所提出的丹林公司能够改善与构造的MKG的库存预测。
translated by 谷歌翻译
作为公开交易公司的定期电话会议,盈利呼叫(EC)已被广泛地研究作为企业基本面的高分析价值,作为基本的市场指标。最近的深度学习技术的出现在创建自动化管道方面表现出很大的承诺,使EC支持的财务应用程序受益。然而,这些方法认为所有包含的内容都是信息,而无需从长文本的成绩单中炼制有价值的语义并遭受EC稀缺问题。同时,这些黑箱方法具有在提供人为可理解的解释方面具有固有的困难。为此,本文提出了一种基于多域变换器的反事实增强,命名为MTCA,以解决上述问题。具体而言,我们首先提出基于变压器的EC编码器,以术语地量化关键额型欧共事位议对市场推理的任务启发意义。然后,开发了一种多域反事实学习框架,以评估具有充满丰富的跨域文档的有限EC信息文本之后基于梯度的变体,使MTCA能够执行无监督的数据增强。作为奖励,我们发现一种使用非培训数据作为基于实例的解释,我们将结果与案例研究显示。对现实世界金融数据集的广泛实验证明了可解释的MTCA的有效性,以提高最先进的最新的挥发性评估能力14.2 \%的准确性。
translated by 谷歌翻译
假新闻的广泛传播越来越威胁到个人和社会。在单个领域(例如政治)上自动假新闻发现已做出了巨大的努力。但是,相关性通常存在于多个新闻领域,因此有望同时检测多个域的假新闻。基于我们的分析,我们在多域假新闻检测中提出了两个挑战:1)域转移,是由域,情感,样式等领域之间的差异引起的。世界分类仅输出一个单个领域标签,而不管新闻文章的主题多样性如何。在本文中,我们提出了一个记忆引导的多视图多域假新闻检测框架(M $^3 $ fend),以应对这两个挑战。我们从多视图的角度对新闻作品进行建模,包括语义,情感和风格。具体而言,我们建议一个域存储库来丰富域信息,该信息可以根据可见的新闻和模型域特征来发现潜在的域标签。然后,以丰富的域信息为输入,域适配器可以从各个域中的新闻的多个视图中适应汇总歧视性信息。对英语和中文数据集进行的大量离线实验证明了M $^3 $ fend的有效性,在线测试在实践中验证了其优势。我们的代码可在https://github.com/ictmcg/m3fend上找到。
translated by 谷歌翻译
良好的研究努力致力于利用股票预测中的深度神经网络。虽然远程依赖性和混沌属性仍然是在预测未来价格趋势之前降低最先进的深度学习模型的表现。在这项研究中,我们提出了一个新的框架来解决这两个问题。具体地,在将时间序列转换为复杂网络方面,我们将市场价格系列转换为图形。然后,从映射的图表中提取参考时间点和节点权重之间的关联的结构信息以解决关于远程依赖性和混沌属性的问题。我们采取图形嵌入式以表示时间点之间的关联作为预测模型输入。节点重量被用作先验知识,以增强时间关注的学习。我们拟议的框架的有效性通过现实世界股票数据验证,我们的方法在几个最先进的基准中获得了最佳性能。此外,在进行的交易模拟中,我们的框架进一步获得了最高的累积利润。我们的结果补充了复杂网络方法在金融领域的现有应用,并为金融市场中决策支持的投资应用提供了富有识别的影响。
translated by 谷歌翻译
我们研究了检查问题的事实,旨在识别给定索赔的真实性。具体而言,我们专注于事实提取和验证(发烧)及其伴随数据集的任务。该任务包括从维基百科检索相关文件(和句子)并验证文件中的信息是否支持或驳斥所索赔的索赔。此任务至关重要,可以是假新闻检测和医疗索赔验证等应用程序块。在本文中,我们以通过以结构化和全面的方式呈现文献来更好地了解任务的挑战。我们通过分析不同方法的技术视角并讨论发热数据集的性能结果,描述了所提出的方法,这是最熟悉的和正式结构化的数据集,就是事实提取和验证任务。我们还迄今为止迄今为止确定句子检索组件的有益损失函数的最大实验研究。我们的分析表明,采样负句对于提高性能并降低计算复杂性很重要。最后,我们描述了开放的问题和未来的挑战,我们激励了未来的任务研究。
translated by 谷歌翻译
预先接受的语言模型实现了最先进的导致各种自然语言处理(NLP)任务。 GPT-3表明,缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架,以预先培训大型知识增强型号,并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现,我们培养了百卢比的3.0泰坦参数型号,在PaddlePaddle平台上有高达260亿参数的泰坦。此外,我们设计了一种自我监督的对抗性损失和可控语言建模损失,以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放,我们向Ernie 3.0泰坦提出了一个在线蒸馏框架,教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明,Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。
translated by 谷歌翻译