股票运动预测(SMP)旨在预测上市公司的股份量股份,由于金融市场的挥发性,这是一个具有挑战性的任务。最近的财务研究表明,动量溢出效应在股票波动中发挥着重要作用。然而,以前的研究通常只学习相关公司之间的简单连接信息,这不可避免地未能模仿真实金融市场中上市公司的复杂关系。为了解决这个问题,我们首先建立一个更全面的市场知识图(MKG),其中包含有限的公司,包括上市公司及其相关的高管,以及包括明确关系和隐性关系的混合关系。之后,我们提出了一种新颖的双重关注网络,以了解基于构造的MKG用于库存预测的势头溢出信号。对九个SOTA基线构建数据集的实证实验表明,所提出的丹林公司能够改善与构造的MKG的库存预测。
translated by 谷歌翻译
双类型的异构图形应用于许多真实情景。然而,以前的异构图形学习研究通常忽略这种异构图中的双键入实体之间的复杂相互作用。为了解决这个问题,在本文中,我们提出了一种新的双重分层关注网络(DHAN),以了解与类内和级别的分层关注网络的双键入异构图中的综合节点表示。具体地,课堂上的注意力旨在从相同类型的邻居中学习节点表示,而级别的关注能够从其不同类型的邻居聚合节点表示。因此,双重关注操作使DHAN不仅能够充分地利用节点帧内邻近信息,而且可以在双键入的异构图中提供帧间相邻信息。关于针对最先进的各种任务的实验结果充分证实了DHAN在学习节点的学习节点综合陈述的能力
translated by 谷歌翻译
我们对数据驱动的需求工程,尤其是对用户评论的考虑。这些在线评论是提取新需求和改进请求的丰富信息来源。在这项工作中,我们使用Camembert提供了自动分析,Camembembert是法语中最先进的语言模型。我们从健康与健身领域的三个应用程序中创建了一个由6000个用户评论的多标签分类数据集。结果令人鼓舞,并建议可以自动识别有关新功能请求的评论。数据集可在以下网址获得:https://github.com/jl-wei/apia2022-french-user-reviews-classification-dataset。
translated by 谷歌翻译
组成零射击学习(CZSL)旨在识别训练过程中从可见状态和物体形成的看不见的构图。由于与不同对象纠缠的视觉外观中相同的状态可能是不同的,因此CZSL仍然是一项艰巨的任务。某些方法使用两个训练有素的分类器识别状态和对象,忽略了对象与状态之间的相互作用的影响;其他方法试图学习状态对象组成的联合表示,从而导致可见和看不见的组成集之间的域间隙。在本文中,我们提出了一种新颖的暹罗对比度嵌入网络(场景)(代码:https://github.com/xduxyli/scen-master),以实现看不见的构图识别。考虑到状态与物体之间的纠缠,我们将视觉特征嵌入了暹罗对比度空间中,以分别捕获它们的原型,从而减轻了状态与物体之间的相互作用。此外,我们设计了一个状态过渡模块(STM),以增加训练组成的多样性,从而提高识别模型的鲁棒性。广泛的实验表明,我们的方法在三个具有挑战性的基准数据集(包括最近提出的C-QGA数据集)上的最先进方法大大优于最先进的方法。
translated by 谷歌翻译
基于图形卷积的方法已成功应用于同质图上的表示学习,其中具有相同标签或相似属性的节点往往相互连接。由于这些方法使用的图形卷积网络(GCN)的同义假设,它们不适合异质图,其中具有不同标记或不同属性的节点往往相邻。几种方法试图解决这个异质问题,但是它们没有改变GCN的基本聚合机制,因为它们依靠求和操作员来汇总邻近节点的信息,这隐含地遵守同质假设。在这里,我们介绍了一种新颖的聚合机制,并开发了基于随机步行聚集的图形神经网络(称为RAW-GNN)方法。提出的方法将随机步行策略与图神经网络集成在一起。新方法利用广度优先的随机步行搜索来捕获同质信息和深度优先搜索以收集异性信息。它用基于路径的社区取代了传统社区,并基于经常性神经网络引入了新的基于路径的聚合器。这些设计使RAW-GNN适用于同质图和异质图。广泛的实验结果表明,新方法在各种同质图和异质图上实现了最先进的性能。
translated by 谷歌翻译
大型未标记语料库上的预训练的变压器语言模型已产生了最新的最先进的结果,从而导致了自然语言处理,有机分子设计和蛋白质序列的产生。但是,尚未应用这种模型来学习无机材料的组成模式。在这里,我们使用在ICSD,OQMD中存放的材料和材料项目数据库中扩展的公式培训了七种现代变压器模型(GPT,GPT-2,GPT-2,GPT-NEO,GPT-NEO,GPT-J,BLMM,BART和ROBERTA) 。六个不同的数据集,具有/输出非电荷 - 中性或平衡的电负性样品用于对性能进行基准测试,并发现现代变压器模型的产生偏见,以生成材料组成的生成设计。我们的广泛实验表明,基于因果语言模型的材料变形金刚可以产生高达97.54 \%的化学有效材料组合物,即充电中性,而91.40 \%的电负性平衡,与基线相比,它的富集高6倍以上伪随机抽样算法。这些模型还表现出了很高的新颖性,并且它们在新材料发现中的潜力已经证明了它们的能力恢复了留出的材料。我们还发现,可以通过使用精选的训练集(例如高带盖材料)训练模型来量身定制生成的样品的性能。我们的实验还表明,不同模型在生成样品的属性方面都有自己的喜好,并且其运行时间复杂性差异很大。我们已经应用了材料变压器模型来发现一套使用DFT计算验证的新材料。
translated by 谷歌翻译
神经体系结构搜索方法寻求具有有效的体重共享超级网训练的最佳候选者。但是,最近的研究表明,关于独立架构和共享重量网络之间的性能的排名一致性差。在本文中,我们提出了提前引导的一声NAS(PGONA),以加强超级网的排名相关性。具体而言,我们首先探讨激活功能的效果,并提出基于三明治规则的平衡采样策略,以减轻超级网中的重量耦合。然后,采用了拖鞋和禅宗得分来指导超级网的训练,并具有排名相关性损失。我们的PGONA在CVPR2022第二轻型NAS挑战赛的SuperNet轨道中排名第三。代码可在https://github.com/pprp/cvpr2022-nas?competition-track1-3th-solution中找到。
translated by 谷歌翻译
复发性神经网络(RNN)在顺序数据处理中取得了巨大的成功。但是,直接解释和验证RNN的行为是非常具有挑战性的。为此,已经做出了许多努力,从RNN中提取有限的自动机。现有的方法(例如精确学习)有效地提取有限状态模型来表征正式语言的RNN状态动力学,但在处理自然语言的可扩展性方面受到限制。可分配的自然语言的组成方法的提取精度不足。在本文中,我们确定了过渡性稀疏问题,从而严重影响提取精度。为了解决这个问题,我们提出了一种过渡规则提取方法,该方法可扩展到自然语言处理模型,并有效提高提取精度。具体而言,我们提出了一种经验方法来补充过渡图中缺失的规则。此外,我们进一步调整了过渡矩阵,以增强提取的加权有限自动机(WFA)的上下文感知能力。最后,我们提出了两种数据增强策略,以跟踪目标RNN的动态行为。两个流行的自然语言数据集的实验表明,我们的方法可以从RNN中提取自然语言处理的WFA,其精度比现有方法更好。
translated by 谷歌翻译
揭开多个代理之间的相互作用与过去的轨迹之间的相互作用至关重要。但是,以前的作品主要考虑与有限的关系推理的静态,成对的相互作用。为了促进更全面的互动建模和关系推理,我们提出了Dyngroupnet,这是一个动态群体感知的网络,i)可以在高度动态的场景中建模时间变化的交互; ii)捕获配对和小组互动; iii)理由互动强度和类别没有直接监督。基于Dyngroupnet,我们进一步设计了一个预测系统,以预测具有动态关系推理的社会合理轨迹。提出的预测系统利用高斯混合模型,多个抽样和预测细化,分别促进预测多样性,训练稳定性和轨迹平滑度。广泛的实验表明:1)dyngroupnet可以捕获随时间变化的群体行为,在轨迹预测过程中推断时间变化的交互类别和相互作用强度,而无需在物理模拟数据集上进行任何关系监督; 2)dyngroupnet优于最先进的轨迹预测方法,其显着改善22.6%/28.0%,26.9%/34.9%,5.1%/13.0%的ADE/FDE在NBA,NFL足球和SDD Datasets上的ADE/FDE并在ETH-COY数据集上实现最先进的性能。
translated by 谷歌翻译
点击率(CTR)预测是推荐和广告系统中的基本技术。最近的研究证明,学习一个为多个领域服务的统一模型可有效提高整体性能。但是,在有限的培训数据下,改善跨领域的概括,并且由于其计算复杂性而难以部署当前解决方案仍然是一项挑战。在本文中,我们为多域CTR预测提出了一个简单而有效的框架ADASPARSE,该预测学习了每个域的适应性稀疏结构,从而在跨计算成本较低的域中实现了更好的概括。在Adasparse中,我们引入了域感知的神经元的加权因子来测量神经元的重要性,对于每个域而言,我们的模型可以修剪冗余神经元以改善概括。我们进一步添加了灵活的稀疏性正常,以控制学习结构的稀疏性比。离线和在线实验表明,ADASPARSE的表现高于先前的多域CTR模型。
translated by 谷歌翻译