基于注意力的深网络已成功应用于NLP字段中的文本数据。然而，与普通文本词不同，它们在蛋白质序列上的应用造成额外的挑战。标准关注技术面临的这些未开发的挑战包括（i）消失注意评分问题和（ii）注意分布的高变化。在这方面，我们介绍了一种新颖的{\ Lambda} -Scaled注意技术，用于快速有效地建模蛋白质序列，这些蛋白质序列解决了上述问题。这用于开发{\ lambda} -scaled注意网络，并评估在蛋白质序列水平上实施的蛋白质功能预测的任务。对生物过程的数据集（BP）和分子函数（MF）的实验表明，基于标准注意技术（+ 2.01％），所提出的{\ Lambda} -scaled技术的F1分数值的F1评分值的显着改进（+ 2.01％ BP和MF的+ 4.67％）和最先进的Protvecgen-Plus方法（BP的2.61％，MF的2.20％）。此外，在训练过程中，还观察到快速收敛（在时期的一半）和高效学习（在训练和验证损失之间的差异方面）也被观察到。

精确预测蛋白质功能和性质的能力在生物技术行业中是必不可少的，例如，药物开发和人工蛋白质合成等。蛋白质功能预测的主要挑战是大标签空间和缺乏标记的训练数据。我们的方法利用无监督的序列嵌入和深度卷积神经网络的成功来克服这些挑战。相比之下，大多数现有方法删除了罕见的蛋白质功能以减少标签空间。此外，一些现有方法需要额外的生物信息（例如，蛋白质的三维结构），其难以在生化实验中确定。我们所提出的方法显着优于仅使用蛋白质序列作为输入的公共可用基准的其他方法。这允许识别识别蛋白质功能的过程。

氨基酸的分类及其序列分析在生命科学中起着至关重要的作用，并且是一项艰巨的任务。本文使用并比较了最新的深度学习模型，例如卷积神经网络（CNN），长期记忆（LSTM）和门控复发单元（GRU），以解决使用氨基酸的大分子分类问题。与传统的机器学习技术相比，这些模型具有有效的框架来解决广泛的复杂学习问题。我们使用嵌入单词来表示氨基酸序列作为向量。CNN从氨基酸序列中提取特征，这些特征被视为向量，然后喂入上面提到的模型以训练健壮的分类器。我们的结果表明，嵌入与VGG-16相结合的Word2Vec的性能比LSTM和GRU更好。提出的方法的错误率为1.5％。

We propose a hierarchical attention network for document classification. Our model has two distinctive characteristics: (i) it has a hierarchical structure that mirrors the hierarchical structure of documents; (ii) it has two levels of attention mechanisms applied at the wordand sentence-level, enabling it to attend differentially to more and less important content when constructing the document representation. Experiments conducted on six large scale text classification tasks demonstrate that the proposed architecture outperform previous methods by a substantial margin. Visualization of the attention layers illustrates that the model selects qualitatively informative words and sentences.

当前信息时代在互联网上产生的数据的指数增长是数字经济的推动力。信息提取是累积大数据中的主要价值。对统计分析和手工设计的规则机器学习算法的大数据依赖性被人类语言固有的巨大复杂性所淹没。自然语言处理（NLP）正在装备机器，以了解这些人类多样化和复杂的语言。文本分类是一个NLP任务，它会自动识别基于预定义或未定标记的集合的模式。常见的文本分类应用程序包括信息检索，建模新闻主题，主题提取，情感分析和垃圾邮件检测。在文本中，某些单词序列取决于上一个或下一个单词序列以使其充分含义。这是一项具有挑战性的依赖性任务，要求机器能够存储一些以前的重要信息以影响未来的含义。诸如RNN，GRU和LSTM之类的序列模型是具有长期依赖性任务的突破。因此，我们将这些模型应用于二进制和多类分类。产生的结果非常出色，大多数模型在80％和94％的范围内执行。但是，这个结果并不详尽，因为我们认为如果机器要与人类竞争，可以改进。

由影响它们折叠并因此决定其功能和特征的氨基酸链组成，蛋白质是一类大分子，它们在主要生物过程中起着核心作用，并且是人体组织的结构，功能和调节所必需的。了解蛋白质功能对于治疗和精确医学的发展至关重要，因此可以根据可测量特征对蛋白质进行分类及其功能至关重要。实际上，从其主要结构（称为其主要结构）中对蛋白质特性的自动推断仍然是生物信息学领域中的一个重要开放问题，尤其是考虑到测序技术的最新进展和广泛的已知但未分类的蛋白质具有未知属性。在这项工作中，我们演示和比较了几个深度学习框架的性能，包括新型双向LSTM和卷积模型，这些卷积模型在蛋白质数据库（PDB）的广泛可用的测序数据合作中，结构生物信息信息技术（RCSB），RCSB），RCSB（RCSB），RCSB（RCSB）的研究合作。除了对经典的机器学习方法进行基准测试，包括K-Nearest邻居和多项式回归分类器，对实验数据进行了培训。我们的结果表明，我们的深度学习模型为经典的机器学习方法提供了卓越的性能，卷积体系结构提供了最令人印象深刻的推理性能。

基于方面的情感分析（ABSA）涉及审查句子对给定方面的情感极性的识别。 RNN，LSTM和GRU等深度学习顺序模型是推断情感极性的当前最新方法。这些方法可以很好地捕获评论句子的单词之间的上下文关系。但是，这些方法在捕获长期依赖性方面微不足道。注意机制仅专注于句子的最关键部分，从而发挥着重要作用。在ABSA的情况下，方面位置起着至关重要的作用。在确定对该方面的情绪的同时，近乎方面的单词会做出更多的贡献。因此，我们提出了一种使用依赖解析树捕获基于位置信息的方法，并有助于注意机制。使用这种类型的位置信息通过简单的基于单词距离的位置增强了深度学习模型的性能。我们对Semeval'14数据集进行了实验，以证明基于ABSA的基于ABS的依赖关系的效果。

序列表示学习的主要挑战是捕获远程时间依赖性。监督序列表示学习的典型方法是基于复发性神经网络构建的，以捕获时间依赖性。这些方法的一个潜在局限性是，它们仅在序列中明确对相邻时间步长的一阶信息相互作用进行建模，因此，未完全利用了非相应时间步长之间的高阶相互作用。它极大地限制了建模远程时间依赖性的能力，因为由于时间信息稀释和梯度消失，无法长期保持一阶相互作用所学的时间特征。为了应对这一限制，我们提出了用于监督序列表示学习的非本地复发性神经记忆（NRNM），该学习执行非本地操作\ Mr {通过自我关注机制}以在滑动时间内学习全阶相互作用内存块和模拟内存块之间的全局相互作用以封闭式的复发方式。因此，我们的模型能够捕获远程依赖性。此外，我们的模型可以蒸馏出高阶相互作用中包含的潜在高级特征。我们验证了NRNM在不同模态的三种序列应用上的有效性和概括，包括序列分类，逐步的顺序预测和序列相似性学习。我们的模型与针对这些序列应用中的每个序列应用专门设计的其他最新方法进行了比较。

近年来，使用正交矩阵已被证明是通过训练，稳定性和收敛尤其是控制梯度来改善复发性神经网络（RNN）的一种有希望的方法。通过使用各种门和记忆单元，封闭的复发单元（GRU）和长期短期记忆（LSTM）体系结构解决了消失的梯度问题，但它们仍然容易出现爆炸梯度问题。在这项工作中，我们分析了GRU中的梯度，并提出了正交矩阵的使用，以防止梯度问题爆炸并增强长期记忆。我们研究了在哪里使用正交矩阵，并提出了基于Neumann系列的缩放尺度的Cayley转换，以训练GRU中的正交矩阵，我们称之为Neumann-cayley Orthoconal orthoconal Gru或简单的NC-GRU。我们介绍了有关几个合成和现实世界任务的模型的详细实验，这些实验表明NC-GRU明显优于GRU以及其他几个RNN。

In this paper we compare different types of recurrent units in recurrent neural networks (RNNs). Especially, we focus on more sophisticated units that implement a gating mechanism, such as a long short-term memory (LSTM) unit and a recently proposed gated recurrent unit (GRU). We evaluate these recurrent units on the tasks of polyphonic music modeling and speech signal modeling. Our experiments revealed that these advanced recurrent units are indeed better than more traditional recurrent units such as tanh units. Also, we found GRU to be comparable to LSTM.

由于在线学习和评估平台（例如Coursera，Udemy，Khan Academy等）的兴起，对论文（AES）和自动论文评分的自动评估（AES）已成为一个严重的问题。研究人员最近提出了许多用于自动评估的技术。但是，其中许多技术都使用手工制作的功能，因此从特征表示的角度受到限制。深度学习已成为机器学习中的新范式，可以利用大量数据并确定对论文评估有用的功能。为此，我们提出了一种基于复发网络（RNN）和卷积神经网络（CNN）的新型体系结构。在拟议的体系结构中，多通道卷积层从嵌入矢量和基本语义概念中学习并捕获单词n-gram的上下文特征，并使用max-pooling操作在论文级别形成特征向量。 RNN的变体称为双门复发单元（BGRU），用于访问以前和后续的上下文表示。该实验是对Kaggle上的八个数据集进行的，以实现AES的任务。实验结果表明，我们提出的系统比其他基于深度学习的AES系统以及其他最新AES系统的评分精度明显更高。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

The time-series forecasting (TSF) problem is a traditional problem in the field of artificial intelligence. Models such as Recurrent Neural Network (RNN), Long Short Term Memory (LSTM), and GRU (Gate Recurrent Units) have contributed to improving the predictive accuracy of TSF. Furthermore, model structures have been proposed to combine time-series decomposition methods, such as seasonal-trend decomposition using Loess (STL) to ensure improved predictive accuracy. However, because this approach is learned in an independent model for each component, it cannot learn the relationships between time-series components. In this study, we propose a new neural architecture called a correlation recurrent unit (CRU) that can perform time series decomposition within a neural cell and learn correlations (autocorrelation and correlation) between each decomposition component. The proposed neural architecture was evaluated through comparative experiments with previous studies using five univariate time-series datasets and four multivariate time-series data. The results showed that long- and short-term predictive performance was improved by more than 10%. The experimental results show that the proposed CRU is an excellent method for TSF problems compared to other neural architectures.

SARS-COV-2是一种上呼吸系统的RNA病毒，截至2021年5月，在全球范围内引起超过300万人死亡，截至5月201日。迄今为止，SARS-COV-2突变对科学家造成重大挑战跟上疫苗开发和公共卫生措施的步伐。因此，鉴定来自患者的实验室样本分歧的有效方法非常有助于SARS-COV-2基因组学的文件。在这项研究中，我们提出了一种神经网络模型，可利用复发性和卷积单元直接参与尖峰蛋白的氨基酸序列并分类相应的片状。我们还将我们的模型的性能与来自蛋白质数据库预先培训的变压器（BERT）的双向编码器表示。我们的方法具有基于基于物种内分化的当前同源性提供了更加计算上的替代方案。

研究了自闭症数据集，以确定自闭症和健康组之间的差异。为此，分析了这两组的静止状态功能磁共振成像（RS-FMRI）数据，并创建了大脑区域之间的连接网络。开发了几个分类框架，以区分组之间的连接模式。比较了统计推断和精度的最佳模型，并分析了精度和模型解释性之间的权衡。最后，据报道，分类精度措施证明了我们框架的性能。我们的最佳模型可以以71％的精度将自闭症和健康的患者分类为多站点I数据。

软件开发互动期间的有毒对话可能会对免费开源软件（FOSS）开发项目产生严重影响。例如，有毒对话的受害者可能会害怕表达自己，因此会丧失自己的动力，并最终可能离开该项目。自动过滤有毒的对话可能有助于福斯社区保持其成员之间的健康互动。但是，现成的毒性探测器在软件工程（SE）数据集上的表现较差，例如从代码审查评论中策划的一个。为了遇到这一挑战，我们提出了毒性，这是一种基于学习的基于学习的毒性识别工具，用于代码审查互动。有毒物质包括选择一种监督学习算法之一，选择文本矢量化技术，八个预处理步骤以及一个大规模标记的数据集，其中包括19,571个代码评论评论。在这八个预处理步骤中，有两个是特定于SE域。通过对预处理步骤和矢量化技术的各种组合的模型进行严格的评估，我们已经确定了数据集的最佳组合，可提高95.8％的精度和88.9％的F1得分。毒性明显优于我们数据集中的现有毒性探测器。我们已发布了数据集，预处理的模型，评估结果和源代码，网址为：https：//github.com/wsu-seal/toxicr

作为自然现象的地震，历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面，可以增加公共准备，并在很大程度上减少损坏。然而，由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战，迄今为止努力一直不足，需要新的方法来解决这个问题。本文意识到​​这些问题，提出了一种基于注意机制（AM），卷积神经网络（CNN）和双向长短期存储器（BILSTM）模型的新型预测方法，其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制，以更好地关注有效的地震特性并产生更准确的预测。首先，将零阶保持技术应用于地震数据上的预处理，使得模型的输入数据更适当。其次，为了有效地使用空间信息并减少输入数据的维度，CNN用于捕获地震数据之间的空间依赖性。第三，使用Bi-LSTM层来捕获时间依赖性。第四，引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明，该方法具有比其他预测方法更好的性能和概括能力。

在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。

Named Entity Recognition and Intent Classification are among the most important subfields of the field of Natural Language Processing. Recent research has lead to the development of faster, more sophisticated and efficient models to tackle the problems posed by those two tasks. In this work we explore the effectiveness of two separate families of Deep Learning networks for those tasks: Bidirectional Long Short-Term networks and Transformer-based networks. The models were trained and tested on the ATIS benchmark dataset for both English and Greek languages. The purpose of this paper is to present a comparative study of the two groups of networks for both languages and showcase the results of our experiments. The models, being the current state-of-the-art, yielded impressive results and achieved high performance.

可以从金融新闻文章中获取的主要信息来源，这些文章与股票趋势的波动有一些相关性。在本文中，我们从多个现实的观点研究了金融新闻对股票趋势的影响。其背后的直觉是基于新闻事件不同间隔的新闻不确定性以及每个金融新闻中缺乏注释的新闻不确定性。在多个实例学习（MIL）的情况下，将培训实例安排在袋子中，并为整个袋子而不是实例分配标签，我们开发了一种灵活且适应性的多态度学习模型，并评估其在方向运动预测中的能力《金融新闻数据集》中的标准和POORS 500指数。具体来说，我们将每个交易日视为一个袋子，每个交易日都会发生一定数量的新闻作为每个袋子的情况。实验结果表明，与其他最先进的方法和基准相比，我们提出的基于多实体的框架在趋势预测的准确性方面获得了出色的结果。