自动标记实践问题的知识点是管理问题基础并改善教育的自动化和智能的基础。因此，研究实践问题的自动标记技术具有很大的实际意义。但是，关于数学问题的知识点自动标记的研究很少。与一般文本相比，数学文本具有更复杂的结构和语义，因为它们包含符号和公式之类的独特元素。因此，很难通过直接应用一般域中的文本分类技术来满足知识点预测的准确性要求。在本文中，K12数学问题是研究对象，提出了基于标签语义的关注和组合文本特征的多标签平滑的实验室模型，以改善数学问题知识点的自动标记。该模型将文本分类技术结合在通用域和数学文本的独特功能中。结果表明，使用标签语义注意力或多标签平滑度的模型在精度，召回和F1得分指标上的性能要比传统的BilstM模型更好，而实验室模型使用两者都表现最好。可以看出，标签信息可以指导神经网络从问题文本中提取有意义的信息，从而改善模型的文本分类性能。此外，结合文本功能的多标签平滑性可以充分探索文本和标签之间的关系，提高模型的新数据预测能力，并提高模型的分类精度。

名人认可是品牌交流中最重要的策略之一。如今，越来越多的公司试图为自己建立生动的特征。因此，他们的品牌身份交流应符合人类和法规的某些特征。但是，以前的作品主要是通过假设停止的，而不是提出一种特定的品牌和名人之间匹配的方式。在本文中，我们建议基于自然语言处理（NLP）技术的品牌名人匹配模型（BCM）。鉴于品牌和名人，我们首先从互联网上获得了一些描述性文档，然后总结了这些文档，最后计算品牌和名人之间的匹配程度，以确定它们是否匹配。根据实验结果，我们提出的模型以0.362 F1得分和精度的6.3％优于最佳基线，这表明我们模型在现实世界中的有效性和应用值。更重要的是，据我们所知，拟议的BCM模型是使用NLP解决认可问题的第一项工作，因此它可以为以下工作提供一些新颖的研究思想和方法。

With the development of a series of Galaxy sky surveys in recent years, the observations increased rapidly, which makes the research of machine learning methods for galaxy image recognition a hot topic. Available automatic galaxy image recognition researches are plagued by the large differences in similarity between categories, the imbalance of data between different classes, and the discrepancy between the discrete representation of Galaxy classes and the essentially gradual changes from one morphological class to the adjacent class (DDRGC). These limitations have motivated several astronomers and machine learning experts to design projects with improved galaxy image recognition capabilities. Therefore, this paper proposes a novel learning method, ``Hierarchical Imbalanced data learning with Weighted sampling and Label smoothing" (HIWL). The HIWL consists of three key techniques respectively dealing with the above-mentioned three problems: (1) Designed a hierarchical galaxy classification model based on an efficient backbone network; (2) Utilized a weighted sampling scheme to deal with the imbalance problem; (3) Adopted a label smoothing technique to alleviate the DDRGC problem. We applied this method to galaxy photometric images from the Galaxy Zoo-The Galaxy Challenge, exploring the recognition of completely round smooth, in between smooth, cigar-shaped, edge-on and spiral. The overall classification accuracy is 96.32\%, and some superiorities of the HIWL are shown based on recall, precision, and F1-Score in comparing with some related works. In addition, we also explored the visualization of the galaxy image features and model attention to understand the foundations of the proposed scheme.

随着文献资源的丰富，研究人员面临着信息爆炸和知识过载的不断增长的问题。为了帮助学者检索文学并成功获得知识，澄清学术文学中内容的语义结构已成为基本的研究问题。在识别学术文章中章节的结构功能的研究中，只有几项研究使用了深度学习模型，并探索了特征输入的优化。这限制了研究任务深度学习模型的应用，优化潜力。本文将ACL会议的文章作为语料库。我们采用传统的机器学习模型和深度学习模型，基于各种特征输入构建分类器。实验结果表明，（1）与章节内容相比，章节标题更有利于识别学术文章的结构功能。 （2）相对位置是建立传统模型的有价值的功能。 （3）受到（2）的启发，本文进一步将上下文信息引入深度学习模型，取得了显着的结果。同时，我们的模型在包含200个采样的非训练样本的开放式测试中显示出良好的迁移能力。近五年我们还基于表演模型的最佳实践，并对整体语料库进行了时间序列分析，近五年注释了ACL主要会议文件。这项工作通过多个比较实验探索并总结了此任务的实际功能和模型，并为相关文本分类任务提供了参考。最后，我们表示当前模型的局限性和缺点以及进一步优化的方向。

社会科学的学术文献是记录人类文明并研究人类社会问题的文献。随着这种文献的大规模增长，快速找到有关相关问题的现有研究的方法已成为对研究人员的紧迫需求。先前的研究，例如SCIBERT，已经表明，使用特定领域的文本进行预训练可以改善这些领域中自然语言处理任务的性能。但是，没有针对社会科学的预训练的语言模型，因此本文提出了关于社会科学引文指数（SSCI）期刊上许多摘要的预培训模型。这些模型可在GitHub（https://github.com/s-t-full-text-knowledge-mining/ssci-bert）上获得，在学科分类和带有社会科学文学的抽象结构 - 功能识别任务方面表现出色。

专利数据是创新研究知识的重要来源。尽管专利对之间的技术相似性是用于专利分析的关键指标。最近，研究人员一直在使用基于不同NLP嵌入模型的专利矢量空间模型来计算专利对之间的技术相似性，以帮助更好地了解创新，专利景观，技术映射和专利质量评估。据我们所知，没有一项全面的调查来建立嵌入模型的性能以计算专利相似性指标的大图。因此，在这项研究中，我们根据专利分类性能概述了这些算法的准确性。在详细的讨论中，我们报告了部分，类和子类级别的前3个算法的性能。基于专利的第一个主张的结果表明，专利，贝特（Bert-For）和tf-idf加权单词嵌入具有最佳准确性，可以在亚类级别计算句子嵌入。根据第一个结果，不同类别中模型的性能各不相同，这表明专利分析中的研究人员可以利用本研究的结果根据他们使用的专利数据的特定部分选择最佳的适当模型。

本文旨在通过介绍第一个中国数学预训练的语言模型〜（PLM）来提高机器的数学智能，以有效理解和表示数学问题。与其他标准NLP任务不同，数学文本很难理解，因为它们在问题陈述中涉及数学术语，符号和公式。通常，它需要复杂的数学逻辑和背景知识来解决数学问题。考虑到数学文本的复杂性质，我们设计了一种新的课程预培训方法，用于改善由基本和高级课程组成的数学PLM的学习。特别是，我们首先根据位置偏见的掩盖策略执行令牌级预训练，然后设计基于逻辑的预训练任务，旨在分别恢复改组的句子和公式。最后，我们介绍了一项更加困难的预训练任务，该任务强制执行PLM以检测和纠正其生成的解决方案中的错误。我们对离线评估（包括九个与数学相关的任务）和在线$ A/B $测试进行了广泛的实验。实验结果证明了与许多竞争基线相比，我们的方法的有效性。我们的代码可在：\ textColor {blue} {\ url {https://github.com/rucaibox/jiuzhang}}}中获得。

文本分类在许多实际应用中起着重要作用。在现实世界中，数据集非常小。大多数现有方法采用预训练的神经网络模型来处理这种数据集。但是，这些方法要么很难在移动设备上部署，因此它们的输出尺寸较大，或者无法完全提取短语和条款之间的深层语义信息。本文提出了一个基于多模型的深度学习框架，用于使用不平衡且极其小的数据集，用于短文本多类分类。我们的框架主要包括五层：编码器层使用Distilbert获得上下文敏感的动态词向量，这些词向量很难在传统的功能工程方法中表示。由于该层的变压器部分是蒸馏的，因此我们的框架被压缩。然后，我们使用接下来的两层提取深层语义信息。编码器层的输出发送到双向LSTM网络，并以单词和句子级别的LSTM层次提取特征矩阵，以获得细粒的语义表示。之后，最大式层将特征矩阵转换为较低维矩阵，仅保留明显的特征。最后，将特征矩阵视为完全连接的软磁层的输入，该输入包含一个可以将预测的线性向量转换为输出值的函数，作为每个分类中文本的概率。对两个公共基准测试的广泛实验证明了我们提出的方法对极小的数据集的有效性。它在精确，召回，准确性和F1得分方面保留最先进的基线性能，以及通过模型大小，训练时间和收敛时期，我们可以得出结论，可以更快，更轻松地部署我们的方法在移动设备上。

在视觉上丰富的文件（VRD）上的结构化文本理解是文档智能的重要组成部分。由于VRD中的内容和布局的复杂性，结构化文本理解是一项有挑战性的任务。大多数现有的研究将此问题与两个子任务结尾：实体标记和实体链接，这需要整体地了解令牌和段级别的文档的上下文。但是，很少的工作已经关注有效地从不同层次提取结构化数据的解决方案。本文提出了一个名为structext的统一框架，它对于处理两个子任务是灵活的，有效的。具体地，基于变压器，我们引入了一个段令牌对齐的编码器，以处理不同粒度水平的实体标记和实体链接任务。此外，我们设计了一种具有三个自我监督任务的新型预训练策略，以学习更丰富的代表性。 Structext使用现有屏蔽的视觉语言建模任务和新句子长度预测和配对框方向任务，以跨文本，图像和布局结合多模态信息。我们评估我们在分段级别和令牌级别的结构化文本理解的方法，并表明它优于最先进的同行，在Funsd，Srie和Ephoie数据集中具有显着优越的性能。

自动数学问题解决最近引起了越来越多的关注作为长期的AI基准。在本文中，我们专注于解决几何问题，这需要全面了解文本描述，视觉图和定理知识。但是，现有方法高度依赖于手工规则，并且仅在小规模数据集上进行评估。因此，我们提出了一个几何问题应答DataSet GeoQA，其中包含4,998个几何问题，其中具有相应的注释程序，其说明了给定问题的解决过程。与另一个公开的数据集GEOS相比，GeoQA是25倍，程序注释可以为未来的明确和解释数值推理提供实际测试平台。此外，我们通过全面解析多媒体信息和产生可解释程序来引入神经几何求解器（NGS）来解决几何问题。我们进一步为NGS添加了多个自我监督的辅助任务，以增强跨模型语义表示。关于GeoQA的广泛实验验证了我们提出的NGS和辅助任务的有效性。然而，结果仍然明显低于人类性能，这为未来的研究留下了大型空间。我们的基准和代码在https://github.com/chen-judge/geoqa发布。

文本分类任务的关键是语言表示和重要信息提取，并且有许多相关研究。近年来，文本分类中的图形神经网络（GNN）的研究逐渐出现并显示出其优势，但现有模型主要集中于直接将单词作为图形节点直接输入GNN模型，而忽略了不同级别的语义结构信息。样品。为了解决该问题，我们提出了一个新的层次图神经网络（HIEGNN），该图分别从Word级，句子级别和文档级别提取相应的信息。与几种基线方法相比，几个基准数据集的实验结果取得更好或相似的结果，这表明我们的模型能够从样品中获得更多有用的信息。

Context: The IoT system infrastructure platform facility vulnerability attack has become the main battlefield of network security attacks. Most of the traditional vulnerability mining methods rely on vulnerability detection tools to realize vulnerability discovery. However, due to the inflexibility of tools and the limitation of file size, its scalability It is relatively low and cannot be applied to large-scale power big data fields. Objective: The goal of the research is to intelligently detect vulnerabilities in source codes of high-level languages such as C/C++. This enables us to propose a code representation of sensitive sentence-related slices of source code, and to detect vulnerabilities by designing a distributed deep ensemble learning model. Method: In this paper, a new directional vulnerability mining method of parallel ensemble learning is proposed to solve the problem of large-scale data vulnerability mining. By extracting sensitive functions and statements, a sensitive statement library of vulnerable codes is formed. The AST stream-based vulnerability code slice with higher granularity performs doc2vec sentence vectorization on the source code through the random sampling module, obtains different classification results through distributed training through the Bi-LSTM trainer, and obtains the final classification result by voting. Results: This method designs and implements a distributed deep ensemble learning system software vulnerability mining system called DCDetector. It can make accurate predictions by using the syntactic information of the code, and is an effective method for analyzing large-scale vulnerability data. Conclusion: Experiments show that this method can reduce the false positive rate of traditional static analysis and improve the performance and accuracy of machine learning.

Future work sentences (FWS) are the particular sentences in academic papers that contain the author's description of their proposed follow-up research direction. This paper presents methods to automatically extract FWS from academic papers and classify them according to the different future directions embodied in the paper's content. FWS recognition methods will enable subsequent researchers to locate future work sentences more accurately and quickly and reduce the time and cost of acquiring the corpus. The current work on automatic identification of future work sentences is relatively small, and the existing research cannot accurately identify FWS from academic papers, and thus cannot conduct data mining on a large scale. Furthermore, there are many aspects to the content of future work, and the subdivision of the content is conducive to the analysis of specific development directions. In this paper, Nature Language Processing (NLP) is used as a case study, and FWS are extracted from academic papers and classified into different types. We manually build an annotated corpus with six different types of FWS. Then, automatic recognition and classification of FWS are implemented using machine learning models, and the performance of these models is compared based on the evaluation metrics. The results show that the Bernoulli Bayesian model has the best performance in the automatic recognition task, with the Macro F1 reaching 90.73%, and the SCIBERT model has the best performance in the automatic classification task, with the weighted average F1 reaching 72.63%. Finally, we extract keywords from FWS and gain a deep understanding of the key content described in FWS, and we also demonstrate that content determination in FWS will be reflected in the subsequent research work by measuring the similarity between future work sentences and the abstracts.

来自文本的采矿因果关系是一种复杂的和至关重要的自然语言理解任务，对应于人类认知。其解决方案的现有研究可以分为两种主要类别：基于特征工程和基于神经模型的方法。在本文中，我们发现前者具有不完整的覆盖范围和固有的错误，但提供了先验知识;虽然后者利用上下文信息，但其因果推断不足。为了处理限制，我们提出了一个名为MCDN的新型因果关系检测模型，明确地模拟因果关系，而且，利用两种方法的优势。具体而言，我们采用多头自我关注在Word级别获得语义特征，并在段级别推断出来的SCRN。据我们所知，关于因果关系任务，这是第一次应用关系网络。实验结果表明：1）该方法对因果区检测进行了突出的性能; 2）进一步分析表现出MCDN的有效性和稳健性。

最近，由于其广泛的商业价值，从视觉丰富的文档（例如门票和简历）中自动提取信息已成为一个热门而重要的研究主题。大多数现有方法将此任务分为两个小节：用于从原始文档图像中获取纯文本的文本阅读部分以及用于提取密钥内容的信息提取部分。这些方法主要集中于改进第二个方法，同时忽略了这两个部分高度相关。本文提出了一个统一的端到端信息提取框架，从视觉上富含文档中提出，文本阅读和信息提取可以通过精心设计的多模式上下文块相互加强。具体而言，文本阅读部分提供了多模式功能，例如视觉，文本和布局功能。开发了多模式上下文块，以融合生成的多模式特征，甚至是从预训练的语言模型中获得的先验知识，以提供更好的语义表示。信息提取部分负责使用融合上下文功能生成密钥内容。该框架可以以端到端的可训练方式进行培训，从而实现全球优化。更重要的是，我们将视觉丰富的文档定义为跨两个维度的四个类别，即布局和文本类型。对于每个文档类别，我们提供或推荐相应的基准，实验设置和强大的基准，以弥补该研究领域缺乏统一评估标准的问题。报告了对四种基准测试的广泛实验（从固定布局到可变布局，从完整的文本到半未结构化的文本），证明了所提出的方法的有效性。数据，源代码和模型可用。

资金机构在很大程度上依赖于领域专家与研究建议之间的主题匹配来分配提案审查员。随着建议越来越跨学科，概述提案的跨学科性质是一项挑战，此后，找到具有适当专业知识的专家审阅者。解决这一挑战的重要步骤是准确对建议的跨学科标签进行分类。现有的方法论和申请相关文献，例如文本分类和提案分类，不足以共同解决跨学科建议数据引入的三个关键独特问题：1）提案的纪律标签的层次结构，谷物，例如，从信息科学到AI，再到AI的基础。 2）在提案中起着不同作用的各种主要文本部分的异质语义； 3）提案的数量在非学科和跨学科研究之间存在不平衡。我们可以同时解决该提案的跨学科性质时的三个问题吗？为了回答这个问题，我们提出了一个层次混音多标签分类框架，我们称之为H-Mixup。 H-Mixup利用基于变压器的语义信息提取器和基于GCN的跨学科知识提取器来解决第一期和第二个问题。 H-Mixup开发了Wold级混音，Word级cutmix，歧管混音和文档级混音的融合训练方法，以解决第三期。

尽管不断努力提高代码搜索的有效性和效率，但仍未解决两个问题。首先，编程语言具有固有的牢固结构链接，并且代码的特征是文本表单将省略其中包含的结构信息。其次，代码和查询之间存在潜在的语义关系，跨序列对齐代码和文本是具有挑战性的，因此在相似性匹配期间，向量在空间上保持一致。为了解决这两个问题，在本文中，提出了一个名为CSSAM的代码搜索模型（代码语义和结构注意匹配）。通过引入语义和结构匹配机制，CSSAM有效提取并融合了多维代码功能。具体而言，开发了交叉和残留层，以促进代码和查询的高纬度空间比对。通过利用残差交互，匹配模块旨在保留更多的代码语义和描述性功能，从而增强了代码及其相应查询文本之间的附着力。此外，为了提高模型对代码固有结构的理解，提出了一个名为CSRG的代码表示结构（代码语义表示图），用于共同表示抽象语法树节点和代码的数据流。根据两个包含540K和330K代码段的公开可用数据集的实验结果，CSSAM在两个数据集中分别在获得最高的SR@1/5/10，MRR和NDCG@50方面大大优于基本线。此外，进行消融研究是为了定量衡量CSSAM每个关键组成部分对代码搜索效率和有效性的影响，这为改进高级代码搜索解决方案提供了见解。

深度学习在各种软件工程任务中广泛使用，例如，节目分类和缺陷预测。虽然该技术消除了特征工程所需的过程，但源代码模型的构建显着影响了这些任务的性能。最近的作品主要集中在通过引入从CFG提取的上下文依赖项来补充基于AST的源代码模型。但是，所有这些都关注基本块的表示，这是上下文依赖性的基础。在本文中，我们集成了AST和CFG，并提出了一种嵌入了分层依赖项的新型源代码模型。基于此，我们还设计了一种神经网络，这取决于图表关注机制。特殊地，我们介绍了基本块的句法结构，即其对应的AST，在源代码模型中提供足够的信息并填补间隙。我们在三种实际软件工程任务中评估了该模型，并将其与其他最先进的方法进行了比较。结果表明，我们的模型可以显着提高性能。例如，与最佳性能的基线相比，我们的模型将参数的比例降低了50 \％并实现了对程序分类任务的准确性的4 \％改进。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

本文通过将深度递归编码器添加到具有深递归编码器（BERT-DRE）的伯爵，提供了一种深度神经阵列匹配（NLSM）。我们对模型行为的分析表明，BERT仍未捕获文本的全部复杂性，因此伯特顶部应用了一个深递归编码器。具有残留连接的三个Bi-LSTM层用于设计递归编码器，并在此编码器顶部使用注意模块。为了获得最终的载体，使用由平均值和最大池组成的池化层。我们在四个基准，SNLI，贝尔船，Multinli，Scitail和新的波斯宗教问题数据集上进行模型。本文侧重于改善NLSM任务中的BERT结果。在这方面，进行BERT-DRE和BERT之间的比较，并且显示在所有情况下，BERT-DRE优于伯特。宗教数据集的BERT算法实现了89.70％的精度，并且BERT-DRE架构使用相同的数据集提高了90.29％。