信息提取（IE）一直是NLP的重要任务之一。此外，信息提取的最关键应用程序方案之一是简历的信息提取。通过对简历的每个部分进行分类来获得构造的文本。存储这些文本以供以后进行搜索和分析很方便。此外，构造的简历数据也可以在AI简历筛选系统中使用。大大降低人力资源的劳动成本。这项研究旨在将简历的信息提取任务转变为简单的句子分类任务。基于先前研究生产的英语简历数据集。改进了分类规则，以创建简历的更大，更细粒度的分类数据集。该语料库还用于测试一些当前主流培训语言模型（PLMS）性能。Furthermore，为了探索培训样本数量与简历数据集的正确性率之间的关系，我们还与培训进行了比较实验一组不同的火车集尺寸。最终的多个实验结果表明，具有改进的注释规则和数据集的样本大小的简历数据集提高了原始简历数据集的准确性。

已显示迅速学习可以在大多数文本分类任务中实现近调调节性能，但很少有培训示例。对于样品稀缺的NLP任务是有利的。在本文中，我们试图将其应用于实际情况，即恢复信息提取，并增强现有方法，以使其更适用于简历信息提取任务。特别是，我们根据简历的文本特征创建了多组手动模板和语言器。此外，我们比较了蒙版语言模型（MLM）预培训语言模型（PLM）和SEQ2SEQ PLM在此任务上的性能。此外，我们改进了口头设计的设计方法，用于知识渊博的及时调整，以便为其他基于应用程序的NLP任务的迅速模板和语言设计的设计提供了示例。在这种情况下，我们提出了手动知识渊博的语言器（MKV）的概念。构造与应用程序方案相对应的知识渊博的口头表的规则。实验表明，基于我们的规则设计的模板和言语器比现有的手动模板更有效，更强大，并自动生成及时方法。已经确定，当前可用的自动提示方法无法与手动设计的及时模板竞争一些现实的任务方案。最终混淆矩阵的结果表明，我们提出的MKV显着解决了样本不平衡问题。

我们展示了哈萨克克坦命名实体识别的数据集的开发。该数据集是在哈萨克公开可用的注释Corpora的情况下建立的，以及包含简单但严谨的规则和示例的注释指南。基于IOB2计划的数据集注释是在第一个作者的监督下由两个本土哈萨克演讲者进行电视新闻文本。生成的数据集包含112,702个句子和25个实体类的136,333注释。最先进的机器学习模型自动化哈萨克人命名实体识别，具有最佳性能模型，在测试集上实现了97.22％的精确匹配。用于培训模型的注释数据集，指南和代码可从HTTPS://github.com/kaznerd自由下载4.0许可。

Future work sentences (FWS) are the particular sentences in academic papers that contain the author's description of their proposed follow-up research direction. This paper presents methods to automatically extract FWS from academic papers and classify them according to the different future directions embodied in the paper's content. FWS recognition methods will enable subsequent researchers to locate future work sentences more accurately and quickly and reduce the time and cost of acquiring the corpus. The current work on automatic identification of future work sentences is relatively small, and the existing research cannot accurately identify FWS from academic papers, and thus cannot conduct data mining on a large scale. Furthermore, there are many aspects to the content of future work, and the subdivision of the content is conducive to the analysis of specific development directions. In this paper, Nature Language Processing (NLP) is used as a case study, and FWS are extracted from academic papers and classified into different types. We manually build an annotated corpus with six different types of FWS. Then, automatic recognition and classification of FWS are implemented using machine learning models, and the performance of these models is compared based on the evaluation metrics. The results show that the Bernoulli Bayesian model has the best performance in the automatic recognition task, with the Macro F1 reaching 90.73%, and the SCIBERT model has the best performance in the automatic classification task, with the weighted average F1 reaching 72.63%. Finally, we extract keywords from FWS and gain a deep understanding of the key content described in FWS, and we also demonstrate that content determination in FWS will be reflected in the subsequent research work by measuring the similarity between future work sentences and the abstracts.

社会科学的学术文献是记录人类文明并研究人类社会问题的文献。随着这种文献的大规模增长，快速找到有关相关问题的现有研究的方法已成为对研究人员的紧迫需求。先前的研究，例如SCIBERT，已经表明，使用特定领域的文本进行预训练可以改善这些领域中自然语言处理任务的性能。但是，没有针对社会科学的预训练的语言模型，因此本文提出了关于社会科学引文指数（SSCI）期刊上许多摘要的预培训模型。这些模型可在GitHub（https://github.com/s-t-full-text-knowledge-mining/ssci-bert）上获得，在学科分类和带有社会科学文学的抽象结构 - 功能识别任务方面表现出色。

非洲语言最近是几项自然语言处理（NLP）研究的主题，这导致其在该领域的代表性大大增加。但是，在评估模型在诸如命名实体识别（NER）等任务中的性能时，大多数研究往往比数据集的质量更多地关注模型。尽管这在大多数情况下效果很好，但它并不能说明使用低资源语言进行NLP的局限性，即我们可以使用的数据集的质量和数量。本文根据数据集质量提供了各种模型的性能的分析。我们根据某些非洲NER数据集的每个句子的实体密度评估了不同的预训练模型。我们希望这项研究能够改善在低资源语言的背景下进行NLP研究的方式。

In the absence of readily available labeled data for a given task and language, annotation projection has been proposed as one of the possible strategies to automatically generate annotated data which may then be used to train supervised systems. Annotation projection has often been formulated as the task of projecting, on parallel corpora, some labels from a source into a target language. In this paper we present T-Projection, a new approach for annotation projection that leverages large pretrained text2text language models and state-of-the-art machine translation technology. T-Projection decomposes the label projection task into two subtasks: (i) The candidate generation step, in which a set of projection candidates using a multilingual T5 model is generated and, (ii) the candidate selection step, in which the candidates are ranked based on translation probabilities. We evaluate our method in three downstream tasks and five different languages. Our results show that T-projection improves the average F1 score of previous methods by more than 8 points.

The paper describes the work that has been submitted to the 5th workshop on Challenges and Applications of Automated Extraction of socio-political events from text (CASE 2022). The work is associated with Subtask 1 of Shared Task 3 that aims to detect causality in protest news corpus. The authors used different large language models with customized cross-entropy loss functions that exploit annotation information. The experiments showed that bert-based-uncased with refined cross-entropy outperformed the others, achieving a F1 score of 0.8501 on the Causal News Corpus dataset.

The application of natural language processing (NLP) to cancer pathology reports has been focused on detecting cancer cases, largely ignoring precancerous cases. Improving the characterization of precancerous adenomas assists in developing diagnostic tests for early cancer detection and prevention, especially for colorectal cancer (CRC). Here we developed transformer-based deep neural network NLP models to perform the CRC phenotyping, with the goal of extracting precancerous lesion attributes and distinguishing cancer and precancerous cases. We achieved 0.914 macro-F1 scores for classifying patients into negative, non-advanced adenoma, advanced adenoma and CRC. We further improved the performance to 0.923 using an ensemble of classifiers for cancer status classification and lesion size named entity recognition (NER). Our results demonstrated the potential of using NLP to leverage real-world health record data to facilitate the development of diagnostic tests for early cancer prevention.

Datasets serve as crucial training resources and model performance trackers. However, existing datasets have exposed a plethora of problems, inducing biased models and unreliable evaluation results. In this paper, we propose a model-agnostic dataset evaluation framework for automatic dataset quality evaluation. We seek the statistical properties of the datasets and address three fundamental dimensions: reliability, difficulty, and validity, following a classical testing theory. Taking the Named Entity Recognition (NER) datasets as a case study, we introduce $9$ statistical metrics for a statistical dataset evaluation framework. Experimental results and human evaluation validate that our evaluation framework effectively assesses various aspects of the dataset quality. Furthermore, we study how the dataset scores on our statistical metrics affect the model performance, and appeal for dataset quality evaluation or targeted dataset improvement before training or testing models.

我们分析预先训练的语言模型在使用不同类型系统注释的数据集中传输知识的能力，并概括在域名和数据集之外，他们接受了培训。我们创建了一个元任务，在多个数据集上集中于预测修辞角色。在案例决策中扮演句子扮演的修辞角色的预测是AI＆法律中的重要且经常学习的任务。通常，它需要批注大量句子来训练模型，这可能是耗时和昂贵的。此外，模型的应用受到培训的相同数据集。我们微调语言模型并在数据集中评估它们的性能，以研究模型的拓展域的能力。我们的结果表明，该方法可以有助于克服主动或Interactie学习中的冷启动问题，并显示模型跨越数据集和域的能力。

技能在就业市场和许多人力资源（HR）过程中起着核心作用。在其他数字经验之后，当今的在线工作市场有候选人希望根据他们的技能看到正确的机会。同样，企业越来越需要使用数据来确保其劳动力中的技能保持未来。但是，有关技能的结构化信息通常缺少，并且基于自我或经理评估的流程已证明与所得数据的采用，完整性和新鲜度有关。鉴于明确或仅隐含地描述了数千种可能的技能标签，并且缺乏精细注释的培训语料库，提取技能是一项艰巨的任务。以前的技能提取工作过于简化任务，将其用于明确的实体检测任务，或者基于手动注释的培训数据，如果应用于完整的技能词汇，这是不可行的。我们根据遥远的字面匹配，提出了一个用于技能提取的端到端系统。我们提出并评估了几种负面验证数据集中的几种负面抽样策略，以提高技能提取对隐式提及技能的推广，尽管在遥远的监督数据中缺乏这种隐性技能。我们观察到，使用ESCO分类法从相关技能中选择负面示例会产生最大的进步，并且在一个模型中结合三种不同的策略进一步提高了性能，在RP@5中最多可达8个百分点。我们介绍了基于ESCO分类法的手动注释评估基准，以进行技能提取，并在其上验证模型。我们发布基准数据集以进行研究目的，以刺激对任务的进一步研究。

数据稀疏性是语法误差校正（GEC）的众所周知的问题。生成合成训练数据是针对此问题的一种广泛提出的解决方案，并允许模型近年来实现最新的（SOTA）性能。但是，这些方法通常会产生不切实际的错误，或者旨在仅一个错误生成句子。我们提出了一种基于学习的两个阶段方法，用于GEC的合成数据生成，从而放宽了仅包含一个错误的句子的约束。错误是根据句子优点产生的。我们表明，经过合成生成的语料库训练的GEC模型优于先前工作的合成数据的模型。

定义生成任务旨在自动在特定上下文中生成一个单词的定义。但是，由于缺乏针对不同复杂性的数据集，模型产生的定义往往会保持相同的复杂度。本文提出了为具有可控复杂性级别的单词生成定义的新任务。相应地，我们介绍了编译，一个数据集给出了有关中国定义的详细信息，并且每个定义都标有其复杂性级别。编译数据集包括74,303个单词和106,882个定义。据我们所知，它是中国定义生成任务的最大数据集。我们选择各种代表性生成方法作为此任务的基准和进行评估，这说明我们的数据集在协助模型生成不同的复杂性级别定义方面发挥了出色的作用。我们认为，编译数据集将使复杂性可控定义生成的进一步研究受益。

命名实体识别（ner）是从文本中提取特定类型的命名实体的任务。当前的NER模型往往依赖于人类注释的数据集，要求在目标领域和实体上广泛参与专业知识。这项工作介绍了一个询问生成的方法，它通过询问反映实体类型的需求的简单自然语言问题来自动生成NER数据集（例如，哪种疾病？）到开放式域问题应答系统。不使用任何域中资源（即，培训句子，标签或域名词典），我们的模型在我们生成的数据集上仅培训了，这在很大程度上超过了四个不同域的六个基准测试的弱势监督模型。令人惊讶的是，在NCBI疾病中，我们的模型达到75.5 F1得分，甚至优于以前的最佳弱监督模型4.1 F1得分，它利用域专家提供的丰富的域名词典。制定具有自然语言的NER的需求，也允许我们为诸如奖项等细粒度实体类型构建NER模型，其中我们的模型甚至优于完全监督模型。在三个少量的NER基准测试中，我们的模型实现了新的最先进的性能。

随着数字化的传统文化遗产文件迅速增加，导致对保存和管理的需求增加，对实体的实际认可和阶级的典型认识已成为必不可少的。为了实现这一目标，我们提出了Kochet - 韩国文化遗产语料库，用于典型实体相关的任务，即指定的实体识别（NER），关系提取（RE）和实体键入（ET）。根据政府附属组织的数据构建指南的文化遗产专家的建议，科切特分别由NER，RE和ET任务的112,362、38,765、113,198个示例组成，涵盖了与韩国文化遗产有关的所有实体类型。此外，与现有的公共语料库不同，可以允许经过修改的重新分配。我们的实验结果使Kochet的实际可用性在文化遗产方面更有价值。我们还从统计和语言分析方面提供了Kochet的实际见解。我们的语料库可以在https://github.com/gyeeongmin47/kochet上免费获得。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

科学论文中的致谢可能会深入了解科学界的各个方面，例如奖励系统，协作模式和隐藏的研究趋势。本文的目的是评估不同嵌入模型的性能，以自动提取和从科学论文中的确认文本中对公认实体进行分类。我们使用FLAIR NLP-FRAMEWORK培训并实施了指定的实体识别（NER）任务。该培训是使用三个默认的天赋模型进行的，这些模型具有两个不同大小的语料库。在较大的训练语料库中训练的FLAIR嵌入模型显示出0.77的最佳准确性。我们的模型能够识别六种实体类型：资金代理，赠款编号，个人，大学，公司和杂项。该模型比其他实体类型更精确，因此，个人和赠款数字显示出非常好的F1得分超过0.9。先前关于确认分析的大多数工作受到数据的手动评估以及处理后的数据量受到限制。该模型可以应用于对确认文本的全面分析，并有可能为自动确认分析领域做出巨大贡献。

在人口稠密的国家中，悬而未决的法律案件呈指数增长。需要开发处理和组织法律文件的技术。在本文中，我们引入了一个新的语料库来构建法律文件。特别是，我们介绍了用英语的法律判断文件进行的，这些文件被分割为局部和连贯的部分。这些零件中的每一个都有注释，标签来自预定义角色的列表。我们开发基线模型，以根据注释语料库自动预测法律文档中的修辞角色。此外，我们展示了修辞角色在提高总结和法律判断预测任务的绩效方面的应用。我们发布了语料库和基线模型代码以及纸张。

言语的数字，例如隐喻和讽刺，在文学作品和口语对话中无处不在。这对自然语言理解构成了巨大的挑战，因为语音的数字通常偏离表面上表达更深层次的语义含义的含义。先前的研究强调了数字的文学方面，很少从计算语言学的观点提供全面的探索。在本文中，我们首先提出了象征性单元的概念，该单元是人物的载体。然后，我们选择了中文常用的12种类型的数字，并构建中文语料库以进行上下文化的图形识别（配置）。与以前的令牌级别或句子级别对应物不同，配置旨在从话语级别的上下文中提取象征性单元，并将象征性单元分类为正确的图类型。在配置时，设计了三个任务，即图形提取，图类型分类和图形识别，并使用最新技术来实现基准。我们进行彻底的实验，并表明所有三个任务对于现有模型都充满挑战，因此需要进一步研究。我们的数据集和代码可在https://github.com/pku-tangent/configure上公开获取。