波斯语是一种拐点对象 - 动词语言。这一事实使波斯更不确定的语言。但是，使用诸如Zero-Width非加床（ZWNJ）识别，标点符号恢复和波斯ezafe施工的技术将导致我们更加可理解和精确的语言。在波斯的大部分作品中，这些技术是单独解决的。尽管如此，我们认为，对于波斯的文本细化，所有这些任务都是必要的。在这项工作中，我们提出了一个ViraPart框架，它在其核心中使用了嵌入式帕尔兹伯特进行文本澄清。首先，通过分类程序层用于分类过程的分类程序来使用BERT Variant。接下来，我们组合模型输出以输出ClearText。最后，ZWNJ识别，标点恢复和波斯EZAFE施工的提出模型分别执行96.90％，92.13％和98.50％的平均F1宏观分数。实验结果表明，我们的建议方法在波斯语的文本细化中非常有效。

确保适当的标点符号和字母外壳是朝向应用复杂的自然语言处理算法的关键预处理步骤。这对于缺少标点符号和壳体的文本源，例如自动语音识别系统的原始输出。此外，简短的短信和微博的平台提供不可靠且经常错误的标点符号和套管。本调查概述了历史和最先进的技术，用于恢复标点符号和纠正单词套管。此外，突出了当前的挑战和研究方向。

This paper presents the work of restoring punctuation for ASR transcripts generated by multilingual ASR systems. The focus languages are English, Mandarin, and Malay which are three of the most popular languages in Singapore. To the best of our knowledge, this is the first system that can tackle punctuation restoration for these three languages simultaneously. Traditional approaches usually treat the task as a sequential labeling task, however, this work adopts a slot-filling approach that predicts the presence and type of punctuation marks at each word boundary. The approach is similar to the Masked-Language Model approach employed during the pre-training stages of BERT, but instead of predicting the masked word, our model predicts masked punctuation. Additionally, we find that using Jieba1 instead of only using the built-in SentencePiece tokenizer of XLM-R can significantly improve the performance of punctuating Mandarin transcripts. Experimental results on English and Mandarin IWSLT2022 datasets and Malay News show that the proposed approach achieved state-of-the-art results for Mandarin with 73.8% F1-score while maintaining a reasonable F1-score for English and Malay, i.e. 74.7% and 78% respectively. Our source code that allows reproducing the results and building a simple web-based application for demonstration purposes is available on Github.

自动言论（POS）标记是许多自然语言处理（NLP）任务的预处理步骤，例如名称实体识别（NER），语音处理，信息提取，单词sense sisse disampigation和Machine Translation。它已经在英语和欧洲语言方面取得了令人鼓舞的结果，但是使用印度语言，尤其是在Odia语言中，由于缺乏支持工具，资源和语言形态丰富性，因此尚未得到很好的探索。不幸的是，我们无法为ODIA找到一个开源POS标记，并且仅尝试为ODIA语言开发POS标记器的尝试。这项研究工作的主要贡献是介绍有条件的随机场（CRF）和基于深度学习的方法（CNN和双向长期短期记忆）来开发ODIA的语音部分。我们使用了一个公开访问的语料库，并用印度标准局（BIS）标签设定了数据集。但是，全球的大多数语言都使用了带有通用依赖项（UD）标签集注释的数据集。因此，要保持统一性，odia数据集应使用相同的标签集。因此，我们已经构建了一个从BIS标签集到UD标签集的简单映射。我们对CRF模型进行了各种特征集输入，观察到构造特征集的影响。基于深度学习的模型包括BI-LSTM网络，CNN网络，CRF层，角色序列信息和预训练的单词向量。通过使用卷积神经网络（CNN）和BI-LSTM网络提取角色序列信息。实施了神经序列标记模型的六种不同组合，并研究了其性能指标。已经观察到具有字符序列特征和预训练的单词矢量的BI-LSTM模型取得了显着的最新结果。

拼写错误纠正是自然语言处理中具有很长历史的主题之一。虽然以前的研究取得了显着的结果，但仍然存在挑战。在越南语中，任务的最先进的方法从其相邻音节中介绍了一个音节的上下文。然而，该方法的准确性可能是不令人满意的，因为如果模型可能会失去上下文，如果两个（或更多）拼写错误彼此静置。在本文中，我们提出了一种纠正越南拼写错误的新方法。我们使用深入学习模型解决错误错误和拼写错误错误的问题。特别地，嵌入层由字节对编码技术提供支持。基于变压器架构的序列模型的序列使我们的方法与上一个问题不同于同一问题的方法。在实验中，我们用大型合成数据集训练模型，这是随机引入的拼写错误。我们使用现实数据集测试所提出的方法的性能。此数据集包含11,202个以9,341不同的越南句子中的人造拼写错误。实验结果表明，我们的方法达到了令人鼓舞的表现，检测到86.8％的误差，81.5％纠正，分别提高了最先进的方法5.6％和2.2％。

虽然罕见疾病的特征在于患病率低，但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战，没有足够的知识来识别它们。除此之外，罕见疾病通常会显示各种表现形式，这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此，迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理（NLP）和深度学习可以帮助提取有关罕见疾病的相关信息，以促进其诊断和治疗。本文探讨了几种深度学习技术，例如双向长期内存（BILSTM）网络或基于来自变压器（BERT）的双向编码器表示的深层语境化词表示，以识别罕见疾病及其临床表现（症状和症状） Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert，基于BERT和培训的生物医学Corpora培训的域特定语言表示，获得了最佳结果。特别是，该模型获得罕见疾病的F1分数为85.2％，表现优于所有其他模型。

Part of Speech (POS) tagging is crucial to Natural Language Processing (NLP). It is a well-studied topic in several resource-rich languages. However, the development of computational linguistic resources is still in its infancy despite the existence of numerous languages that are historically and literary rich. Assamese, an Indian scheduled language, spoken by more than 25 million people, falls under this category. In this paper, we present a Deep Learning (DL)-based POS tagger for Assamese. The development process is divided into two stages. In the first phase, several pre-trained word embeddings are employed to train several tagging models. This allows us to evaluate the performance of the word embeddings in the POS tagging task. The top-performing model from the first phase is employed to annotate another set of new sentences. In the second phase, the model is trained further using the fresh dataset. Finally, we attain a tagging accuracy of 86.52% in F1 score. The model may serve as a baseline for further study on DL-based Assamese POS tagging.

命名实体识别是一项信息提取任务，可作为其他自然语言处理任务的预处理步骤，例如机器翻译，信息检索和问题答案。命名实体识别能够识别专有名称以及开放域文本中的时间和数字表达式。对于诸如阿拉伯语，阿姆哈拉语和希伯来语之类的闪族语言，由于这些语言的结构严重变化，指定的实体识别任务更具挑战性。在本文中，我们提出了一个基于双向长期记忆的Amharic命名实体识别系统，并带有条件随机字段层。我们注释了一种新的Amharic命名实体识别数据集（8,070个句子，具有182,691个令牌），并将合成少数群体过度采样技术应用于我们的数据集，以减轻不平衡的分类问题。我们命名的实体识别系统的F_1得分为93％，这是Amharic命名实体识别的新最新结果。

常规的自动语音识别系统不会产生标点符号，这对于语音识别结果的可读性很重要。随后的自然语言处理任务（例如机器翻译）也需要它们。标点符号预测模型上有许多作品将标点符号插入语音识别结果中作为后处理。但是，这些研究并未利用声学信息进行标点符号预测，并且直接受语音识别错误的影响。在这项研究中，我们提出了一个端到端模型，该模型将语音作为输入并输出标点的文本。在使用声学信息时，该模型有望在语音识别错误方面可靠地预测标点符号。我们还建议使用辅助损失，以使用中间层和未插入文本的输出来训练模型。通过实验，我们将提出的模型的性能与级联系统的性能进行比较。所提出的模型比级联系统获得更高的标点符号预测准确性，而无需牺牲语音识别错误率。还证明，使用中间输出针对未插入文本的多任务学习有效。此外，与级联系统相比，提出的模型仅具有约1/7的参数。

尽管在自动语音识别（ASR）中最近的表现方法增加了，但这种方法并不能确保其输出的适当套管和标点符号。这个问题对自然语言处理（NLP）算法和人类的理解都有重大影响。对于原始文本输入的预处理管道，必须进行资本化和标点符号恢复。对于越南人等低资源语言，此任务的公共数据集很少。在本文中，我们为越南人的资本化和标点符号恢复贡献了一个公共数据集；并提出了两个名为intercappunc的任务的联合模型。越南数据集的实验结果显示了我们联合模型的有效性与单个模型和先前的联合学习模型相比。我们在https://github.com/anhtunguyen98/jointcappund上公开发布数据集和模型的实现

The rapid advancement of AI technology has made text generation tools like GPT-3 and ChatGPT increasingly accessible, scalable, and effective. This can pose serious threat to the credibility of various forms of media if these technologies are used for plagiarism, including scientific literature and news sources. Despite the development of automated methods for paraphrase identification, detecting this type of plagiarism remains a challenge due to the disparate nature of the datasets on which these methods are trained. In this study, we review traditional and current approaches to paraphrase identification and propose a refined typology of paraphrases. We also investigate how this typology is represented in popular datasets and how under-representation of certain types of paraphrases impacts detection capabilities. Finally, we outline new directions for future research and datasets in the pursuit of more effective paraphrase detection using AI.

指定的实体识别任务是信息提取的核心任务之一。单词歧义和单词缩写是命名实体低识别率的重要原因。在本文中，我们提出了一种名为“实体识别模型WCL-BBCD”（与Bert-Bilstm-Crf-Dbpedia的单词对比学习），结合了对比度学习的概念。该模型首先在文本中训练句子对，计算句子对通过余弦的相似性中的单词对之间的相似性，以及通过相似性通过相似性来命名实体识别任务的BERT模型，以减轻单词歧义。然后，将微调的BERT模型与Bilstm-CRF模型相结合，以执行指定的实体识别任务。最后，将识别结果与先验知识（例如知识图）结合使用，以减轻单词缩写引起的低速问题的识别。实验结果表明，我们的模型在Conll-2003英语数据集和Ontonotes V5英语数据集上优于其他类似的模型方法。

Named Entity Recognition and Intent Classification are among the most important subfields of the field of Natural Language Processing. Recent research has lead to the development of faster, more sophisticated and efficient models to tackle the problems posed by those two tasks. In this work we explore the effectiveness of two separate families of Deep Learning networks for those tasks: Bidirectional Long Short-Term networks and Transformer-based networks. The models were trained and tested on the ATIS benchmark dataset for both English and Greek languages. The purpose of this paper is to present a comparative study of the two groups of networks for both languages and showcase the results of our experiments. The models, being the current state-of-the-art, yielded impressive results and achieved high performance.

随着越来越多的可用文本数据，能够自动分析，分类和摘要这些数据的算法的开发已成为必需品。在本研究中，我们提出了一种用于关键字识别的新颖算法，即表示给定文档的关键方面的一个或多字短语的提取，称为基于变压器的神经标记器，用于关键字识别（TNT-KID）。通过将变压器架构适用于手头的特定任务并利用域特定语料库上的预先磨损的语言模型，该模型能够通过提供竞争和强大的方式克服监督和无监督的最先进方法的缺陷在各种不同的数据集中的性能，同时仅需要最佳执行系统所需的手动标记的数据。本研究还提供了彻底的错误分析，具有对模型内部运作的有价值的见解和一种消融研究，测量关键字识别工作流程的特定组分对整体性能的影响。

问题答案（QA）是自然语言处理中最具挑战性的最具挑战性的问题之一（NLP）。问答（QA）系统试图为给定问题产生答案。这些答案可以从非结构化或结构化文本生成。因此，QA被认为是可以用于评估文本了解系统的重要研究区域。大量的QA研究致力于英语语言，调查最先进的技术和实现最先进的结果。然而，由于阿拉伯QA中的研究努力和缺乏大型基准数据集，在阿拉伯语问答进展中的研究努力得到了很大速度的速度。最近许多预先接受的语言模型在许多阿拉伯语NLP问题中提供了高性能。在这项工作中，我们使用四个阅读理解数据集来评估阿拉伯QA的最先进的接种变压器模型，它是阿拉伯语 - 队，ArcD，AQAD和TYDIQA-GoldP数据集。我们微调并比较了Arabertv2基础模型，ArabertV0.2大型型号和ARAElectra模型的性能。在最后，我们提供了一个分析，了解和解释某些型号获得的低绩效结果。

在本文中，我们研究了波斯语的G2P转换的端到端和多模块框架的应用。结果表明，我们提出的多模型G2P系统在准确性和速度方面优于我们的端到端系统。该系统由发音词典作为我们的查找表组成，以及使用GRU和Transformer架构创建的波斯语中的同符，OOV和EZAFE的单独模型。该系统是序列级别而不是单词级别，它使其能够有效地捕获单词（跨字信息）之间的不成文关系，而无需进行任何预处理，而无需进行任何预歧歧义和EZAFE识别。经过评估后，我们的系统达到了94.48％的单词级准确性，表现优于先前的波斯语G2P系统。

在法律文本中预先培训的基于变压器的预训练语言模型（PLM）的出现，法律领域中的自然语言处理受益匪浅。有经过欧洲和美国法律文本的PLM，最著名的是Legalbert。但是，随着印度法律文件的NLP申请量的迅速增加以及印度法律文本的区别特征，也有必要在印度法律文本上预先培训LMS。在这项工作中，我们在大量的印度法律文件中介绍了基于变压器的PLM。我们还将这些PLM应用于印度法律文件的几个基准法律NLP任务，即从事实，法院判决的语义细分和法院判决预测中的法律法规识别。我们的实验证明了这项工作中开发的印度特定PLM的实用性。

Grammatical Error Correction (GEC) is the task of automatically detecting and correcting errors in text. The task not only includes the correction of grammatical errors, such as missing prepositions and mismatched subject-verb agreement, but also orthographic and semantic errors, such as misspellings and word choice errors respectively. The field has seen significant progress in the last decade, motivated in part by a series of five shared tasks, which drove the development of rule-based methods, statistical classifiers, statistical machine translation, and finally neural machine translation systems which represent the current dominant state of the art. In this survey paper, we condense the field into a single article and first outline some of the linguistic challenges of the task, introduce the most popular datasets that are available to researchers (for both English and other languages), and summarise the various methods and techniques that have been developed with a particular focus on artificial error generation. We next describe the many different approaches to evaluation as well as concerns surrounding metric reliability, especially in relation to subjective human judgements, before concluding with an overview of recent progress and suggestions for future work and remaining challenges. We hope that this survey will serve as comprehensive resource for researchers who are new to the field or who want to be kept apprised of recent developments.

在任何文本到语音（TTS）系统中，将书面文本转换为口语形式是一个必不可少的问题。但是，为现实世界的TTS系统构建有效的文本归一化解决方案面临两个主要挑战：（1）非标准单词（NSWS）的语义歧义（例如，数字，日期，范围，范围，得分，缩写）和（2 ）将NSWS转换为明显的音节，例如URL，电子邮件地址，主题标签和联系人名称。在本文中，我们提出了一种应对这些挑战的新两相规范化方法。首先，一个基于模型的标签机旨在检测NSWS。然后，根据新南威尔士州类型的不同，基于规则的标准器将这些新南威尔士州的最终语言形式扩展到其最终的口头形式。我们使用条件随机场（CRF），Bilstm-CNN-CRF和Bert-Bigru-CRF模型进行了三个经验实验，以进行新南威尔士州检测，包括从越南新闻文章中提取的5819个句子，包括5819个句子。在第二阶段，我们提出了一种基于前向词典的最大匹配算法，以拆分主题标签，电子邮件，URL和联系人名称。标记阶段的实验结果表明，Bilstm-CNN-CRF和CRF模型的平均F1得分高于90.00％，而Bert-Bigru-CRF模型则达到95.00％的最高F1。总体而言，我们的方法的句子错误率较低，CRF为8.15％，而Bilstm-CNN-CRF标记器为7.11％，而Bert-Bigru-CRF Tagger只有6.67％。

多字表达式（MWES）呈现单词组，其中整体的含义不是源于其部分的含义。处理MWE的任务在许多自然语言处理（NLP）应用中至关重要，包括机器翻译和术语提取。因此，检测MWE是一个流行的研究主题。在本文中，我们在检测MWES的任务中探索了最新的神经变压器。我们在数据集中凭经验评估了Semeval-2016任务10：检测最小的语义单元及其含义（DIMSUM）。我们表明，变压器模型的表现优于先前基于长期记忆（LSTM）的神经模型。该代码和预培训模型将免费提供给社区。