文本分类问题是自然语言处理领域的一个非常广泛的研究领域。简而言之，文本分类问题是确定给定文本所属的先前确定的哪个类别。在过去的研究中，在这一领域进行了成功的研究。在该研究中，使用用于变压器（BERT）的双向编码器表示，其是用于解决自然语言处理领域中的分类问题的常用方法。通过通过在Chatbot架构中使用的单个模型来解决分类问题，旨在缓解服务器上的负载，该负载将由一个以上的模型创建，用于解决多个分类问题。此时，利用在估计在多于一个主题中为分类而创建的单个BERT模型期间应用的掩蔽方法，基于问题的基础提供了模型的估计。覆盖不同字段的三个单独的数据集被各种方法除以各种方法，以使问题复杂化，并且在这种方式中也包括在字段中彼此非常接近的分类问题。以这种方式使用的数据集包括五个课程的五个分类问题。在性能和服务器上占用的空间方面相互比较包含所有分类问题和专门用于问题的其他BERT模型的BERT模型。
translated by 谷歌翻译
Researchers are doing intensive work on satellite images due to the information it contains with the development of computer vision algorithms and the ease of accessibility to satellite images. Building segmentation of satellite images can be used for many potential applications such as city, agricultural, and communication network planning. However, since no dataset exists for every region, the model trained in a region must gain generality. In this study, we trained several models in China and post-processing work was done on the best model selected among them. These models are evaluated in the Chicago region of the INRIA dataset. As can be seen from the results, although state-of-art results in this area have not been achieved, the results are promising. We aim to present our initial experimental results of a building segmentation from satellite images in this study.
translated by 谷歌翻译
社交网络的快速发展以及互联网可用性的便利性加剧了虚假新闻和社交媒体网站上的谣言的泛滥。在共同19的流行病中，这种误导性信息通过使人们的身心生命处于危险之中，从而加剧了这种情况。为了限制这种不准确性的传播，从在线平台上确定虚假新闻可能是第一步。在这项研究中，作者通过实施了五个基于变压器的模型，例如Bert，Bert没有LSTM，Albert，Roberta和Bert＆Albert的混合体，以检测Internet的Covid 19欺诈新闻。Covid 19假新闻数据集已用于培训和测试模型。在所有这些模型中，Roberta模型的性能优于其他模型，通过在真实和虚假类中获得0.98的F1分数。
translated by 谷歌翻译
Pre-trained transformers are now the de facto models in Natural Language Processing given their state-of-the-art results in many tasks and languages. However, most of the current models have been trained on languages for which large text resources are already available (such as English, French, Arabic, etc.). Therefore, there are still a number of low-resource languages that need more attention from the community. In this paper, we study the Algerian dialect which has several specificities that make the use of Arabic or multilingual models inappropriate. To address this issue, we collected more than one million Algerian tweets, and pre-trained the first Algerian language model: DziriBERT. When compared with existing models, DziriBERT achieves better results, especially when dealing with the Roman script. The obtained results show that pre-training a dedicated model on a small dataset (150 MB) can outperform existing models that have been trained on much more data (hundreds of GB). Finally, our model is publicly available to the community.
translated by 谷歌翻译
我们建议使用双BERT特征提取从肺CT-Scan切片图像中提出一个自动COVID1-19诊断框架。在第一个BERT特征提取中，首先使用3D-CNN提取CNN内部特征图。与其使用全局平均池，不如使用晚期的时间po来汇总这些特征图中的时间信息，然后是分类层。该3D-CNN-BERT分类网络首先是对每个原始CT扫描量的固定数量的固定切片图像进行训练的。在第二阶段，在每个CT扫描量的所有切片图像上都提取了3D-CNN-BERT嵌入功能，并且将这些特征平均为固定数量的片段。然后，另一个BERT网络用于将这些多个功能汇总到单个功能中，然后再进行另一个分类层。将两个阶段的分类结果组合在一起以生成最终输出。在验证数据集上，我们达到0.9164的宏F1分数。
translated by 谷歌翻译
该论文为罗马尼亚语提供了一个开放域的答案系统，回答了Covid-19相关问题。QA系统管道涉及自动问题处理，自动查询生成，Web搜索前10个最相关的文档，并使用用于提取质量质量质量质量质量质量质量的BERT模型回答提取，并在我们手动创建的COVID-19数据集上进行了培训。该论文将介绍质量检查系统及其与罗马尼亚语言技术的集成，COVID-19数据集以及对质量检查性能的不同评估。
translated by 谷歌翻译
潜在的生命危及危及生命的错误信息急剧上升是Covid-19大流行的副产品。计算支持，以识别关于该主题的大规模数据内的虚假信息至关重要，以防止伤害。研究人员提出了许多用于标记与Covid-19相关的在线错误信息的方法。但是，这些方法主要针对特定的内容类型（例如，新闻）或平台（例如，Twitter）。概括的方法的能力在很大程度上尚不清楚。我们在五十个COVID-19错误信息数据集中评估基于15个变压器的模型，包括社交媒体帖子，新闻文章和科学论文来填补这一差距。我们向Covid-19数据量身定制的标记和模型不提供普通目的的数据的显着优势。我们的研究为检测Covid-19错误信息的模型提供了逼真的评估。我们预计评估广泛的数据集和模型将使未来的开发错误信息检测系统进行未来的研究。
translated by 谷歌翻译
由于他们提供的即时和社交交互，社交网络已成为人类的主要信息渠道之一，允许在某些情况下发布每个用户认为相关的内容。这带来了虚假新闻或假新闻的产生，只会寻求产生不确定性，错误信息或歪曲读者的意见。已经表明，人类无法充分识别文章是否真的是一个事实或假新闻，因为这是由于模型而旨在基于数据挖掘和机器学习来表征和识别文章。本文提出了一个三层框架，主要目标是，它是表征假新闻中存在的情绪，并成为未来工作的工具，以确定公众的情绪状态和故意状态。
translated by 谷歌翻译
我们对数据驱动的需求工程，尤其是对用户评论的考虑。这些在线评论是提取新需求和改进请求的丰富信息来源。在这项工作中，我们使用Camembert提供了自动分析，Camembembert是法语中最先进的语言模型。我们从健康与健身领域的三个应用程序中创建了一个由6000个用户评论的多标签分类数据集。结果令人鼓舞，并建议可以自动识别有关新功能请求的评论。数据集可在以下网址获得：https：//github.com/jl-wei/apia2022-french-user-reviews-classification-dataset。
translated by 谷歌翻译
2021-11-10
本文介绍了我们在Biocreative VII的Covid-19文学注释任务上提交。我们提出了一种利用全球非最佳权重的知识的方法，通常被拒绝，以构建每个标签的丰富代表性。我们所提出的方法包括两个阶段：（1）培训数据的各种初始化的召唤，具有弱训练的权重，（2）基于BERT和Roberta Embeddings的异构词汇模型的堆叠。这些弱洞察的聚合比经典全球有效的模型更好。目的是将知识丰富的蒸馏到更简单和更轻的模型。我们的系统获取基于实例的F1，为92.96和基于标签的微F1，为91.35。
translated by 谷歌翻译
Covid-19-Pandemic继续在社交媒体上提出各种讨论或辩论的主题。为了探索大流行对人们生活的影响，了解公众对与大流行有关的实体（例如药物，疫苗）对社交媒体的关注和态度至关重要。但是，对现有命名实体识别（NER）或目标情感分析（TSA）数据集培训的模型具有有限的理解与COVID相关的社交媒体文本的能力有限，因为这些数据集并未从医学角度设计或注释。本文释放了Mets-COV，这是一种包含医疗实体的数据集和与COVID相关的推文中的目标情感。 Mets-COV包含10,000条带有7种实体的推文，包括4种医疗实体类型（疾病，药物，症状和疫苗）和3种通用实体类型（人，位置和组织）。为了进一步调查推文用户对特定实体的态度，选择了4种类型的实体（人，组织，药物和疫苗），并用用户情感注释，从而产生了具有9,101个实体（5,278个推文）的目标情感数据集。据我们所知，METS-COV是第一个收集与COVID相关推文的医疗实体和相应情感的数据集。我们通过广泛的实验对经典机器学习模型和最先进的深度学习模型进行基准测试。结果表明，该数据集在NER和TSA任务方面都有大量改进的空间。 METS-COV是开发更好的医学社交媒体工具并促进计算社会科学研究的重要资源，尤其是在流行病学方面。我们的数据，注释准则，基准模型和源代码公开可用（https://github.com/ylab-open/mets-cov），以确保可重复性。
translated by 谷歌翻译
症状信息主要记录在自由文本临床笔记中，并且无法直接用于下游应用。为了应对这一挑战，需要采用可以处理不同机构和专业的临床语言变化的信息提取方法。在本文中，我们使用预处理和微调数据介绍了症状提取的领域概括，这些数据在机构和/或专业和患者人群方面与目标领域不同。我们使用基于变压器的联合实体和关系提取方法提取症状事件。为了减少对域特异性特征的依赖，我们提出了一种域的概括方法，该方法可以动态掩盖源域中的频繁症状单词。此外，我们将变压器语言模型（LM）预先限定在与任务相关的无标记文本上，以更好地表示。我们的实验表明，当源域与目标域更遥远时，掩盖和自适应预处理方法可以显着提高性能。
translated by 谷歌翻译
全球世界正在穿越大流行形势，这是一个灾难性的呼吸综合征爆发被认为是Covid-19。这是212个国家的全球威胁，即人们每天都会遇到强大的情况。相反，成千上万的受感染的人居住丰富的山脉。心理健康也受到全球冠状病毒情况的影响。由于这种情况，在线消息来源使普通人在任何议程中分享他们的意见。如受影响的新闻相关的积极和消极，财务问题，国家和家庭危机，缺乏进出口盈利系统等。不同的情况是最近在任何地方的时尚新闻。因此，在瞬间内产生了大量的文本，在次大陆领域，与其他国家的情况相同，以及文本的人民意见和情况也是相同的，但语言是不同的。本文提出了一些具体的投入以及来自个别来源的孟加拉文本评论，可以确保插图的目标，即机器学习结果能够建立辅助系统。意见挖掘辅助系统可能以可能的所有语言偏好有影响。据我们所知，文章预测了Covid-19问题上的Bangla输入文本，提出了ML算法和深度学习模型分析还通过比较分析检查未来可达性。比较分析规定了关于文本预测精度的报告与ML算法和79％以及深度学习模型以及79％的报告。
translated by 谷歌翻译
这项工作结合了有关预先训练模型编码的对话历史的信息，其含义表示当前系统话语，以实现面向任务对话中的语境语言生成。我们利用预先训练的多上下文转换模型进行从头开始培训的模型中的上下文表示;并利用从预训练的GPT-2调整的模型中的上下文生成的立即使用前面的用户话语。与多种数据集的两个实验表明，通过预先训练的模型编码的上下文信息可提高自动指标和人类评估中的响应生成的性能。我们所呈现的上下文发电机使得更高种类的响应能够更好地适应正在进行的对话。分析上下文大小显示，较长的上下文不会自动导致更好的性能，但是前面的用户话语的直接对上下文生成起着重要作用。此外，我们还提出了一种基于GPT的生成模型的重新排名。实验表明，RE-Ranker选择的响应对自动度量有重大改进。
translated by 谷歌翻译
Covid-19已遍布全球，已经开发了几种疫苗来应对其激增。为了确定与社交媒体帖子中与疫苗相关的正确情感，我们在与Covid-19疫苗相关的推文上微调了各种最新的预训练的变压器模型。具体而言，我们使用最近引入的最先进的预训练的变压器模型Roberta，XLNet和Bert，以及在CoVID-19的推文中预先训练的域特异性变压器模型CT-Bert和Bertweet。我们通过使用基于语言模型的过采样技术（LMOTE）过采样来进一步探索文本扩展的选项，以改善这些模型的准确性，特别是对于小样本数据集，在正面，负面和中性情感类别之间存在不平衡的类别分布。我们的结果总结了我们关于用于微调最先进的预训练的变压器模型的不平衡小样本数据集的文本过采样的适用性，以及针对分类任务的域特异性变压器模型的实用性。
translated by 谷歌翻译
本文介绍了AILAB-UDINE团队为SMM4H 22共享任务开发的模型。我们探索了基于变压器的模型在文本分类，实体提取和实体归一化，解决任务1、2、5、6和10的极限。使用集合学习时的不同体系结构，以及生成模型的巨大潜力，以实现术语归一化。
translated by 谷歌翻译
当在现实世界中以任务为导向的对话系统中实现自然语言（NLG）组件时，不仅需要在训练数据上学习的自然话语，而且还需要适应对话环境（例如，环境中的噪音）听起来）和用户（例如，理解能力水平较低的用户）。受到语言生成任务的强化学习（RL）的最新进展的启发，我们提出了Antor，这是一种通过强化学习来适应以任务为导向对话的自然语言生成的方法。在Antor中，与用户对系统话语的理解相对应的自然语言理解（NLU）模块已纳入RL的目标函数中。如果将NLG的意图正确传达给了NLU，该意图理解了系统的话语，则NLG将获得积极的回报。我们在Multiwoz数据集上进行了实验，并确认Antor可以对语音识别错误和用户的不同词汇水平产生适应性话语。
translated by 谷歌翻译
压力溃疡在ICU患者中具有很高的患病率，但如果以初始阶段识别，则可预防。在实践中，布拉登规模用于分类高风险患者。本文通过使用MIMIC-III V1.4中可用的数据调查了在电子健康中使用机器学习记录数据的使用。制定了两个主要贡献：评估考虑在住宿期间所有预测的模型的新方法，以及用于机器学习模型的新培训方法。结果与现有技术相比，表现出卓越的性能;此外，所有型号在精密召回曲线中的每个工作点都超过了Braden刻度。 - - les \〜oes por按\〜ao possuem alta preval \ ^ encia em pacientes de Uti e s \〜ao preven \'iveis ao serem endicidificadas em Est \'agios Iniciais。 na pr \'atica materiza-se a escala de braden para classifica \ c {c} \〜ao de pacientes em risco。 Este Artigo Investiga o Uso de Apenizado de M \'Aquina Em Dados de Registros Eletr \ ^ Onicos Para Este Fim，Parir Da Base dados Mimic-III V1.4。 s \〜ao feitas duas contribui \ c {c} \〜oes principais：uma nova abordagem para a avalia \ c {c} \〜ao dos modelos e da escala da escala de braden levando em conta todas作为predi \ c {c} \ 〜oes feitas ao longo das interna \ c {c} \〜oes，euro novo m \'etodo de treinamento para os modelos de aprendizo de m \'aquina。 os结果os overidos superam o estado da arte everifica-se que os modelos superam意义a escala de braden em todos oS pontos de Opera \ c {c} \〜〜ao da curva de precis \〜ao por sensibilidade。
translated by 谷歌翻译
由于社交网络中的许多用户每天都在为网络欺凌活动暴露于网络欺凌活动，发现了冒犯性，仇恨和亵渎语言已成为一个关键挑战。在本文中，我们展示了分析不同文本特征，以检测Twitter上的仇恨或冒犯职位。我们提供了详细的实验评估，了解每个构建块在神经网络架构中的影响。在英语子任务1A上评估所提出的架构：从团队名称TIB-VA下识别来自Hasoc-2021数据集的帖子数据集的仇恨，冒犯和亵渎内容。我们比较了上下文词嵌入的不同变体，结合了字符级嵌入和收集的仇恨术语的编码。
translated by 谷歌翻译
通过匿名和可访问性，社交媒体平台促进了仇恨言论的扩散，提示在开发自动方法以识别这些文本时提高研究。本文探讨了使用各种深度神经网络模型架构（如长短期内存（LSTM）和卷积神经网络（CNN）的文本中性别歧视分类。这些网络与来自变压器（BERT）和Distilbert模型的双向编码器表示形式的传输学习一起使用，以及数据增强，以在社交中的性别歧视识别中对推文和GAB的数据集进行二进制和多种性别歧视分类Iberlef 2021中的网络（存在）任务。看到模型与竞争对手的比较，使用BERT和多滤波器CNN模型进行了最佳性能。数据增强进一步提高了多级分类任务的结果。本文还探讨了模型所做的错误，并讨论了由于标签的主观性和社交媒体中使用的自然语言的复杂性而自动对性别歧视的难度。
translated by 谷歌翻译