搜索引擎的健康误导是一个可能对个人或公共卫生产生负面影响的重要问题。为了减轻问题,TREC组织了健康错误信息轨道。本文介绍了这条赛道的提交。我们使用BM25和域特定的语义搜索引擎来检索初始文档。后来,我们检查了健康新闻架构以获得质量评估,并将其应用于重新排名的文件。我们通过使用互酷等级融合将分数与不同组件合并。最后,我们讨论了未来作品的结果并结束。
translated by 谷歌翻译
许多用户转向记录检索系统(例如搜索引擎)以寻求有争议的问题的答案。回答此类用户查询通常需要识别Web文档中的响应,并根据其不同的视角汇总响应。经典文档检索系统在为用户提供一系列直接和不同的响应时下降。当然,识别文档中的此类答复是一种自然语言理解任务。在本文中,我们研究了用文件检索综合这种语言理解目标的挑战,并研究了一个新的视角导向文档检索范式。我们讨论并评估内在的自然语言理解挑战,以实现目标。在设计挑战和原则之后,我们展示并评估了一个实用的原型管道系统。我们使用原型系统进行用户调查,以便评估我们的范例的效用,并理解用户信息需要有争议的查询。
translated by 谷歌翻译
我们研究了检查问题的事实,旨在识别给定索赔的真实性。具体而言,我们专注于事实提取和验证(发烧)及其伴随数据集的任务。该任务包括从维基百科检索相关文件(和句子)并验证文件中的信息是否支持或驳斥所索赔的索赔。此任务至关重要,可以是假新闻检测和医疗索赔验证等应用程序块。在本文中,我们以通过以结构化和全面的方式呈现文献来更好地了解任务的挑战。我们通过分析不同方法的技术视角并讨论发热数据集的性能结果,描述了所提出的方法,这是最熟悉的和正式结构化的数据集,就是事实提取和验证任务。我们还迄今为止迄今为止确定句子检索组件的有益损失函数的最大实验研究。我们的分析表明,采样负句对于提高性能并降低计算复杂性很重要。最后,我们描述了开放的问题和未来的挑战,我们激励了未来的任务研究。
translated by 谷歌翻译
本文介绍了预测关系提取的文本文档的覆盖范围的新任务(重新):该文件是否包含给定实体的许多关系元组?覆盖预测可用于选择具有大型输入基层的知识库建设的最佳文档。为研究这个问题,我们为520个实体提供了31,366个不同文件的数据集。我们分析了文档覆盖的相关性与长度,实体提及频率,alexa等级,语言复杂性和信息检索分数的特征相关。这些特征中的每一个都只有适度的预测力量。我们采用方法将具有统计模型的功能相结合,如TF-IDF和BERT语言模型。该模型结合特性和BERT,HERB,实现了F1得分高达46%。我们展示了两种用例的覆盖预测的效用:KB建设和索赔驳斥。
translated by 谷歌翻译
键形提取已在单文件设置中进行了广泛的研究,并具有大量的方法,数据集和应用程序。相反,尽管具有描述文档集的实用性及其在摘要中的用途,但很少研究多文档键形键盘提取。此外,对于多文件键孔提取,不存在先前的数据集,从而阻碍了任务的进度。多文本处理的最新进展使该任务成为追求的更具吸引力的挑战。为了刺激这种追求,我们在这里介绍了该任务的第一个数据集MK-DUC-01,它可以用作新的基准测试,并在我们的数据上测试多个键形提取基线。此外,我们还提供了对任务的简短但全面的文献回顾。
translated by 谷歌翻译
虽然最近的自动化事实检查的工作主要集中在验证和解释索赔中,但是,索赔清单易于获得,识别文本中的检验值得索赔句仍然具有挑战性。当前索赔识别型号依赖于文本中的每个句子的手动注释,这是一个昂贵的任务,并在多个域频繁地进行挑战。本文探讨了识别假​​新闻文章的识别检验值得索赔句的方法,无论领域如何,都没有明确的句子级注释。我们利用两个内部监控信号 - 标题和抽象摘要 - 基于语义相似性对句子进行排名。我们假设这一排名直接与句子的计数器相关联。为了评估这一假设的有效性,我们构建了利用基于标题或抽象摘要来排名句子的管道。排名排名句子用于证据检索的下游事实检查任务以及管道的物品的准确性预测。我们的研究结果表明,前三名句子包含足够的信息,以获取基于证据的事实检查假新闻文章。我们还表明,虽然标题与事实上检查网站如何写入索赔,但基于摘要的管道对端到端的事实检查系统最有前途的同性。
translated by 谷歌翻译
We introduce efficient deep learning-based methods for legal document processing including Legal Document Retrieval and Legal Question Answering tasks in the Automated Legal Question Answering Competition (ALQAC 2022). In this competition, we achieve 1\textsuperscript{st} place in the first task and 3\textsuperscript{rd} place in the second task. Our method is based on the XLM-RoBERTa model that is pre-trained from a large amount of unlabeled corpus before fine-tuning to the specific tasks. The experimental results showed that our method works well in legal retrieval information tasks with limited labeled data. Besides, this method can be applied to other information retrieval tasks in low-resource languages.
translated by 谷歌翻译
该论文为罗马尼亚语提供了一个开放域的答案系统,回答了Covid-19相关问题。QA系统管道涉及自动问题处理,自动查询生成,Web搜索前10个最相关的文档,并使用用于提取质量质量质量质量质量质量质量的BERT模型回答提取,并在我们手动创建的COVID-19数据集上进行了培训。该论文将介绍质量检查系统及其与罗马尼亚语言技术的集成,COVID-19数据集以及对质量检查性能的不同评估。
translated by 谷歌翻译
Medical systematic reviews typically require assessing all the documents retrieved by a search. The reason is two-fold: the task aims for ``total recall''; and documents retrieved using Boolean search are an unordered set, and thus it is unclear how an assessor could examine only a subset. Screening prioritisation is the process of ranking the (unordered) set of retrieved documents, allowing assessors to begin the downstream processes of the systematic review creation earlier, leading to earlier completion of the review, or even avoiding screening documents ranked least relevant. Screening prioritisation requires highly effective ranking methods. Pre-trained language models are state-of-the-art on many IR tasks but have yet to be applied to systematic review screening prioritisation. In this paper, we apply several pre-trained language models to the systematic review document ranking task, both directly and fine-tuned. An empirical analysis compares how effective neural methods compare to traditional methods for this task. We also investigate different types of document representations for neural methods and their impact on ranking performance. Our results show that BERT-based rankers outperform the current state-of-the-art screening prioritisation methods. However, BERT rankers and existing methods can actually be complementary, and thus, further improvements may be achieved if used in conjunction.
translated by 谷歌翻译
Recent lay language generation systems have used Transformer models trained on a parallel corpus to increase health information accessibility. However, the applicability of these models is constrained by the limited size and topical breadth of available corpora. We introduce CELLS, the largest (63k pairs) and broadest-ranging (12 journals) parallel corpus for lay language generation. The abstract and the corresponding lay language summary are written by domain experts, assuring the quality of our dataset. Furthermore, qualitative evaluation of expert-authored plain language summaries has revealed background explanation as a key strategy to increase accessibility. Such explanation is challenging for neural models to generate because it goes beyond simplification by adding content absent from the source. We derive two specialized paired corpora from CELLS to address key challenges in lay language generation: generating background explanations and simplifying the original abstract. We adopt retrieval-augmented models as an intuitive fit for the task of background explanation generation, and show improvements in summary quality and simplicity while maintaining factual correctness. Taken together, this work presents the first comprehensive study of background explanation for lay language generation, paving the path for disseminating scientific knowledge to a broader audience. CELLS is publicly available at: https://github.com/LinguisticAnomalies/pls_retrieval.
translated by 谷歌翻译
我们介绍了微博观点摘要(MOS)的任务,并共享3100个金标准意见摘要的数据集,以促进该领域的研究。该数据集包含跨越2年期的推文的摘要,并且涵盖了比任何其他公共Twitter摘要数据集更多的主题。摘要本质上是抽象的,是由熟练的记者创建的,这些记者在将事实信息(主要故事)与作者观点分开的模板之后,总结了新闻文章。我们的方法不同于以前在社交媒体中生成金标准摘要的工作,这些摘要通常涉及选择代表性帖子,从而有利于提取性摘要模型。为了展示数据集的实用性和挑战,我们基准了一系列抽象性和提取性的最先进的摘要模型,并实现良好的性能,前者的表现优于后者。我们还表明,微调对于提高性能和研究使用不同样本量的好处是必要的。
translated by 谷歌翻译
有效的人类学习取决于广泛的教育材料,与学习者目前对该主题保持一致。虽然互联网彻底改变了人类的学习或教育,但仍存在大量资源可访问性障碍。即,过剩的在线信息可以使其充满努力导航和发现高质量的学习材料。在本文中,我们提出了教育资源发现(ERD)管道,用于为新颖域自动化Web资源发现。管道由三个主要步骤组成:数据收集,功能提取和资源分类。我们从一个已知的源域开始,通过传输学习在两个看不见的目标域上进行资源发现。我们首先从一组种子文档中收集频繁查询并在网上搜索以获取候选资源,例如讲座幻灯片和介绍博客帖子。然后我们介绍一个小说预用信息检索深神经网络模型,查询文件屏蔽语言建模(QD-MLM),以提取这些候选​​资源的深度特征。我们应用基于树的分类器来决定候选人是否是一个积极的学习资源。当在两个类似但新的靶域评估时,管道在评估时实现0.94和0.82的F1分数。最后,我们展示了该管道如何使应用程序有益于应用:调查的领先段落生成。这是据我们所知,这是考虑各种网络资源的研究。我们还释放了39,728个手动标记的Web资源的语料库,以及来自NLP,计算机视觉(CV)和统计信息(统计数据)的659个查询。
translated by 谷歌翻译
诸如人工智能(AI)之类的快速发展领域经常超过维基百科等百科全书来源的努力,这些来源如不完全介绍最近引入的主题或完全缺乏这种内容。因此,自动产生内容的方法是解决此信息过载的有价值的工具。我们表明,最近的预训练语言建模的进展可以组合为维基百科铅段生成的两级提取和抽象方法。我们扩展了这种方法,以产生更长的维基百科风格的摘要,并通过详细研究100参考人体收集的调查,研究这种方法在本申请中争取如何奋斗。这是利用Web资源利用WEAL Wikipedia风格摘要的第一次研究。
translated by 谷歌翻译
测量不同文本的语义相似性在数字人文研究中具有许多重要应用,例如信息检索,文档聚类和文本摘要。不同方法的性能取决于文本,域和语言的长度。本研究侧重于试验一些目前的芬兰方法,这是一种形态学丰富的语言。与此同时,我们提出了一种简单的方法TFW2V,它在处理长文本文档和有限的数据时显示出高效率。此外,我们设计了一种客观评估方法,可以用作基准标记文本相似性方法的框架。
translated by 谷歌翻译
近年来,问题回答(QA)系统引起了爆炸性的关注。但是,越南语中的质量检查任务没有很多数据集。值得注意的是,医疗域中大多没有数据集。因此,我们为回答数据集(VIHealthQA)建立了一个越南医疗保健问题,其中包括10,015个问题 - 答案段落对,以实现这项任务,其中在享有盛名的健康网站上问了来自健康利益的用户的问题,并在享有资格的专家中得到了答案。本文提出了一个基于句子 - 伯特(Sbert)的两阶段质量检查系统,使用多个负损失(MNR)损失与BM25结合在一起。然后,我们使用许多单词范围的模型进行多种实验,以评估系统的性能。通过获得的结果,该系统的性能比传统方法更好。
translated by 谷歌翻译
本概述论文描述了乌尔都语语言中的假新闻检测的第一个共享任务。该任务是作为二进制分类任务的,目标是区分真实新闻和虚假新闻。我们提供了一个数据集,分为900个注释的新闻文章,用于培训,并进行了400篇新闻文章进行测试。该数据集包含五个领域的新闻:(i)健康,(ii)体育,(iii)Showbiz,(iv)技术和(v)业务。来自6个不同国家(印度,中国,埃及,德国,巴基斯坦和英国)的42个团队登记了这项任务。9个团队提交了他们的实验结果。参与者使用了各种机器学习方法,从基于功能的传统机器学习到神经网络技术。最佳性能系统的F得分值为0.90,表明基于BERT的方法优于其他机器学习技术
translated by 谷歌翻译
健康素养被出现为制定适当的健康决策和确保治疗结果的关键因素。然而,医学术语和该领域的专业语言的复杂结构使健康信息尤为难以解释。因此,迫切需要对自动化方法来提高生物医学文献的可访问性,以提高一般人群。这个问题可以作为医疗保健专业人员语言与公众的语言之间的翻译问题。在本文中,我们介绍了自动化生物医学科学评论的制定语言摘要的新任务,建设了一个数据集,以支持自动化方法的开发和评估,以提高生物医学文献的可访问性。我们对解决这项任务的各种挑战进行了分析,包括不仅对关键要点的总结,而且还概述了对背景知识和专业语言的简化的解释。我们试验最先进的摘要模型以及多种数据增强技术,并使用自动指标和人工评估评估其性能。结果表明,与专家专家专门开发的参考摘要相比,使用当代神经架构产生的自动产生的摘要可以实现有希望的质量和可读性(最佳Rouge-L为50.24和Flesch-Kincaid可读性得分为13.30)。我们还讨论了目前尝试的局限性,为未来工作提供了洞察和方向。
translated by 谷歌翻译
We introduce INSTRUCTOR, a new method for computing text embeddings given task instructions: every text input is embedded together with instructions explaining the use case (e.g., task and domain descriptions). Unlike encoders from prior work that are more specialized, INSTRUCTOR is a single embedder that can generate text embeddings tailored to different downstream tasks and domains, without any further training. We first annotate instructions for 330 diverse tasks and train INSTRUCTOR on this multitask mixture with a contrastive loss. We evaluate INSTRUCTOR on 70 embedding evaluation tasks (66 of which are unseen during training), ranging from classification and information retrieval to semantic textual similarity and text generation evaluation. INSTRUCTOR, while having an order of magnitude fewer parameters than the previous best model, achieves state-of-the-art performance, with an average improvement of 3.4% compared to the previous best results on the 70 diverse datasets. Our analysis suggests that INSTRUCTOR is robust to changes in instructions, and that instruction finetuning mitigates the challenge of training a single model on diverse datasets.
translated by 谷歌翻译
新闻库中的自动事件检测是开采快速发展的结构化知识的至关重要的任务。由于现实世界事件具有不同的粒度,从顶级主题到关键事件,然后再提及与具体行动相对应的事件,因此通常有两条研究:(1)主题检测从新闻语料库的主要主题中标识(例如,。 ,“ 2019年香港抗议活动”与“ 2020年美国总统大选”),具有非常不同的语义; (2)从一份文件提取的行动提取提取级别的行动(例如,“警察击中抗议者的左臂”),无法理解该事件。在本文中,我们提出了一项新任务,即在中间级别的关键事件检测,目的是从新闻语料库的关键事件(例如,“ 8月12日至14日的HK机场抗议”)中进行检测,每一次都发生在特定时间/位置并专注于同一主题。由于新闻文章的快速发展性质,这项任务可以弥合事件的理解和结构,并且由于关键事件的主题和时间紧密以及标记的数据的稀缺而具有固有的挑战。为了应对这些挑战,我们开发了一个无监督的关键事件检测框架Evmine,(1)使用新颖的TTF-ITF分数提取时间频繁的峰值短语,(2)将峰值短语合并为事件 - 指示特征集,通过从我们的我们检测我们的社区中。设计的峰短语图可以捕获文档的共发生,语义相似性和时间亲密信号,以及(3)迭代地检索与每个关键事件相关的文档,通过训练具有从事件指标特征集中自动生成的伪标签的分类器,并完善该分类器使用检索的文档检测到关键事件。广泛的实验和案例研究表明,Evmine的表现优于所有基线方法及其在两个现实世界新闻机构上的消融。
translated by 谷歌翻译
在当代世界中,自动检测假新闻是一项非常重要的任务。这项研究报告了第二项共享任务,称为Urdufake@fire2021,以识别乌尔都语中的假新闻检测。共同任务的目的是激励社区提出解决这一至关重要问题的有效方法,尤其是对于乌尔都语。该任务被视为二进制分类问题,将给定的新闻文章标记为真实或假新闻文章。组织者提供了一个数据集,其中包括五个领域的新闻:(i)健康,(ii)体育,(iii)Showbiz,(iv)技术和(v)业务,分为培训和测试集。该培训集包含1300篇注释的新闻文章 - 750个真实新闻,550个假新闻,而测试集包含300篇新闻文章 - 200个真实,100个假新闻。来自7个不同国家(中国,埃及,以色列,印度,墨西哥,巴基斯坦和阿联酋)的34个团队注册参加了Urdufake@Fire2021共享任务。在这些情况下,有18个团队提交了实验结果,其中11个提交了技术报告,与2020年的Urdufake共享任务相比,这一报告要高得多,当时只有6个团队提交了技术报告。参与者提交的技术报告展示了不同的数据表示技术,从基于计数的弓形功能到单词矢量嵌入以及使用众多的机器学习算法,从传统的SVM到各种神经网络体系结构,包括伯特和罗伯塔等变形金刚。在今年的比赛中,表现最佳的系统获得了0.679的F1-MACRO得分,低于过去一年的0.907 F1-MaCro的最佳结果。诚然,尽管过去和当前几年的培训集在很大程度上重叠,但如果今年完全不同,则测试集。
translated by 谷歌翻译