社交媒体帖子包含有关医疗条件和与健康相关行为的潜在有价值的信息。生物重建VII任务3专注于通过识别推文中的药物和膳食补充剂的提及来挖掘这些信息。我们通过精细调整多个BERT样式语言模型来执行此任务以执行令牌级分类,并将它们组合成集合以生成最终预测。我们最好的系统由五个Megatron-Bert-345M型号组成,在看不见的测试数据上实现了0.764的严格F1得分。
translated by 谷歌翻译
生物重建VII Track-2挑战包括命名实体识别,实体链接(或实体 - 归一化),主题索引任务 - 与实体和主题限制为这项挑战的化学品。命名实体识别是一个完善的问题,我们通过基于Bert的生物群体模型实现了我们的最佳性能。我们将基于BERT的方法扩展到实体链接任务。在预先预订Biobert的第二阶段,通过称为自对准预先训练(SAP)的度量学习损失策略,我们将基于其SAP-Biobert Word Embeddings之间的余弦相似性链接实体。尽管我们的命名实体识别实验取得了成功,但我们发现化学指数任务一般更具挑战性。除了传统的NER方法之外,我们还尝试使用基于新颖的文本或“提示”方法的命名实体识别和实体链接,该方法使用生成语言模型,例如T5和GPT。我们通过这种新方法实现了令人鼓舞的结果。
translated by 谷歌翻译
在Bircocrive VII的Track-1中,要求参与者识别药物/化学品和蛋白质之间的相互作用。提供每个药物/化学和蛋白质的内部名称实体注释,必须自动预测14个不同的相互作用中的一种。对于此关系提取任务,我们尝试两种基于BERT的句子分类方法,以及使用T5模型的更新文本到文本方法。我们发现基于BERT的模型一般表现更好,我们的生物综太基模型实现了所有指标的最高分,实现了0.74 F1得分。虽然我们的小说T5文本到文本方法没有表现出基于BERT的大多数模型,但它表现出在类似数据上培训的那些,呈现出有希望的结果,实现0.65 F1得分。我们认为,与关系提取的文本文本方法有一些竞争优势,并且有很多研究进步的空间。
translated by 谷歌翻译
基于临床票据的决策支持系统有可能通过指向监督风险的医生来改善患者护理。预测患者的结果是这种系统的重要组成部分,其中利用深神经网络的使用表明了有希望的结果。然而,这些网络学到的模式大多是不透明的,之前的工作揭示了关于非预期偏差的再现的缺陷。因此,我们引入了一个可扩展的测试框架,评估了关于输入变化的临床结果模型的行为。该框架有助于了解学习模式及其对模型决策的影响。在这项工作中,我们将其应用于对患者特征性别,年龄和种族的行为变化。我们对三个目前的临床NLP模型的评估表明了这些特征对模型决策的具体影响。他们表明,即使在相同的数据上微调并且据称最佳的模型并不总是学习最卓越的模式的模式,模型行为也变得剧烈变化。
translated by 谷歌翻译
使用诸如BERT,ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译,文本摘要和命名实体识别的Sota结果,以命名为少。在这项工作中,除了使用这些主导的上下文感知的表示之外,我们还提出了一种用于命名实体识别(NER)的知识意识表示学习(KARL)网络。我们讨论了利用现有方法在纳入世界知识方面的挑战,并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器,该变压器编码器利用表示为事实三元组的大知识库,将它们转换为图形上下文,并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明,使用卡尔的增强可以大大提升我们的内部系统的性能,并在三个公共网络数据集中的文献中的现有方法,即Conll 2003,Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。
translated by 谷歌翻译
在本手稿中,我们向常规语言的有限替换等同性的不可剥离性提供详细证明$ b \ {0,1 \} ^ * c $。证据是基于Leonid P. Lisovik的作品。
translated by 谷歌翻译
近年来的自然语言处理研究(NLP)在培训大型模型中,目睹了用于产生上下文感知语言表示的巨大增长。在这方面,许多NLP系统利用了基于神经网络的架构的力量来结合在嵌入中的感觉信息,从而产生了上下文化的单词嵌入式(CWE)。尽管有了这一进展,但NLP社区并未见证任何关于这种架构的上下文化力量的比较研究。本文提出了对比较研究和对九个广泛采用的变压器模型进行了广泛的分析。这些型号是BERT,CTRL,DISTOLBERT,OPENAI-GPT,OPENAI-GPT2,Transformer-XL,XLNET,Electra和Albert。我们使用两个词汇样本字消歧(WSD)任务,SENDSVAL-2和SENDSVAL-3评估它们的上下文化力量。我们采用了在CWE上使用K-Collegy邻(KNN)分类的WSD简单但有效的方法。实验结果表明,拟议的技术还在WSD任务中实现了最新的最先进的结果
translated by 谷歌翻译
许多下游应用程序正在使用依赖性树,因此依赖于产生正确的依赖解析器,或者至少一致地输出。然而,使用机器学习训练依赖解析器,因此由于训练数据中的偏差而感到易受对不一致的不一致性。本文探讨了这种偏见的效果四种语言 - 英语,瑞典语,俄语和乌克兰语 - 尽管我们研究了在句子中替换数字的效果的实验。我们表明,此类看似微不足道的变化可能会导致输出差异,并表明数据增强可以弥补问题。
translated by 谷歌翻译
本文介绍了伯特嵌入法和图形卷积神经网络的新方法。采用这种组合来解决文本分类问题。最初,我们将BERT嵌入方法应用于文本(在BBC新闻数据集和IMDB电影评论数据集)中,以便将所有文本转换为数字向量。然后,图形卷积神经网络将应用于这些数字向量,以将这些文本分类为其AP的兴趣类/标签。实验表明,图形卷积神经网络模型的性能优于具有CLAS-SICE机器学习模型的BERT嵌入方法的组合的性能。
translated by 谷歌翻译
Magahi是一种印度东部地区的印度雅典语言。尽管具有大量扬声器,但对于语言而言,几乎没有语言资源(LR)或语言技术(LT),主要是因为其状态为非预定语言。本文介绍了开发Magahi的注释语料库的尝试。这些数据主要从Magahi中的几个博客中获取,Magahi中的一些故事集合以及Magahi的录音,它使用BIS Tagset在POS级别注释。
translated by 谷歌翻译