由于临床实践所需的放射学报告和研究是在自由文本叙述中编写和存储的，因此很难提取相对信息进行进一步分析。在这种情况下，自然语言处理（NLP）技术可以促进自动信息提取和自由文本格式转换为结构化数据。近年来，基于深度学习（DL）的模型已适用于NLP实验，并具有令人鼓舞的结果。尽管基于人工神经网络（ANN）和卷积神经网络（CNN）的DL模型具有显着潜力，但这些模型仍面临临床实践中实施的一些局限性。变形金刚是另一种新的DL体系结构，已越来越多地用于改善流程。因此，在这项研究中，我们提出了一种基于变压器的细粒命名实体识别（NER）架构，以进行临床信息提取。我们以自由文本格式收集了88次腹部超声检查报告，并根据我们开发的信息架构进行了注释。文本到文本传输变压器模型（T5）和covive是T5模型的预训练域特异性适应性，用于微调来提取实体和关系，并将输入转换为结构化的格式。我们在这项研究中基于变压器的模型优于先前应用的方法，例如基于Rouge-1，Rouge-2，Rouge-L和BLEU分别为0.816、0.668、0.528和0.743的ANN和CNN模型，同时提供了一个分数可解释的结构化报告。
translated by 谷歌翻译
在学习到等级的问题中，特权功能是在模型培训期间可用的功能，但在测试时不可用。这种特征自然出现在商品推荐系统中；例如，“用户单击此项目”作为功能可预测离线数据中的“用户购买此项目”，但在线服务期间显然不可用。特权功能的另一个来源是那些太昂贵而无法在线计算但可行的功能。特权功能蒸馏（PFD）是指自然想法：使用所有功能（包括特权的）训练“老师”模型，然后使用它来训练不使用特权功能的“学生”模型。在本文中，我们首先在经验上研究了三个公共排名数据集和从亚马逊日志中得出的工业规模排名问题。我们表明，PFD在所有这些数据集上都超过了几个基线（无缩写，预处理，自我验证和广义蒸馏）。接下来，我们通过经验消融研究和线性模型的理论分析来分析PFD的原因和何时表现良好。两项研究都发现了一个有趣的非主持酮行为：随着特权特征的预测能力增加，最初的学生模型的性能最初会增加，但随后降低。我们表明了后来的表现降低的原因是，一个非常预测的特权教师会产生较高的差异的预测，从而导致较高的差异学生估计和劣等测试表现。
translated by 谷歌翻译