社交媒体帖子包含有关医疗条件和与健康相关行为的潜在有价值的信息。生物重建VII任务3专注于通过识别推文中的药物和膳食补充剂的提及来挖掘这些信息。我们通过精细调整多个BERT样式语言模型来执行此任务以执行令牌级分类,并将它们组合成集合以生成最终预测。我们最好的系统由五个Megatron-Bert-345M型号组成,在看不见的测试数据上实现了0.764的严格F1得分。
translated by 谷歌翻译
生物重建VII Track-2挑战包括命名实体识别,实体链接(或实体 - 归一化),主题索引任务 - 与实体和主题限制为这项挑战的化学品。命名实体识别是一个完善的问题,我们通过基于Bert的生物群体模型实现了我们的最佳性能。我们将基于BERT的方法扩展到实体链接任务。在预先预订Biobert的第二阶段,通过称为自对准预先训练(SAP)的度量学习损失策略,我们将基于其SAP-Biobert Word Embeddings之间的余弦相似性链接实体。尽管我们的命名实体识别实验取得了成功,但我们发现化学指数任务一般更具挑战性。除了传统的NER方法之外,我们还尝试使用基于新颖的文本或“提示”方法的命名实体识别和实体链接,该方法使用生成语言模型,例如T5和GPT。我们通过这种新方法实现了令人鼓舞的结果。
translated by 谷歌翻译
在Bircocrive VII的Track-1中,要求参与者识别药物/化学品和蛋白质之间的相互作用。提供每个药物/化学和蛋白质的内部名称实体注释,必须自动预测14个不同的相互作用中的一种。对于此关系提取任务,我们尝试两种基于BERT的句子分类方法,以及使用T5模型的更新文本到文本方法。我们发现基于BERT的模型一般表现更好,我们的生物综太基模型实现了所有指标的最高分,实现了0.74 F1得分。虽然我们的小说T5文本到文本方法没有表现出基于BERT的大多数模型,但它表现出在类似数据上培训的那些,呈现出有希望的结果,实现0.65 F1得分。我们认为,与关系提取的文本文本方法有一些竞争优势,并且有很多研究进步的空间。
translated by 谷歌翻译
该报告解释,实施和扩展了“更紧密的变化界限不一定更好”所介绍的作品(T Rainforth等,2018)。我们提供了理论和经验证据,这些证据增加了重要性的重要性数量$ k $在重要性加权自动编码器(IWAE)中(Burda等,2016)降低了推理中梯度估计量的信噪比(SNR)网络,从而影响完整的学习过程。换句话说,即使增加$ k $减少了梯度的标准偏差,但它也会更快地降低真实梯度的幅度,从而增加梯度更新的相对差异。进行广泛的实验以了解$ k $的重要性。这些实验表明,更紧密的变化界限对生成网络有益,而宽松的边界对推理网络来说是可取的。通过这些见解,可以实施和研究三种方法:部分重要性加权自动编码器(PIWAE),倍增重要性加权自动编码器(MIWAE)和组合重要性加权自动编码器(CIWAE)。这三种方法中的每一种都需要IWAE作为一种特殊情况,但采用不同的重量权重,以确保较高的梯度估计器的SNR。在我们的研究和分析中,这些算法的疗效在多个数据集(如MNIST和Omniglot)上进行了测试。最后,我们证明了三种呈现的IWAE变化能够产生近似后验分布,这些分布与IWAE更接近真正的后验分布,同时匹配IWAE生成网络的性能,或者在PIWAE的情况下可能超过其表现。
translated by 谷歌翻译
这项工作的目的是在训练过程中划分和名称图像区域,而无需访问像素级标签。为了解决这项任务,我们通过提炼两个基础模型的互补优势来构建细分器。第一个剪辑(Radford等,2021)具有将名称分配给图像内容的能力,但缺乏对象结构的可访问表示。第二个Dino(Caron等,2021)捕获了物体的空间范围,但对对象名称不了解。我们的方法称为名为Mask,开始使用剪辑来构建特定于类别的图像档案。这些图像用dino的类别 - 敏捷的对象检测器进行伪标记,然后使用夹档案标签通过类别特定的细分器进行完善。得益于精制面具的高质量,我们表明,在这些档案中训练有适当数据的培训的标准分割体系结构可为单对象和多对象图像带来令人印象深刻的语义细分能力。结果,我们提出的名字命名为在包括VOC2012,可可和大规模ImageNet-S数据集在内的五个基准上的一系列先前工作中表现出色。
translated by 谷歌翻译
近年来,深度学习导致了在城市驾驶场景中移动(即具有运动能力)物体的检测方面取得的巨大进展。监督方法通常需要大型培训集的注释;因此,人们对利用弱,半或自我监督的方法避免这种情况非常兴趣,并取得了很大的成功。虽然弱和半监督的方法需要一些注释,但自我监督的方法已经使用了诸如运动之类的线索来完全减轻注释的需求。但是,完全没有注释通常会降低其性能,而在运动组进行分组期间出现的歧义可以抑制其找到准确的物体边界的能力。在本文中,我们提出了一种称为SCT的新的自制移动对象检测方法。这同时使用运动提示和预期对象大小来提高检测性能,并预测3D方向边界框的密集网格以改善对象发现。我们在Kitti跟踪基准上的最先进的自我监督的移动对象检测方法TCR极大地超过了,并且实现了全面监督的PV-RCNN ++方法的30%以内IOUS <= 0.5。
translated by 谷歌翻译
我们解决了基于标签数据集基准群集技术的可靠性。外部聚类验证中的标准方案是基于每个类形成一个单一的,明显分离的群集的假设,将类标签用作地面真实群集。但是,由于这种集群标签匹配(CLM)的假设经常破坏,因此缺乏对基准数据集CLM的理智检查对外部验证的有效性产生怀疑。尽管如此,评估CLM的程度还是具有挑战性的。例如,内部聚类验证措施可用于量化同一数据集中的CLM以评估其不同的聚类,但并非旨在比较不同数据集的聚类。在这项工作中,我们提出了一种原则性的方法来生成数据集中的内部度量,以使CLM在数据集中进行比较。我们首先确定了数据集内措施之间的四个公理,并补充了Ackerman和Ben-David的数据库内公理。然后,我们提出了概括内部措施以实现这些新公理的过程,并使用它们扩展了广泛使用的Calinski-Harabasz索引,以进行数据库CLM之间的评估。通过定量实验,我们(1)验证了概括过程的有效性和必要性,(2)表明,所提出的数据与calinski-Harabasz索引索引准确地评估了整个数据集的CLM。最后,我们证明了在进行外部验证之前评估基准数据集的CLM的重要性。
translated by 谷歌翻译
来自磁共振成像(MRI)的体积图像在直肠癌的术前分期提供了宝贵的信息。最重要的是,T2和T3阶段之间的准确术前歧视可以说是直肠癌治疗的最具挑战性和临床意义的任务,因为通常建议对T3(或更大)阶段癌症患者进行化学疗法。在这项研究中,我们提出了一个体积卷积神经网络,可准确区分T2与直肠MR体积的T3阶段直肠癌。具体而言,我们提出1)基于自定义的基于重新连接的卷编码器,该编码器与晚期融合的固定间关系建模(即最后一层的3D卷积),2)双线性计算,该计算汇总了编码器所得的功能以创建一个创建一个的功能体积特征和3)三重损失和焦点损失的关节最小化。通过病理确认的T2/T3直肠癌的MR量,我们进行了广泛的实验,以比较残留学习框架内的各种设计。结果,我们的网络达到了0.831的AUC,高于专业放射科医生组的准确性。我们认为该方法可以扩展到其他卷分析任务
translated by 谷歌翻译
这项研究提出了用于完善神经网络参数或进入连续时间动态系统的控制功能的增量校正方法,以提高解决方案精度,以满足对性能输出变量放置的临时点约束。所提出的方法是将其参数基线围绕基线值的动力学线性化,然后求解将扰动轨迹传输到特定时间点(即临时点)处所需的纠正输入。根据要调整的决策变量的类型,参数校正和控制功能校正方法将开发出来。这些增量校正方法可以用作补偿实时应用中预训练的神经网络的预测错误的手段,在实时应用中,必须在规定的时间点上高精度预测动态系统的准确性。在这方面,在线更新方法可用于增强有限摩托控制的整体靶向准确性,但使用神经政策受到点约束。数值示例证明了拟议方法在火星上的动力下降问题中的应用中的有效性。
translated by 谷歌翻译
在口语对话中构建强大的对话系统比书面对话更具挑战。在这方面,提出了DSTC10-TRACK2-TASK2,旨在构建以任务为导向的对话(TOD)系统,该系统将非结构化的外部知识结合在口语对话中,从而扩展了DSTC9-TRACK1。本文介绍了我们的系统,其中包含四种高级方法:数据构建,负面抽样,训练后和样式转移。我们首先自动构建大型培训数据,因为DSTC10-TRACK2未发布官方培训集。对于知识选择任务,我们提出了加权负抽样,以更加细粒度训练模型。我们还采用后培训和样式转移来制作响应生成任务,以生成具有与目标响应类似样式的适当响应。在实验中,我们研究了加权负抽样,训练后和样式转移的效果。我们的模型在客观评估中排名16个团队中的7个,在人类评估中排名6。
translated by 谷歌翻译