基于语义空间中密集表示的检索模型已成为第一阶段检索的必不可少的分支。这些检索员受益于代表学习朝着压缩全球序列级嵌入的进步。但是,它们很容易忽略本地的显着短语和实体在文本中提到的,这些短语通常在第一阶段的检索中扮演枢轴角色。为了减轻这种弱点,我们提议使一个密集的检索器对齐一个表现出色的词典意识代表模型。对齐方式是通过弱化的知识蒸馏来实现的,以通过两个方面来启发猎犬 - 1)词汇扬声的对比目标,以挑战密集编码器和2)一个配对的等级正规化,以使密集的模型的行为倾向于其他人的行为。我们在三个公共基准上评估了我们的模型,这表明,凭借可比的词典觉得回收犬作为老师,我们提议的密集人可以带来一致而重大的改进,甚至超过教师。此外,我们发现我们对密集猎犬的改进是与标准排名蒸馏的补充,这可以进一步提高最先进的性能。
translated by 谷歌翻译
已经提出了分裂学习(SL)以分散的方式训练深度学习模型。对于具有垂直数据分配的分散医疗保健应用,SL可以有益,因为它允许具有互补功能或图像的机构为一组共享的患者共同开发更强大且可推广的模型。在这项工作中,我们提出了“ split-u-net”,并成功地将SL应用于协作生物医学图像分割。但是,SL需要交换中间激活图和梯度,以允许跨不同特征空间的训练模型,这可能会泄漏数据并提高隐私问题。因此,我们还量化了用于生物医学图像分割的常见SL情况下的数据泄漏量,并通过应用适当的防御策略提供了抵消此类泄漏的方法。
translated by 谷歌翻译
标签感建议是通过标记行为预测用户个性化项目的任务。对于具有Last.FM或Movielens等标记功能的许多应用程序至关重要。最近,许多努力致力于通过图形卷积网络(GCN)改进引人注目的推荐系统(TRS),这已成为一般建议的新最新技术。但是,某些解决方案是直接从GCN继承而没有理由的,这很难缓解标签引入的稀疏性,模棱两可和冗余问题,从而增加了培训和退化建议性能的困难。在这项工作中,我们旨在简化GCN的设计,以使其更简洁。我们提出了一个新颖的标签推荐模型,名为Light Folksonomy图协作滤波(LFGCF),该模型仅包括必需的GCN组件。具体而言,LFGCF首先从用户分配标签和项目标记的用户记录中构造了人们图形。然后,我们利用汇总的简单设计来学习人们对人物学图的高级表示形式,并使用在多个层中学习的嵌入的加权总和进行信息更新。我们共享标签嵌入,以弥合用户和项目之间的信息差距。此外,提出了一个名为Transrt的正规化功能,以更好地描述用户的偏好和项目功能。对三个现实世界数据集的广泛超参数实验和消融研究表明,LFGCF使用的参数较少,并且显着优于大多数基线的Tag-Aware Top-N建议。
translated by 谷歌翻译
最近,图神经网络显示了建模基于网络的推荐系统中复杂拓扑结构的优势。由于节点之间的各种相互作用以及来自各种类型的节点和边缘的大量语义,因此在多重异质网络中学习表达性节点表示的研究兴趣爆发。推荐系统中最重要的任务之一是预测特定边缘类型下两个节点之间的潜在连接(即关系)。尽管现有的研究利用明确的元数据来汇总邻居,但实际上,它们仅考虑了关系内部的元数据,因此无法通过相互关联信息来利用潜在的提升。此外,在各种关系下,尤其是在越来越多的节点和边缘类型的情况下,全面利用相互关系的元数据并不总是直接的。此外,两个节点之间不同关系的贡献很难衡量。为了应对挑战,我们提出了Hybridgnn,这是一种具有混合聚集流和分层的端到端GNN模型,以在多路复用方案中充分利用异质性。具体而言,Hybridgnn应用了一个随机的关系探索模块来利用不同关系之间的多重性属性。然后,我们的模型利用在关系内的元数据和随机探索下的混合聚集流以学习丰富的语义。为了探索不同聚合流的重要性并利用多重性属性,我们提出了一个新型的分层注意模块,该模块既利用了Metapath级别的注意力和关系级的关注。广泛的实验结果表明,与几个最先进的基线相比,Hybridgnn取得了最佳性能。
translated by 谷歌翻译
X射线荧光光谱(XRF)在广泛的科学领域,尤其是在文化遗产中,在元素分析中起重要作用。使用栅格扫描来获取跨艺术品的光谱的XRF成像为基于其元素组成的颜料分布的空间分析提供了机会。然而,常规的基于XRF的色素识别依赖于耗时的元素映射,该元素映射通过测量光谱的专家解释。为了减少对手动工作的依赖,最近的研究应用了机器学习技术,以在数据分析中聚集相似的XRF光谱并确定最可能的颜料。然而,对于自动色素识别策略,直接处理真实绘画的复杂结构,例如色素混合物和分层色素。此外,与平均光谱相比,基于XRF成像的像素颜料识别仍然是障碍物。因此,我们开发了一个基于深度学习的端到端色素识别框架,以完全自动化色素识别过程。特别是,它对浓度较低的颜料具有很高的敏感性,因此可以使令人满意的结果基于单像素XRF光谱映射颜料。作为案例研究,我们将框架应用于实验室准备的模型绘画和两幅19世纪的绘画:Paul Gauguin的Po \'Emes Barbares(1896),其中包含带有底层绘画的分层颜料,以及Paul Cezanne的沐浴者(1899--1899-- 1904)。色素鉴定结果表明,我们的模型通过元素映射获得了与分析的可比结果,这表明我们的模型的概括性和稳定性。
translated by 谷歌翻译
最近,由于其广泛的商业价值,从视觉丰富的文档(例如门票和简历)中自动提取信息已成为一个热门而重要的研究主题。大多数现有方法将此任务分为两个小节:用于从原始文档图像中获取纯文本的文本阅读部分以及用于提取密钥内容的信息提取部分。这些方法主要集中于改进第二个方法,同时忽略了这两个部分高度相关。本文提出了一个统一的端到端信息提取框架,从视觉上富含文档中提出,文本阅读和信息提取可以通过精心设计的多模式上下文块相互加强。具体而言,文本阅读部分提供了多模式功能,例如视觉,文本和布局功能。开发了多模式上下文块,以融合生成的多模式特征,甚至是从预训练的语言模型中获得的先验知识,以提供更好的语义表示。信息提取部分负责使用融合上下文功能生成密钥内容。该框架可以以端到端的可训练方式进行培训,从而实现全球优化。更重要的是,我们将视觉丰富的文档定义为跨两个维度的四个类别,即布局和文本类型。对于每个文档类别,我们提供或推荐相应的基准,实验设置和强大的基准,以弥补该研究领域缺乏统一评估标准的问题。报告了对四种基准测试的广泛实验(从固定布局到可变布局,从完整的文本到半未结构化的文本),证明了所提出的方法的有效性。数据,源代码和模型可用。
translated by 谷歌翻译
本文介绍了Davarocr,这是一种用于OCR和文档理解任务的开源工具箱。Davarocr目前实施19种高级算法,涵盖9个不同的任务表。Davarocr为每种算法提供了详细的用法说明和经过训练的模型。与以前的OpenSource OCR工具箱相比,Davarocr对文档理解的尖端技术的子任务具有相对完整的支持。为了促进OCR技术在学术界和行业中的开发和应用,我们更加关注使用不同的技术可以共享的模块的使用。Davarocr在https://github.com/hikopensource/davar-lab-ocr上公开发行。
translated by 谷歌翻译
在本文中,我们表明样品的欧几里得规范的差异可以在空间翻译和划分归一化之后对语义差异甚至混乱做出贡献。为了解决这个问题,我们提出了一种直观但有效的方法,以均衡样品向量的欧几里得规范。具体来说,我们$ l_2 $ - 在批准之前将每个样品向量归一化,因此样品向量的幅度相同。由于所提出的方法结合了$ L_2 $归一化和批量归一化,因此我们将我们的方法称为$ L_2 $ bn。 $ l_2 $ bn可以增强阶层内特征的紧凑性,并扩大阶层间特征的差异。此外,它可以帮助梯度收敛到稳定的量表。 $ l_2 $ bn易于实现,并且可以在没有任何其他参数和超参数的情况下发挥其效果。因此,它可以用作神经网络的基本归一化方法。我们通过对图像分类和声学场景分类任务进行各种模型的广泛实验来评估$ L_2 $亿美元的有效性。实验结果表明,$ L_2 $ bn能够提高各种神经网络模型的概括能力,并取得了可观的性能改进。
translated by 谷歌翻译
数据多样性和数量对于培训深度学习模型的成功至关重要,而在医学成像领域,数据收集和注释的难度和成本尤其巨大。特别是在机器人手术方面,数据稀缺性和失衡严重影响了模型的准确性,并限制了基于深度学习的手术应用(例如手术仪器分割)的设计和部署。考虑到这一点,在本文中,我们重新考虑了手术仪器分割任务,并提出了一种一对多的数据生成解决方案,该解决方案摆脱了复杂且昂贵的数据收集过程和机器人手术的注释。在我们的方法中,我们仅利用单个手术背景组织图像和一些开源仪器图像作为种子图像,并应用多种增强和混合技术来合成大量图像变化。此外,我们还引入了训练期间链式的增强混合,以进一步增强数据多样性。在Endovis-2018和Endovis-2017手术场景分割的真实数据集中评估了所提出的方法。我们的经验分析表明,如果没有高度的数据收集和注释成本,我们就可以实现不错的手术仪器分割性能。此外,我们还观察到我们的方法可以处理部署领域中的新仪器预测。我们希望我们的鼓舞人心的结果能够鼓励研究人员强调以数据为中心的方法,以克服除数据短缺(例如类不平衡,域适应性和增量学习)之外的深度学习限制。
translated by 谷歌翻译
本文着重于几次NLP任务的文本数据增强。现有的数据增强算法要么使用一个小型培训集来生成新的合成数据,要么利用与任务无关的启发式规则(例如,同义词替代)或微调通用预训练的语言模型(例如GPT2)。因此,这些方法具有特定于任务的知识,并且仅限于在简单任务中为弱基线产生低质量的合成数据。为了解决这个问题,我们提出了知识混合数据增强模型(KNOWDA):使用知识混合培训(KOMT)在不同的NLP任务的混合物上预测的编码器LM。 KOMT是一种培训程序,将各种异质NLP任务的输入示例重新定义为统一的文本到文本格式,并采用不同粒度的目标,以学习生成部分或完整的样本。在KOMT的帮助下,Knowda可以隐含地将所需的特定于任务的知识从任务的混合中隐含地结合在一起,并通过一些给定的实例迅速掌握目标任务的固有综合定律。据我们所知,我们是首次尝试将任务数量扩展到多任务共同培训以进行数据扩展。广泛的实验表明,i)Knowda成功地通过少量基准的基准成功地提高了Albert和Deberta的表现,表现优于先前的最新数据增强基线; ii)KNOWDA还可以改善少数弹药任务的模型性能,这是KOMT中未包含的固定任务类型。
translated by 谷歌翻译