本文解决了颞句的接地。以前的作品通常通过学习帧级视频功能来解决此任务并将其与文本信息对齐。这些作品的一个主要限制是,由于帧级特征提取,它们未能利用具有微妙的外观差异的模糊视频帧。最近,一些方法采用更快的R-CNN来提取每帧中的详细物体特征来区分细粒的外观相似性。然而,由于对象检测模型缺乏时间建模,因此通过更快的R-CNN提取的对象级别特征遭受缺失的运动分析。为了解决这个问题,我们提出了一种新颖的运动外观推理网络(MARN),其包括动作感知和外观感知对象特征,以更好的原因对象关系来建立连续帧之间的活动。具体而言,我们首先介绍两个单独的视频编码器以将视频嵌入到相应的主导和外观 - 方面对象表示中。然后,我们开发单独的运动和外观分支,以分别学习运动引导和外观引导的对象关系。最后,来自两个分支的运动和外观信息都与用于最终接地的更多代表性的特征相关联。对两个具有挑战性的数据集(Chardes-Sta和Tacos)的广泛实验表明,我们提出的马恩在以前的最先进的方法中大大优于大幅度。
translated by 谷歌翻译
时间句地接地(TSG)是视频理解的关键和基础。虽然现有方法训练具有大量数据的精心设计的深网络,但我们发现他们可以轻松忘记由于偏移数据分布而在训练阶段的很少出现的情况,这影响了模型概括并导致不希望的表现。为了解决这个问题,我们提出了一个内存增强的网络,称为内存引导的语义学习网络(MGSL-net),它学习并记住在TSG任务中的很少出现的内容。具体而言,MGSL-Net由三个主要部件组成:跨模型互动模块,存储器增强模块和异构注意力模块。我们首先将给定的视频查询对与跨模型图卷积网络对齐,然后利用内存模块在域特定的持久存储器中记录跨模板共享语义功能。在培训期间,内存插槽与常见和罕见的案例动态相关,减轻了遗忘问题。在测试中,可以通过检索存储的存储器来提高罕见的情况,从而产生更好的概括。最后,使用异构注意力模块在视频和查询域中集成增强的多模态特征。三个基准测试的实验结果表明了我们对效率和效率的方法的优势,这在整个数据集上显着提高了准确性,而且在罕见的情况下也是如此。
translated by 谷歌翻译
文档级事件提取中有两个主要挑战:1)参数实体分散在不同的句子中,2)事件触发器通常不可用。为了解决这些挑战,最先前的研究主要关注以自回归方式建立参数链,这在培训和推论方面效率低下。与以前的研究相比,我们提出了一种快速轻量级的模型,名为PTPCG。我们设计非自动评级解码算法,以执行修剪的完整图表的事件参数组合提取,这在自动选择的伪触发器的引导下构造。与以前的系统相比,我们的系统实现了资源消耗较低的竞争结果,只需要3.6%的GPU时间(PFS-Days),推断速度快8.5倍。此外,我们的方法显示了具有(或没有)触发器的数据集的卓越兼容性,并且伪触发器可以是注释触发器的补充剂,以进一步改进。
translated by 谷歌翻译
IoT设备收集的数据通常是私人的,并且在各种用户之间具有巨大的多样性。因此,学习需要使用可用的代表性数据样本进行预训练,在物联网设备上部署预训练的模型,并使用本地数据在设备上调整已部署的模型。这种用于深度学习授权应用程序的设备改编需要数据和记忆效率。但是,现有的基于梯度的元学习方案无法支持记忆有效的适应。为此,我们提出了P-Meta,这是一种新的元学习方法,该方法可以强制执行结构的部分参数更新,同时确保快速概括到看不见的任务。对几片图像分类和强化学习任务的评估表明,与最先进的几次适应方法相比。
translated by 谷歌翻译
最近,在推荐系统领域中,一个关键问题隐约可见 - 没有进行严格评估的有效基准 - 因此,这会导致不可再生的评估和不公平的比较。因此,我们从实践理论和实验的角度进行研究,目的是为严格的评估做出基准建议。关于理论研究,一系列影响整个评估链中建议性能的超级因素通过对2017 - 2020年在八个顶级会议上发表的141篇论文进行的详尽评价进行了系统的总结和分析。然后,我们将它们分类为独立于模型和模型依赖性的超因子,并相应地定义和讨论了不同的严格评估模式。在实验研究中,我们通过将这些超级因子整合以进行严格的评估来发布DaisyREC 2.0文库,从而进行了整体经验研究,以揭示不同超级效应器对建议性能的影响。在理论和实验研究的支持下,我们最终通过提出标准化程序并在六个数据集上的六个评估指标中提供10个最先进的方法来创建严格评估的基准,以作为以后研究的参考。总体而言,我们的工作阐明了建议评估中的问题,为严格的评估提供了潜在的解决方案,并为进一步调查提供了基础。
translated by 谷歌翻译
基于信息瓶颈(IB)的多视图学习提供了一种信息理论原则,用于寻找异质数据描述中包含的共享信息。但是,它的巨大成功通常归因于估计网络变得复杂时棘手的多元互助信息。此外,表示折衷的表示,{\ it},预测压缩和足够的一致性权衡,使IB难以同时满足这两个要求。在本文中,我们设计了几种变分信息瓶颈,以利用两个关键特征({\ it,即},充分性和一致性)用于多视图表示学习。具体而言,我们提出了一种多视图变量蒸馏(MV $^2 $ d)策略,以通过给出观点的任意输入,但没有明确估算它,从而为拟合MI提供了可扩展,灵活和分析的解决方案。在严格的理论保证下,我们的方法使IB能够掌握观测和语义标签之间的内在相关性,从而自然产生预测性和紧凑的表示。同样,我们的信息理论约束可以通过消除任务 - 求核和特定信息的信息来有效地中和对异质数据的敏感性,从而阻止在多种视图情况下两种权衡。为了验证理论上的策略,我们将方法应用于三种不同应用下的各种基准。广泛的定量和定性实验证明了我们对最新方法的方法的有效性。
translated by 谷歌翻译
多个实例学习(MIL)广泛用于分析组织病理学全幻灯片图像(WSIS)。但是,现有的MIL方法不会明确地对数据分配进行建模,而仅通过训练分类器来歧视行李级或实例级决策边界。在本文中,我们提出了DGMIL:一个特征分布引导为WSI分类和阳性贴剂定位的深度MIL框架。我们没有设计复杂的判别网络体系结构,而是揭示组织病理学图像数据的固有特征分布可以作为分类的非常有效的指南。我们提出了一种集群条件的特征分布建模方法和基于伪标签的迭代特征空间改进策略,以便在最终特征空间中,正面和负面实例可以轻松分离。 CamelyOn16数据集和TCGA肺癌数据集的实验表明,我们的方法为全球分类和阳性贴剂定位任务提供了新的SOTA。
translated by 谷歌翻译
预计量子计算将提供巨大的计算能力,可以为许多数据科学问题提供有效的解决方案。但是,当前一代的量子设备很小且嘈杂,这使得处理与实际问题相关的大数据集变得困难。核心选择旨在通过减少输入数据的大小而不损害准确性来避免此问题。最近的工作表明,核心选择可以帮助实施量子K-均值聚类问题。但是,尚未探索核心选择对量子K-均值聚类性能的影响。在这项工作中,我们比较了两种核心技术(BFL16和Oneshot)的相对性能以及每种情况下的核心结构的大小,相对于各种数据集,并布局在实现量子算法中的核心选择的优势和局限性。我们还研究了去极化量子噪声和位叶片误差的影响,并实施了量子自动编码器技术以超过噪声效应。我们的工作为未来在近期量子设备上实施数据科学算法提供了有用的见解,这些量子设备通过核心选择减少了问题大小。
translated by 谷歌翻译
在最近的联邦学习研究中,使用大批量提高了收敛率,但是与使用小批量相比,它需要额外的计算开销。为了克服这一限制,我们提出了一个统一的框架,该框架基于时间变化的概率将参与者分为锚和矿工组。锚点组中的每个客户都使用大批量计算梯度,该梯度被视为其靶心。矿工组中的客户使用串行迷你批次执行多个本地更新,并且每个本地更新也受到客户平均值Bullseyes的平均值的全局目标的间接调节。结果,矿工组遵循了对全球最小化器的近乎最佳更新,该更新适合更新全局模型。通过$ \ epsilon $ - Approximation衡量,FedAmd通过以恒定概率对锚点进行采样锚点,在非convex目标下达到了$ o(1/\ epsilon)$的收敛速率。理论上的结果大大超过了最先进的算法BVR-l-SGD $ O(1/\ Epsilon^{3/2})$,而FedAmd至少减少了$ O(1/\ Epsilon)$沟通开销。关于现实世界数据集的实证研究验证了FedAmd的有效性,并证明了我们提出的算法的优势。
translated by 谷歌翻译
在图像字幕的数据集中,每个图像都与几个字幕对齐。尽管这些描述的质量有所不同,但现有字幕模型在培训过程中平等对待它们。在本文中,我们提出了一个新的句子质量控制信号,该信号被视为字幕模型的附加输入。通过集成控制信号信息,字幕模型可以意识到目标句子的质量水平,并以不同的方式处理它们。此外,我们提出了一种专门针对句子质量控制信号的新型增强培训方法:面向质量的自称训练(Q-SAT)。配备了R-Drop策略,由最高质量水平超过基线模型控制的模型在基于准确性的评估指标上进行了很多验证,该模型验证了我们提出的方法的有效性。
translated by 谷歌翻译