Given an untrimmed video and natural language query, video sentence grounding aims to localize the target temporal moment in the video. Existing methods mainly tackle this task by matching and aligning semantics of the descriptive sentence and video segments on a single temporal resolution, while neglecting the temporal consistency of video content in different resolutions. In this work, we propose a novel multi-resolution temporal video sentence grounding network: MRTNet, which consists of a multi-modal feature encoder, a Multi-Resolution Temporal (MRT) module, and a predictor module. MRT module is an encoder-decoder network, and output features in the decoder part are in conjunction with Transformers to predict the final start and end timestamps. Particularly, our MRT module is hot-pluggable, which means it can be seamlessly incorporated into any anchor-free models. Besides, we utilize a hybrid loss to supervise cross-modal features in MRT module for more accurate grounding in three scales: frame-level, clip-level and sequence-level. Extensive experiments on three prevalent datasets have shown the effectiveness of MRTNet.
translated by 谷歌翻译
最近,蒙面的预测预训练在自我监督的学习(SSL)方面取得了显着的进展,以进行语音识别。它通常需要以无监督的方式获得的代码簿,从而使其准确和难以解释。我们提出了两种监督指导的代码书生成方法,以提高自动语音识别(ASR)的性能以及预训练效率,要么通过使用混合ASR系统来解码以生成音素级别对准(命名为PBERT),要么通过在上进行集群进行聚类。从端到端CTC模型(命名CTC聚类)提取的监督语音功能。混合动力和CTC模型均经过与微调相同的少量标记语音训练。实验表明,我们的方法对各种SSL和自我训练基准的优势具有显着优势,相对减少了17.0%。我们的预训练模型在非ASR语音任务中还显示出良好的可传递性。
translated by 谷歌翻译
结构光(SL)系统以主动照明投影获得高保真3D几何形状。当在具有强烈的环境照明,全球照明和跨设备干扰的环境中工作时,常规系统会出现挑战。本文提出了一种通用技术,以通过投影除天然SL模式来预测冗余光学信号来提高SL的鲁棒性。这样,预计的信号与错误更具区别。因此,可以使用简单的信号处理更容易地恢复几何信息,并获得``性能中的编码增益''。我们使用冗余代码提出了三个应用程序:(1)在强环境光下进行SL成像的自我错误校正,((( 2)在全球照明下自适应重建的错误检测,以及(3)使用设备特定的投影序列编码的干扰过滤,尤其是针对基于事件摄像机的SL和灯窗帘设备。我们系统地分析了这些应用中的设计规则和信号处理算法。相应的硬件原型是用于在现实世界复杂场景上进行评估的。合成和真实数据的实验结果证明了具有冗余代码的SL系统的显着性能改进。
translated by 谷歌翻译
在这项工作中,我们解决了长尾图像识别的具有挑战性的任务。以前的长尾识别方法通常集中于尾巴类别的数据增强或重新平衡策略,以在模型培训期间更加关注尾巴类。但是,由于尾巴类别的训练图像有限,尾部类图像的多样性仍受到限制,从而导致特征表现不佳。在这项工作中,我们假设头部和尾部类中的常见潜在特征可用于提供更好的功能表示。由此激励,我们引入了基于潜在类别的长尾识别(LCREG)方法。具体来说,我们建议学习一组在头和尾巴中共享的类不足的潜在特征。然后,我们通过将语义数据扩展应用于潜在特征,隐式地丰富了训练样本的多样性。对五个长尾图识别数据集进行的广泛实验表明,我们提出的LCREG能够显着超越先前的方法并实现最新结果。
translated by 谷歌翻译
多语言预训练的语言模型在跨语言任务上表现出了令人印象深刻的表现。它极大地促进了自然语言处理在低资源语言上的应用。但是,当前的多语言模型仍然有些语言表现不佳。在本文中,我们提出了Cino(中国少数族裔训练的语言模型),这是一种用于中国少数语言的多语言预训练的语言模型。它涵盖了标准的中文,Yue中文和其他六种少数民族语言。为了评估多语言模型在少数族裔语言上的跨语性能力,我们从Wikipedia和新闻网站收集文档,并构建两个文本分类数据集,WCM(Wiki-Chinese-Minority)和CMNEWS(中国最少的新闻)。我们表明,Cino在各种分类任务上的表现明显优于基准。Cino模型和数据集可在http://cino.hfl-rc.com上公开获得。
translated by 谷歌翻译
最近,使用批评者分配表示截断的分量批评者(TQC),显示在Mujoco连续控制基准套件的所有环境中提供最先进的渐近培训表现。此外,使用高更新到数据比和目标随机化的随机集合双Q学习(REDQ)达到了具有基于最先进的模型的方法竞争的高样本效率。在本文中,我们提出了一种新的无模型算法,具有集合(AQE)的激进Q学习,这提高了REDQ的样品效率性能和TQC的渐近性能,从而提供了整体最先进的性能在培训的所有阶段。此外,AQE非常简单,要求批评者的分布表示也不是目标随机化。
translated by 谷歌翻译
迷你竞赛旨在开发强化学习和模仿学习算法,可以有效地利用人类演示,大大减少了解复杂\ emph {获取德国}任务以稀疏奖励所需的环境交互的数量。为了解决挑战,在本文中,我们呈现\ textbf {seihai},a \ textbf {s} ample-\ textbf {e} ff \ textbf {e} ff \ textbf {i} cient \ textbf {h} ierrampf {h} ierraschical \ textbf {ai},充分利用人类示范和任务结构。具体而言,我们将任务分成几个顺序相关的子任务,并使用强化学习和模仿学习培训每个子任务的合适代理。我们进一步设计了一个调度程序,为自动为不同的子任务选择不同的代理。Seihai在Neurips-2020 Minerl竞赛中初步和最终的第一名。
translated by 谷歌翻译
基于稀疏的代表的分类(SRC)通过将识别问题作为简单的线性回归问题铸造了很多关注。然而,SRC方法仍然仅限于每类别的足够标记的样本,不充分使用未标记的样本,以及表示的不稳定性。为了解决这些问题,提出了一种未标记的数据驱动的逆投影伪全空间表示的基于空间表示的分类模型,具有低级稀疏约束。所提出的模型旨在挖掘所有可用数据的隐藏语义信息和内在结构信息,这适用于少量标记的样本和标记样本与正面识别中的未标记样本问题之间的比例不平衡。引入了混合的高斯Seidel和Jacobian Admm算法来解决模型。分析了模型的收敛性,表示能力和稳定性。在三个公共数据集上的实验表明,所提出的LR-S-PFSRC模型达到稳定的结果,特别是对于样品的比例不平衡。
translated by 谷歌翻译
为了促进更好的性能带宽权衡,以实现多种代理人的感知,我们提出了一种新颖的蒸馏协作图(光盘),以模拟代理商之间的培训,姿势感知和适应性协作。我们的主要新科特迪斯在两个方面。首先,我们提出了一位教师学生框架通过知识蒸馏训练光盘。教师模型采用与全面查看输入的早期合作;学生模型基于中间协作与单视图输入。我们的框架通过在学生模型中约束协作后的特征地图来列进讨论,以匹配教师模型的对应关系。其次,我们提出了矩阵值的边缘重量。在这样的矩阵中,每个元素将互及的间歇注意力反映在特定空间区域,允许代理自适应地突出显示信息区域。在推论期间,我们只需要使用名为Distilled Collaboration Network的学生模型(Disconet)。归因于师生框架,具有共享Disconet的多个代理商可以协作地与整体视图进行假设教师模型的表现。我们的方法在V2X-SIM 1.0上验证了我们使用Carla和Sumo Co-Simulation合成的大规模多代理感知数据集。我们在多代理3D对象检测中的定量和定性实验表明,Disconet不仅可以实现比最先进的协作的感知方法更好的性能带宽权衡,而且还带来了更直接的设计理由。我们的代码可在https://github.com/ai4ce/disconet上找到。
translated by 谷歌翻译
预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式,并在建模用户偏好时忽略用户历史会话的影响,这通常会导致非个性化推荐。此外,基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项,而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题,我们提出了一种新颖的异构全球图形神经网络(HG-GNN)以以微妙的方式利用所有会话的物品过渡,以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换,我们提出了一种新的异构全局图,该图包含会话,用户项交互和全局共同发生项目的项目转换。此外,为了综合地从会话中捕获用户偏好,我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地,我们在异构全球图上设计一种新的异构图形神经网络(HGNN),以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN,我们提出了当前偏好编码器和历史偏好编码器,分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议,我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明,我们的模型优于其他最先进的方法。
translated by 谷歌翻译