成对学习是指损失函数取决于一对情况的学习任务。它实例化了许多重要的机器学习任务,如双级排名和度量学习。一种流行的方法来处理成对学习中的流数据是在线梯度下降(OGD)算法,其中需要将当前实例配对以前具有足够大的尺寸的先前实例的电流实例,因此遭受可扩展性问题。在本文中,我们提出了用于成对学习的简单随机和在线梯度下降方法。与现有研究的显着差异是,我们仅将当前实例与前一个构建梯度方向配对,这在存储和计算复杂性中是有效的。我们为凸和非凸起的展示结果,优化和泛化误差界以及平滑和非光滑问题都开发了新颖的稳定性结果,优化和泛化误差界限。我们引入了新颖的技术来解耦模型的依赖性和前一个例子在优化和泛化分析中。我们的研究解决了使用具有非常小的固定尺寸的缓冲集开发OGD的有意义的泛化范围的开放问题。我们还扩展了我们的算法和稳定性分析,以便为成对学习开发差异私有的SGD算法,这显着提高了现有结果。
translated by 谷歌翻译
域概括(DG)最近引起了人的重新识别(REID)的巨大关注。它旨在使在多个源域上培训的模型概括到未经看不见的目标域。虽然实现了有前进的进步,但现有方法通常需要要标记的源域,这可能是实际REID任务的重大负担。在本文中,我们通过假设任何源域都有任何标签可以调查Reid的无监督域泛化。为了解决这个具有挑战性的设置,我们提出了一种简单高效的域特定的自适应框架,并通过设计在批处理和实例归一化技术上的自适应归一化模块实现。在此过程中,我们成功地产生了可靠的伪标签来实现培训,并根据需要增强模型的域泛化能力。此外,我们表明,我们的框架甚至可以应用于在监督域泛化和无监督域适应的环境下改进人员Reid,展示了关于相关方法的竞争性能。对基准数据集进行了广泛的实验研究以验证所提出的框架。我们的工作的重要性在于它表明了对人Reid的无监督域概括的潜力,并为这一主题进一步研究了一个强大的基线。
translated by 谷歌翻译
它仍然是一个管道梦想,电话和AR眼镜的AI助手可以帮助我们的日常生活来解决我们的问题,如“如何调整这款手表日期?”和“如何设置加热持续时间?(指向烤箱的同时)”。传统任务中使用的查询(即视频问题应答,视频检索,时刻定位)通常是有关的,并基于纯文本。相比之下,我们提出了一项名为Cometdancy的问题驱动视频段检索(AQVSR)的新任务。我们每个问题都是一个图像框文本查询,专注于我们日常生活中的物品,并期望从教学视频转录程序段的语料库中检索相关的答案段。为了支持对此AQVSR任务的研究,我们构建一个名为AssionSR的新数据集。我们设计新颖的准则来创造高质量样本。此数据集包含有关1K视频片段的1.4K多模态问题,来自各种日用物品的教学视频。为了解决AQVSR,我们开发了一个称为双重多模式编码器(DME)的简单但有效的模型,显着优于几种基线方法,同时仍然有大型未来改善空间。此外,我们提供了详细的消融分析。我们的代码和数据可以在https://github.com/stanlei52/aqvsr中获得。
translated by 谷歌翻译
重叠的言语日期始终被视为多标签分类问题。在本文中,通过使用电源集编码多扬声器标签,我们将此任务重新格式化为单个标签预测问题。具体地,我们提出了扬声器嵌入感知的神经日复日复速节(发送)方法,其根据语音特征和给定扬声器嵌入的相似性预测电力集编码标签。我们的方法通过利用之前的文献中未能很好地研究,进一步扩展并与下游任务集成在一起。实验结果表明,我们的方法达到了比目标扬声器语音活动检测更低的日益缓释误差率。当涉及文本信息时,可以进一步降低日复速度误差。对于真正的会议场景,与基于贝叶斯隐马尔可夫模型的聚类算法相比,我们的方法可以实现相对改进34.11%。
translated by 谷歌翻译
随着互联网技术的发展,信息超载现象变得越来越明显。用户需要花费大量时间来获取所需的信息。但是,汇总文档信息的关键词非常有助于用户快速获取和理解文档。对于学术资源,大多数现有研究通过标题和摘要提取关键纸张。我们发现引用中的标题信息还包含作者分配的密钥次。因此,本文使用参考信息并应用两种典型的无监督的提取方法(TF * IDF和Textrank),两个代表传统监督学习算法(NA \“IVE贝叶斯和条件随机场)和监督的深度学习模型(Bilstm- CRF),分析参考信息对关键症提取的具体性能。从扩大源文本的角度来提高关键术识别的质量。实验结果表明,参考信息可以提高精度,召回和F1自动关键肾上腺瓶在一定程度上提取。这表明了参考信息关于学术论文的关键症提取的有用性,并为以下关于自动关键正萃取的研究提供了新的想法。
translated by 谷歌翻译
两阶段和基于查询的实例分段方法取得了显着的结果。然而,他们的分段面具仍然非常粗糙。在本文中,我们呈现了用于高质量高效的实例分割的掩模转发器。我们的掩模转发器代替常规密集的张量,而不是在常规密集的张量上进行分解,并表示作为Quadtree的图像区域。我们基于变换器的方法仅处理检测到的错误易于树节点,并并行自我纠正其错误。虽然这些稀疏的像素仅构成总数的小比例,但它们对最终掩模质量至关重要。这允许掩模转换器以低计算成本预测高精度的实例掩模。广泛的实验表明,掩模转发器在三个流行的基准上优于当前实例分段方法,显着改善了COCO和BDD100K上的大型+3.0掩模AP的+3.0掩模AP的大余量和CityScapes上的+6.6边界AP。我们的代码和培训的型号将在http://vis.xyz/pub/transfiner提供。
translated by 谷歌翻译
在过去的几年里,深度神经网络(DNN)取得了巨大的成功,并且在许多应用领域中不断应用。然而,在工业任务的实际部署期间,由于超容易的原因,发现DNN被发现是错误的,缺乏在实际使用过程中对现实世界腐败的鲁棒性。为了解决这些挑战,通过通过在神经级别的再试,微调或直接重量固定来通过更新权重(即,网络参数)来修复实际操作环境下的近期尝试。在这项工作中,作为第一次尝试,我们通过共同优化架构和重量,以更高(即,块)级别来修复DNN。我们首先履行实证研究,以调查整个网络级和层次修复的限制,这激励我们探索块水平的DNN修复的新修复方向。为此,我们首先提出对弱势群体定位的对抗侵犯块定位的频谱分析,其在前向和后向过程中考虑块中的神经元“状态和权重”梯度,这使得即使在几个示例下也能够修复更准确的候选块定位。然后,我们进一步提出了面向架构的基于搜索的修复,该修复将目标块放宽到更高的深度特征级别的连续修复搜索空间。通过联合优化该空间中的架构和权重,我们可以识别更好的块架构。我们实施我们提出的修复技术作为一个名为ArchRepair的工具,并进行广泛的实验以验证提出的方法。结果表明,我们的方法不仅可以修复,还可以提高准确性和稳健性,优于最先进的DNN修复技术。
translated by 谷歌翻译
本文研究了协同多智能体增强学习(MARL)的分布式政策梯度,在通信网络上的代理人旨在找到最佳政策,以最大限度地提高所有代理人的当地返回的平均值。由于政策梯度的非凹形性能函数,用于凸面问题的现有分布式随机优化方法不能直接用于Marl中的政策梯度。本文提出了一种具有方差减少和渐变跟踪的分布式策略梯度,以解决政策梯度的高差,并利用重要的重量来解决采样过程中的非静止问题。然后,我们在平均平均固定间隙上提供一个上限,这取决于迭代的数量,迷你批量大小,秒钟大小,问题参数和网络拓扑。我们进一步建立了样本和通信复杂性,以获得$ \ epsilon $-upprymate静止点。对MARL控制问题的数值实验进行了验证了所提出算法的有效性。
translated by 谷歌翻译
图形神经网络(GNNS)已经变得越来越流行,并且在许多基于图形的应用程序中实现了令人印象深刻的结果。但是,需要广泛的手动工作和域知识来设计有效的架构,GNN模型的结果具有高差异,与不同的培训设置相比,限制了现有GNN模型的应用。在本文中,我们展示了AutoHensgnn,这是一个框架,用于为图表任务构建有效和强大的模型而没有任何人为干预。 Autohensgnn在kdd杯2020年签名挑战中赢得了第一名,并在最终阶段实现了五个现实生活数据集的最佳等级分数。鉴于任务,AutoHensgnn首先应用一个快速的代理评估,以自动选择有希望的GNN模型的池。然后它构建了一个分层合奏框架:1)我们提出图形自我合奏(GSE),这可以减少重量初始化的方差,有效利用本地和全球街区的信息; 2)基于GSE,使用不同类型的GNN模型的加权集合来有效地学习更多辨别节点表示。为了有效地搜索体系结构和合奏权重,我们提出了AutoHensgnn $ _ {\ text {梯度}} $,它将架构和集合权重视为架构参数,并使用基于梯度的架构搜索来获得最佳配置,而autohensgnn $ {autohensgnn $ { \文本{Adaptive}} $,可以根据模型精度自适应地调整集合重量。关于节点分类的广泛实验,图形分类,边缘预测和KDD杯挑战表明了Autohensgnn的有效性和一般性
translated by 谷歌翻译
诊断阿尔茨海默病(AD)的早期阶段(AD)对于及时治疗至关重要以缓慢进一步恶化。可视化广告早期阶段的形态特征是巨大的临床价值。在这项工作中,提出了一种新的多向感知生成的对抗网络(MP-GaN)来可视化表明不同阶段患者的广告严重程度的形态特征。具体地,通过将​​新的多向映射机制引入模型中,所提出的MP-GaN可以有效地捕获突出全局特征。因此,通过利用来自发电机的类别辨别图,所提出的模型可以通过源域和预定义目标域之间的MR图像变换清楚地描绘微妙的病变。此外,通过集成对抗性损失,分类损失,周期一致性损失和\ emph {l} 1惩罚,MP-GaN中的单个发电机可以学习多类的类鉴别映射。对阿尔茨海默病神经影像倡议(ADNI)数据集进行了广泛的实验结果表明,与现有方法相比,MP-GAN实现了卓越的性能。由MP-GaN可视化的病变也与临床医人观察到的一致。
translated by 谷歌翻译