An unbiased scene graph generation (SGG) algorithm referred to as Skew Class-balanced Re-weighting (SCR) is proposed for considering the unbiased predicate prediction caused by the long-tailed distribution. The prior works focus mainly on alleviating the deteriorating performances of the minority predicate predictions, showing drastic dropping recall scores, i.e., losing the majority predicate performances. It has not yet correctly analyzed the trade-off between majority and minority predicate performances in the limited SGG datasets. In this paper, to alleviate the issue, the Skew Class-balanced Re-weighting (SCR) loss function is considered for the unbiased SGG models. Leveraged by the skewness of biased predicate predictions, the SCR estimates the target predicate weight coefficient and then re-weights more to the biased predicates for better trading-off between the majority predicates and the minority ones. Extensive experiments conducted on the standard Visual Genome dataset and Open Image V4 \& V6 show the performances and generality of the SCR with the traditional SGG models.
translated by 谷歌翻译
Word Sense Disambiguation (WSD) is an NLP task aimed at determining the correct sense of a word in a sentence from discrete sense choices. Although current systems have attained unprecedented performances for such tasks, the nonuniform distribution of word senses during training generally results in systems performing poorly on rare senses. To this end, we consider data augmentation to increase the frequency of these least frequent senses (LFS) to reduce the distributional bias of senses during training. We propose Sense-Maintained Sentence Mixup (SMSMix), a novel word-level mixup method that maintains the sense of a target word. SMSMix smoothly blends two sentences using mask prediction while preserving the relevant span determined by saliency scores to maintain a specific word's sense. To the best of our knowledge, this is the first attempt to apply mixup in NLP while preserving the meaning of a specific word. With extensive experiments, we validate that our augmentation method can effectively give more information about rare senses during training with maintained target sense label.
translated by 谷歌翻译
Video-grounded Dialogue (VGD) aims to decode an answer sentence to a question regarding a given video and dialogue context. Despite the recent success of multi-modal reasoning to generate answer sentences, existing dialogue systems still suffer from a text hallucination problem, which denotes indiscriminate text-copying from input texts without an understanding of the question. This is due to learning spurious correlations from the fact that answer sentences in the dataset usually include the words of input texts, thus the VGD system excessively relies on copying words from input texts by hoping those words to overlap with ground-truth texts. Hence, we design Text Hallucination Mitigating (THAM) framework, which incorporates Text Hallucination Regularization (THR) loss derived from the proposed information-theoretic text hallucination measurement approach. Applying THAM with current dialogue systems validates the effectiveness on VGD benchmarks (i.e., AVSD@DSTC7 and AVSD@DSTC8) and shows enhanced interpretability.
translated by 谷歌翻译
现有的最新3D点云实例分割方法依赖于基于分组的方法,该方法指向获得对象实例。尽管产生准确的分割结果方面有所改善,但这些方法缺乏可扩展性,通常需要将大量输入分为多个部分。为了处理数百万点的场景,现有的最快方法软组\ cite {vu2022222222222222222222222222222222222222ggroup}需要数十秒钟,这是满意的。我们的发现是,$ k $ neart的邻居($ k $ -nn)是分组的先决条件,是计算瓶颈。这种瓶颈严重使现场的推理时间恶化了很多。本文提出了软组++来解决此计算瓶颈,并进一步优化了整个网络的推理速度。 SoftGroup ++建立在软组上,这在三个重要方面有所不同:(1)执行OCTREE $ K $ -NN而不是Vanilla $ k $ -nn,以将时间复杂性从$ \ Mathcal {o}(n^2)缩短到$ \ Mathcal {o}(n \ log n)$,(2)执行金字塔缩放,适应性下降样本骨干输出以减少$ k $ -nn和分组的搜索空间,并且(3)执行后期的Devoxelization,延迟了Voxels的转换指向模型的结束,以使中间组件以低计算成本运行。在各种室内和室外数据集上进行了广泛的实验,证明了拟议的软组++的功效。值得注意的是,SoftGroup ++在一个前方的情况下通过单个前方进行了大量的场景,而无需将输入分为多个部分,从而丰富了上下文信息。特别是,SoftGroup ++达到2.4点AP $ _ {50} $改进,而$ 6 \ $ 6 \ times $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $。代码和训练有素的模型将公开可用。
translated by 谷歌翻译
受到正规彩票假说(RLTH)的启发,该假说假设在密集网络中存在平稳(非二进制)子网,以实现密集网络的竞争性能,我们提出了几个播放类增量学习(FSCIL)方法。 to as \ emph {soft-subnetworks(softnet)}。我们的目标是逐步学习一系列会议,每个会议在每个课程中只包含一些培训实例,同时保留了先前学到的知识。软网络在基本训练会议上共同学习模型权重和自适应非二进制软面具,每个面具由主要和次要子网组成;前者的目的是最大程度地减少训练期间的灾难性遗忘,而后者的目的是避免在每个新培训课程中过度拟合一些样本。我们提供了全面的经验验证,表明我们的软网络通过超越基准数据集的最先进基准的性能来有效地解决了几个弹药的学习问题。
translated by 谷歌翻译
指数移动平均值(EMA或动量)被广泛用于现代自学学习(SSL)方法,例如MOCO,以提高性能。我们证明,这种动量也可以插入无动量的SSL框架(例如SIMCLR),以提高性能。尽管它广泛用作现代SSL框架中的基本组成部分,但动量造成的好处尚未得到充分理解。我们发现它的成功至少可以部分归因于稳定性效应。在第一次尝试中,我们分析了EMA如何影响编码器的每个部分,并揭示了编码器输入附近的部分起着微不足道的作用,而后者则具有更大的影响。通过监测编码器中每个块的输出的总体损失的梯度,我们观察到,最终层在反向传播过程中倾向于比其他层的波动大得多,即稳定性较小。有趣的是,我们表明,使用EMA到SSL编码器的最后一部分,即投影仪,而不是整个深层网络编码器可以提供可比或可比性的性能。我们提出的仅投影仪的动量有助于维持EMA的好处,但避免了双向计算。
translated by 谷歌翻译
针对强大表示学习和自我监督的学习(SSL)的对抗性培训(AT)是无监督的代表学习学习的两个主动研究领域。在整合到SSL中,多个先前的工作已经完成了一项非常重要但具有挑战性的任务:学习强大的表示没有标签。一个广泛使用的框架是对抗性的对比度学习,它是在SSL和SSL处伴侣,因此构成了一个非常复杂的优化问题。受划分和争夺哲学的启发,我们推测它可以简化并通过解决两个子问题来改进:不稳定的SSL和伪用者。这种动机将任务的重点从寻求耦合问题的最佳集成策略转移到寻找子问题的子解决方案。话虽如此,这项工作丢弃了直接引入SSL框架的先前实践,并提出了一个两阶段的框架,称为脱钩的对抗性对比学习(DEACL)。广泛的实验结果表明,我们的DEACL实现了SOTA自制的对抗性鲁棒性,同时大大减少了训练时间,从而验证了其有效性和效率。此外,我们的DEACL构成了一个更可解释的解决方案,其成功也弥合了半监督的差距,以利用未标记的样品来实现强大的表示。该代码可在https://github.com/pantheon5100/deacl上公开访问。
translated by 谷歌翻译
提出了一种学习算法,称为最大利润率(MM),以考虑集体不平衡数据学习问题:训练有素的模型倾向于预测大多数班级而不是少数群体。也就是说,少数群体的适合似乎是概括的挑战之一。为了对少数群体进行良好的概括,我们设计了一个新的最大利润率(MM)损失函数,通过最大程度地减少通过转移决策结合的基于利润的概括。理论上原理的标签 - 分布式利润率(LDAM)损失已成功应用于先前的策略,例如重新采样或重新采样以及有效的培训时间表。但是,他们尚未研究最大保证金损失函数。在这项研究中,我们研究了两种类型的基于硬利润的决策边界的性能,其中LDAM对人为不平衡的CIFAR-10/100的培训时间表,以进行公平的比较和有效性。
translated by 谷歌翻译
单个图像超分辨率(SISR)是一个非常活跃的研究领域。本文通过使用带有双鉴别器的GaN的方法来解决SISR,并将其与注意机制合并。实验结果表明,与其他传统方法相比,GDCA可以产生更尖锐和高令人愉悦的图像。
translated by 谷歌翻译
本文定义了公平的主要成分分析(PCA),从而最大限度地减少不同受保护类的维度减少条件分布之间的最大平均差异(MMD)。MMD的掺入自然导致具有良好统计性质的公平性的精确和易易易诊的数学制剂。我们制定公平PCA,经过MMD限制的公平PCA,作为Stiefel歧管的非凸优化,并使用具有平滑(REPMS; LIU和BOUMAL,2019)的Riemannian精确惩罚方法来解决它。重要的是,我们提供当地的最优性保证,并明确显示每个超参数在实际设置中的理论效果,扩展了先前的结果。基于合成和UCI数据集的实验比较表明,我们的方法优于现有工作的差异,公平,公平和运行时。
translated by 谷歌翻译