This paper studies audio-visual suppression for egocentric videos -- where the speaker is not captured in the video. Instead, potential noise sources are visible on screen with the camera emulating the off-screen speaker's view of the outside world. This setting is different from prior work in audio-visual speech enhancement that relies on lip and facial visuals. In this paper, we first demonstrate that egocentric visual information is helpful for noise suppression. We compare object recognition and action classification based visual feature extractors, and investigate methods to align audio and visual representations. Then, we examine different fusion strategies for the aligned features, and locations within the noise suppression model to incorporate visual information. Experiments demonstrate that visual features are most helpful when used to generate additive correction masks. Finally, in order to ensure that the visual features are discriminative with respect to different noise types, we introduce a multi-task learning framework that jointly optimizes audio-visual noise suppression and video based acoustic event detection. This proposed multi-task framework outperforms the audio only baseline on all metrics, including a 0.16 PESQ improvement. Extensive ablations reveal the improved performance of the proposed model with multiple active distractors, over all noise types and across different SNRs.

三维（3D）图像（例如CT，MRI和PET）在医学成像应用中很常见，在临床诊断中很重要。语义歧义是许多医学图像标签的典型特征。这可能是由许多因素引起的，例如成像特性，病理解剖学以及二进制面具的弱表示，这给精确的3D分割带来了挑战。在2D医学图像中，使用软面膜代替图像垫形式产生的二进制掩码来表征病变可以提供丰富的语义信息，更全面地描述病变的结构特征，从而使后续诊断和分析受益。在这项工作中，我们将图像垫子介绍到3D场景中，以描述3D医学图像中的病变。 3D模态中图像垫的研究有限，并且没有与3D矩阵相关的高质量注释数据集，因此减慢了基于数据驱动的深度学习方法的发展。为了解决这个问题，我们构建了第一个3D医疗垫数据集，并通过质量控制和下游实验中的肺结节分类中令人信服地验证了数据集的有效性。然后，我们将四个选定的最新2D图像矩阵算法调整为3D场景，并进一步自定义CT图像的方法。此外，我们提出了第一个端到端的深3D垫网络，并实施了可靠的3D医疗图像垫测试基准，该基准将被发布以鼓励进一步的研究。

面向任务导向的对话系统已经受到获得大规模和高质量的注释对话的困难困扰。此外，大多数公开的数据集仅包括书面对话，这不足以反映实际口头对话系统中的实际人类行为。在本文中，我们提出了面向任务的对话数据增强（TOD-DA），这是一种新型模型 - 不可知的数据增强范例，以提高面向任务对话建模的鲁棒性。 TOD-DA由两个模块组成：1）对话丰富，以扩展关于易于执行数据稀疏性的任务对话的培训数据，用于宽松数据稀疏性和2）口语对话模拟器，以模仿各种粒度的口语样式表达和语音识别错误，以弥合书面之间的差距和口头对话。通过这样的设计，我们的方法在DSTC10 Track2的两个任务中排名第一，这是针对口语对话的任务对话建模的基准，展示了我们提出的TOD-DA的优势和有效性。

基于零件的对象理解有助于有效的组建学习和知识转移，鲁布利来阻塞，并且有可能提高一般识别和本地化任务的性能。然而，由于缺少具有部分注释的数据集，对基于零件的模型的研究受到阻碍，这是由图像中注释对象部件的极端难度和高成本引起的。在本文中，我们提出了PartimAgenet，具有零件分割注释的大型高质量数据集。它由来自ImageNet的158个类组成，具有大约24000张图像。 PartimAgenet是独一无二的，因为它在具有非刚性铰接物体的一般类上提供了部分级别注释，而与现有数据集相比，尺寸大的尺寸较大的级。它可以在多个视觉任务中使用，包括但不限于：部分发现，语义分割，几次拍摄学习。进行综合实验以在Partimagenet上设置一组基线，我们发现在复杂的变化期间，现有的工作作品并不总是产生令人满意的结果。下游任务的零件的利用也仍然不足。我们认为，我们的Partimagenet将极大地促进基于零件的模型及其应用的研究。数据集和脚本很快将在https://github.com/tacju/partimagenet发布。

增强了现实世界情景的稳健性已经被证明非常具有挑战性。一个原因是现有的鲁棒性基准是有限的，因为它们依赖于合成数据，或者它们只是将稳健性降低为数据集之间的概括，因此忽略各个滋扰因素的影响。在这项工作中，我们介绍了罗宾，是一个基准数据集，用于诊断视觉算法对现实世界中的个人滋扰的鲁棒性。罗宾在Pascal VOC 2012和Imagenet数据集中构建了10个刚性类别，并包括对象的分布示例3D姿势，形状，纹理，背景和天气状况。 Robin是丰富的注释，以实现图像分类，对象检测和3D姿势估计的基准模型。我们为许多流行的基线提供了结果，并进行了几个有趣的观察结果：1。与其他人相比，一些滋扰因素对性能有更强烈的负面影响。此外，对oodnuisance的负面影响取决于下游视觉任务。 2.利用强大数据增强的鲁棒性的目前的方法只有在现实世界的情况下只有边际效应，有时甚至会降低表现。 3.我们在鲁棒性方面，我们不会遵守卷积和变压器架构之间的任何显着差异。我们相信我们的数据集提供了丰富的试验台，以研究视觉算法的稳健性，并有助于大大推动该领域的前瞻性研究。

半监控视频动作识别倾向于使深神经网络能够实现显着性能，即使具有非常有限的标记数据。然而，现有方法主要从当前的基于图像的方法转移（例如，FixMatch）。不具体利用时间动态和固有的多模式属性，它们的结果可能是次优。为了更好地利用视频中的编码的时间信息，我们将时间梯度引入了本文中的更多细小特征提取的额外模态。具体而言，我们的方法明确地蒸馏从时间梯度（TG）的细粒度运动表示，并施加不同方式的一致性（即RGB和TG）。在推理期间，没有额外的计算或参数，在没有额外的计算或参数的情况下显着提高了半监督动作识别的性能。我们的方法在若干典型的半监督设置（即标记数据的不同比率）下实现三个视频动作识别基准（即动态-400，UCF-101和HMDB-51）的最先进的性能。

已经发现基于混合的增强对于培训期间的概括模型有效，特别是对于视觉变压器（VITS），因为它们很容易过度装备。然而，先前的基于混合的方法具有潜在的先验知识，即目标的线性内插比应保持与输入插值中提出的比率相同。这可能导致一个奇怪的现象，有时由于增强中的随机过程，混合图像中没有有效对象，但标签空间仍然存在响应。为了弥合输入和标签空间之间的这种差距，我们提出了透明度，该差别将基于视觉变压器的注意图混合标签。如果受关注图的相应输入图像加权，则标签的置信度将会更大。传输令人尴尬地简单，可以在几行代码中实现，而不会在不引入任何额外的参数和拖鞋到基于Vit的模型。实验结果表明，我们的方法可以在想象集分类上一致地始终改善各种基于Vit的模型。在ImageNet上预先接受过扫描后，基于Vit的模型还展示了对语义分割，对象检测和实例分割的更好的可转换性。当在评估4个不同的基准时，传输展示展示更加强劲。代码将在https://github.com/beckschen/transmix上公开提供。

难以通过二进制面具手动准确标记含糊不清的和复杂形状的目标。在医学图像分割中突出显示二元掩模下面的弱点，其中模糊是普遍的。在多个注释的情况下，通过二元面具对临床医生达成共识更具挑战性。此外，这些不确定的区域与病变结构有关，可能含有有利于诊断的解剖信息。然而，目前关于不确定性的研究主要关注模型培训和数据标签的不确定性。他们都没有调查病变本身的模糊性质的影响。通过图像消光，透过图像消光，将Alpha Matte作为软片介绍，代表医学场景中不确定的区域，并因此提出了一种新的不确定性量化方法来填补填补差距病变结构的不确定性研究。在这项工作中，我们在多任务框架中引入了一种新的架构，以在多任务框架中生成二进制掩模和alpha掩饰，这优于所有最先进的消光算法。建议的不确定性地图能够突出模糊地区和我们提出的新型多任务损失加权策略可以进一步提高性能并证明其具体的益处。为了充分评估我们提出的方法的有效性，我们首先用alpha哑布标记了三个医疗数据集，以解决医学场景中可用消光数据集的短缺，并证明alpha遮罩是一种比定性的二进制掩模更有效的标签方法和量化方面。

半监督学习（SSL）在标记数据稀缺时，在利用未标记数据的情况下表现出强大的能力。但是，大多数SSL算法在假设中，在培训和测试集中平衡类分布。在这项工作中，我们考虑到SSL对类别不平衡数据的问题，这更好地反映了现实世界的情况。特别是，我们将表示和分类器的训练分离，并系统地在培训包括分类器的整个网络以及仅微调特征提取器的整个网络时进行不同数据重新采样技术的影响。我们发现数据重新采样是重要的，以了解一个良好的分类器，因为它增加了伪标签的准确性，特别是对于未标记数据中的少数群体类别。有趣的是，我们发现准确的伪标签在训练特征提取器时无助于，相反，数据重新采样损害了特征提取器的训练。这一发现是针对错误的伪标签始终损害SSL中的模型性能的通用直觉。基于这些发现，我们建议重新思考具有单个数据重新采样策略的当前范式，并在类上不平衡数据上开发SSL的简单但高效的双采样（BIS）策略。 BIS实现了两种不同的重新采样策略，用于训练特征提取器和分类器，并将这种解耦培训集成到端到端框架中。具体地，BIS逐渐改变训练期间的数据分布，使得在开始时，特征提取器有效地训练，而朝向训练的结束时，数据被重新平衡，使得分类器可靠地训练。我们在广泛的数据集中广泛地基准了我们提出的双采样策略，实现了最先进的表演。

旨在识别来自子类别的对象的细粒度视觉分类（FGVC）是一个非常具有挑战性的任务，因为固有的微妙级别差异。大多数现有工程主要通过重用骨干网络来提取检测到的歧视区域的特征来解决这个问题。然而，该策略不可避免地使管道复杂化并推动所提出的区域，其中大多数物体的大多数部分未能定位真正重要的部分。最近，视觉变压器（VIT）在传统的分类任务中表现出其强大的表现。变压器的自我关注机制将每个补丁令牌链接到分类令牌。在这项工作中，我们首先评估vit框架在细粒度识别环境中的有效性。然后，由于注意力的强度，可以直观地被认为是令牌重要性的指标，我们进一步提出了一种新颖的部分选择模块，可以应用于我们整合变压器的所有原始注意力的变压器架构进入注意地图，用于指导网络以有效，准确地选择鉴别的图像斑块并计算它们的关系。应用对比损失来扩大混淆类的特征表示之间的距离。我们将基于增强的变压器的模型Transfg命名，并通过在我们实现最先进的绩效的五个流行的细粒度基准测试中进行实验来展示它的价值。提出了更好地理解模型的定性结果。