Contemporary domain adaptation methods are very effective at aligning feature distributions of source and target domains without any target supervision. However, we show that these techniques perform poorly when even a few labeled examples are available in the target domain. To address this semi-supervised domain adaptation (SSDA) setting, we propose a novel Minimax Entropy (MME) approach that adversarially optimizes an adaptive few-shot model. Our base model consists of a feature encoding network , followed by a classification layer that computes the features' similarity to estimated prototypes (representatives of each class). Adaptation is achieved by alternately maximizing the conditional entropy of unlabeled target data with respect to the classifier and minimizing it with respect to the feature encoder. We empirically demonstrate the superiority of our method over many baselines, including conventional feature alignment and few-shot methods, setting a new state of the art for SSDA.
translated by 谷歌翻译
提出了无监督域自适应的任务,以将标签丰富域(源域)的知识转移到标签稀缺域(目标域)。不同域之间的匹配特征分布是上述任务的广泛应用方法。但是,当两个域中的类不相同时,该方法不能很好地执行。具体地,当目标的类对应于源的类的子集时,目标样本可能与仅存在于源中的类不正确地对齐。这个问题设置被称为部分域自适应(PDA)。在这项研究中,我们提出了一种新的方法,称为PDA的两个加权不一致性减少网络(TWIN)。我们利用两个分类网络来估计每个类别中的目标样本的比例,其中加权分类损失被加权以适应目标域中存在的类别。此外,为了提取目标的判别特征,我们建议最小化由目标样本上的分类器不一致性测量的域之间的差异。我们凭经验证明,降低两个网络之间的不一致性对于PDA是有效的,并且我们的方法在几个数据集中的表现优于其他现有方法。
translated by 谷歌翻译
大多数现代机器人都有深度传感器,对RGBD图像语义分割的研究表明,深度图像提高了分割的准确性。由于使用每个像素的语义标签来注释图像非常耗时,因此如果我们可以通过使用现有数据集或我们可以自己生成的合成数据集来避免这种费力的工作,那将是理想的。机器人运动通常在合成环境中进行测试,其中多通道(例如,RGB +深度+实例边界)图像加上它们的像素级语义标签是可用的。然而,仅仅在合成图像上训练的模型往往表现出对真实图像的不良表现。为了解决这个问题,我们提出了两种方法,它们可以有效地利用与无监督域自适应(UDA)算法相结合的多通道输入。一种是基于融合的方法,其使用深度图像作为输入。另一种是使用深度图像作为输出的多任务学习方法。我们通过使用带有后处理的多任务学习方法并为此任务创建基准来证明分割结果得到了改进。
translated by 谷歌翻译
物体识别模型从合成数据到实数数据的无监督转移是许多潜在应用的重要问题。挑战在于如何“适应”在模拟图像上训练的模型,以便在没有任何额外监督的情况下在现实世界数据上表现良好。不幸的是,这个问题的当前基准测试在大小和任务多样性方面受到限制。在本文中,我们提出了一个名为Syn2Real的新的大规模基准测试,它包含一个从3D对象模型渲染的合成域和两个包含相同对象类别的真实图像域。我们在thisbenchmark上定义了三个相关的任务:闭集对象分类,开集对象分类和对象检测。我们对多种最先进方法的评估揭示了更简单的闭集分类任务与更难开放的设置和检测任务之间的适应性能差距。我们认为,开发适用于所有threetasks的适应方法对syn2real域转移提出了重大的未来挑战。
translated by 谷歌翻译
已经提出了许多算法用于将知识从富含标签的域(源)转移到标签稀缺域(目标)。几乎所有这些都是针对封闭场景提出的,其中源和目标域完全共享其样本的类。我们称共享classt为\ doublequote {known class。}但是,实际上,当targetdomain中的样本没有标记时,我们无法知道域是否共享该类。 Atarget域可以包含sourcedomain不共享的类的样本。我们将这些类称为\ doublequote {unknown class},并且在开放设置情况下运行良好的算法非常实用。然而,用于域适应的mostexisting分布匹配方法在此设置中不能很好地工作,因为未知目标样本不应与源对齐。在本文中,我们提出了一种利用对抗性训练的开放式集合域自适应方法。训练分类器以在源和目标样本之间形成边界,而训练生成器以使得远离边界的目标样本。因此,我们为特征生成器分配两个选项:将它们与源已知样本对齐或拒绝它们作为未知目标样本。该方法允许提取将未知目标样本与已知目标样本分开的特征。我们的方法在领域适应设置中得到了广泛的评估,并且在大多数情况下表现优于其他方法。
translated by 谷歌翻译
我们引入了像素对齐的隐式函数(PIFu),这是一种高效的隐式表示,可以将2D图像的像素与其对应的3D对象的全局上下文进行局部对齐。使用PIFu,我们提出了一种端到端深度学习方法,用于数字化高度详细的穿着人类,可以从单个图像和可选的多个输入图像中提取3D表面和纹理。高度复杂的形状,例如发型,衣服,以及它们的变形和变形可以以统一的方式数字化。与用于3D深度学习的现有表示相比,PIFu可以产生高分辨率表面,包括很大程度上看不见的区域,例如人的背面。特别地,与体素表示不同,它是存储器有效的,可以处理任意拓扑,并且所得到的表面在空间上与输入图像对齐。此外,虽然先前的技术被设计为处理单个图像或多个视图,但PIFu自然地延伸到任意数量的视图。我们从DeepFashion数据集展示了对真实世界图像的高分辨率和强大的重建,其中包含各种具有挑战性的服装类型。我们的方法在公共基准测试中实现了最先进的性能,并且优于单个图像的衣服人体数字化的先前工作。
translated by 谷歌翻译
钢琴指法的自动估计对于计算理解音乐表演的过程并且适用于表演辅助和教育系统是重要的。虽然制定指法质量的自然方法是构建约束/性能成本的模型,但通常很难为这些模型找到合适的参数值。在这里,我们研究基于统计建模的替代数据驱动方法,其中给定指法的自然性由概率描述。具体来说,我们构造了两种类型的隐马尔可夫模型(HMM)及其高阶扩展。我们还研究基于深度神经网络(DNN)的方法进行比较。使用新发布的指法注释数据集,我们对这些模型进行系统评估以及基于约束的表示方法,并发现基于高阶HMM的方法在估计精度方面优于其他方法。我们还定量研究指法的个体差异,并提出可与多个地面实况数据一起使用的评估措施。我们得出结论,基于HMM的方法目前是最先进的,并且在大多数部分中产生可接受的指令,并且它们具有某些限制,例如短语边界的重要性和双手的相互依赖性。
translated by 谷歌翻译
与动物不同,机器人可以长时间正确记录其体验。我们提出了一种新的算法,该算法在经验的时间序列上运行粒子滤波器。它可以应用于一些教学和重放任务。在任务中,训练师控制机器人,机器人记录其传感器及其动作。我们将记录的序列命名为一集,这是从动物的情节记忆中得出的。之后,机器人执行粒子滤波器,以便从剧集中找到与当前场景相似的情况。如果机器人选择在类似情况下采取的动作,它可以重放教导的行为。我们将此算法命名为粒子滤波器onepisode(PFoE)。具有PFoE的机器人不仅显示了对行为的简单重放,还显示了从滑行和中断恢复运动。在本文中,我们用小型移动机器人评估PFoE的性质。
translated by 谷歌翻译
随着黑盒机器学习算法,特别是深度神经网络(DNN)的广泛发展,对可靠性评估的实际需求正在迅速增加。在“贝叶斯深度学习知道它不知道什么”这一概念的基础上,DNN输出的不确定性已经被作为分类和回归任务的可靠性度量进行了研究。但是,在图像标题检索任务中,众所周知的样本并不总是易于检索样本。本研究调查了图像标题嵌入和检索系统的两个方面。一方面,通过将图像标题嵌入视为入侵任务来量化特征的不确定性,并将其用于模型平均,从而提高性能。另一方面,我们通过将检索视为分类任务来进一步量化后验不确定性,并将其用作可靠性度量,通过拒绝不确定查询可以极大地提高检索性能。使用不同的数据集(MS COCO和Flickr30k),不同的深度学习架构(丢失和批量归一化)以及差异相似度函数观察到两种不确定性措施的一致性能。
translated by 谷歌翻译
在工业系统中,需要监控以检测故障的某些过程变量通常很难或不可能测量。软传感技术被广泛用于从易于测量的过程中估计这种难以测量的过程变量。软传感器建模需要训练数据集,包括各种状态的信息,如操作模式,但具有目标变量的故障数据集不足以作为trainingdataset。本文描述了一种半监督的软测量建模方法,在训练数据集中包含一个没有目标变量的不完整数据集。为了合并不完整的数据集,我们考虑系统中操作模式之间的转换点处的过程的性质。在从模式转换的信息获得的约束条件下估计操作模式的回归系数。在一个案例研究中,这种受约束的软传感器建模被用于预测具有加热和冷却操作模式的空调系统中的制冷剂泄漏。结果表明,该建模方法在具有多种操作模式的系统中是有前景的传感器。
translated by 谷歌翻译