在本文中,我们提出了一种简单而有效的填充方案,可用作现有卷积神经网络的插入模块。我们称之为基于部分卷积的填充,直觉可以将填充区域视为空洞,将原始输入视为非空洞。具体地,在卷积操作期间,基于填充区域和卷积窗口区域之间的比率,对卷积结果重新加权近图像边界。利用各种深度网络模型对ImageNet分类和语义分割进行的广泛实验表明,所提出的填充方案始终优于标准零填充,具有更高的准确性。
translated by 谷歌翻译
最近的深度网络在各种语义分割任务上实现了最先进的性能。尽管取得了这些进展,但这些模型经常面临现实世界“野外任务”的挑战,其中存在标记的训练/源数据与看不见的测试/目标数据之间的巨大差异。特别是,这种差异通常被称为“域间隙”,并且可能导致显着降低的性能,这不能通过进一步增加表现能力来容易地补救。无监督域适应(UDA)旨在克服没有目标域标签的这种问题。在本文中,我们提出了一种基于迭代自我训练过程的新型UDA框架,其中问题被表述为潜在的可变损失最小化,并且可以通过在目标数据上生成伪标签并用这些标签重新训练模型来解决。除了自我训练之外,我们还提出了一种新颖的平衡自我训练框架,以避免大类在伪标签生成上的逐渐优势,并引入空间先验来精炼生成的标签。综合实验表明,所提出的方法在多个主要的UDA设置下实现了最新的语义分割性能。
translated by 谷歌翻译
边缘检测是其在感知分组中的作用及其广泛应用的最基本的视觉问题之一。最近代表性学习的进步已经导致该领域的相当大的改进。许多现有技术的边缘检测模型是用完全卷积网络(FCN)学习的。然而,由于边缘的精细结构,基于FCN的边缘学习倾向于易于错位标签。在评估基准中考虑了这样的问题,类似的问题在一般边缘学习中没有明确解决。在本文中,我们表明标签错位会导致边缘学习质量显着下降,并通过提出同时边缘对齐和学习框架来解决这个问题。为此,我们制定了一个概率模型,其中边缘对齐被视为潜在变量优化,并在网络训练期间进行端到端学习。实验展示了这项工作的几个应用,包括改进的边缘检测和最先进的性能,以及噪声注释的自动细化。
translated by 谷歌翻译
神经网络是一类强大的非线性函数,可以在各种应用程序中进行端到端的讨论。虽然许多神经网络中的过度参数化特征使得能够适应复杂的函数和强大的表示能力来处理具有挑战性的任务,但它也导致高度相关的神经元,这可能损害泛化能力和不必要的计算成本。结果,如何使网络规范以避免不期望的表示冗余成为重要的问题。在这一点上,我们从物理学中众所周知的问题中汲取灵感 - 汤姆森问题,其中一个人试图找到一种在单位球上尽可能以最小势能分布N个电子的状态。根据这一理论,我们将冗余正则化问题简化为通用能量最小化,并提出了神经网络的最小超球能量(MHE)目标异常正则化。我们还提出了一些MHE的新变量,并从理论的角度提供了一些见解。最后,我们将具有MHE正则化的网络应用于几个具有挑战性的任务。大量实验证明了我们的方法的有效性,通过显示MHE正规化的优越性能。
translated by 谷歌翻译
A family of super deep networks, referred to as residual networks or ResNet [14], achieved record-beating performance in various visual tasks such as image recognition, object detection, and semantic segmentation. The ability to train very deep networks naturally pushed the researchers to use enormous resources to achieve the best performance. Consequently, in many applications super deep residual networks were employed for just a marginal improvement in performance. In this paper, we propose-ResNet that allows us to automatically discard redundant layers, which produces responses that are smaller than a threshold , with a marginal or no loss in performance. The-ResNet architecture can be achieved using a few additional rectified linear units in the original ResNet. Our method does not use any additional variables nor numerous trials like other hyper-parameter optimization techniques. The layer selection is achieved using a single training process and the evaluation is performed on CIFAR-10, CIFAR-100, SVHN, and ImageNet datasets. In some instances, we achieve about 80% reduction in the number of parameters.
translated by 谷歌翻译
本文讨论了开放式协议下的深层识别(FR)问题,其中理想的面部特征预期在适当选择的度量空间下具有比最小的类间距离更小的最大类距离。然而,现有的算法很少能够有效地实现这一标准。为此,我们提出角度softmax(A-Softmax)损失可折叠卷积神经网络(CNN)来学习角度判别特征。从几何学角度来看,A-Softmax损失可以被视为对超球面流形的严格限制性约束,这种约束与先前的面也位于流形上有着内在的匹配。此外,可以通过参数$ m $定量调整矩形边距的大小。我们进一步推出特定的$ m $来近似理想的特征标准。对野外标记面(LFW),Youtube面(YTF)和MegaFace挑战的广泛分析和实验表明,在FR任务中A-Softmax损失的优越性。该代码也已公开发布。
translated by 谷歌翻译
最近最流行的跟踪框架专注于2D图像序列。它们很少跟踪点云中的3D对象。在本文中,我们提出了一种基于三维道路实例分割的快速,简单的跟踪方法PointIT。首先,我们将3D LiDAR数据转换为尺寸为64 x 512 x 4的球形图像,并将其转换为实例分段模型。获取每个类的预测实例掩码。然后我们使用MobileNet作为我们的主要编码器,而不是原始的ResNet,以降低计算复杂性。最后,我们使用此实例框架扩展Sort算法,以实现3D LiDAR点云数据的跟踪。该模型在球形图像数据集上训练,具有由KITTI3D对象轨道数据集提供的相应实例标签掩模。根据实验结果,我们的网络可以达到0.617的平均精度(AP),并且还提高了多跟踪任务的性能。
translated by 谷歌翻译
机器学习中敏感数据的隐私问题越来越受到关注。在本文中,我们研究了在交替方向乘法器(ADMM)框架下保护隐私的分布式学习。虽然安全的分布式学习先前已经被利用了密码学或非加密(噪声扰动)方法,但其代价是计算开销过高或精度损失严重。此外,现有的保护性ADMM方案很难探讨噪声扰动的收敛性。 。在这项工作中,我们在点对点半诚实代理的场景中提出了两个修改的privateADMM方案:首先,我们表明,只需线性秘密共享,就可以实现信息理论上的私有分布式优化。使用差分隐私的概念,我们提出了基于随机参数的基于第一或基于逼近的ADMM方案。我们证明了所提出的私有ADMM方案可以以线性收敛速率实现,并且与先前工作相关的隐私损失更加严格。最后,我们提供实验结果来支持该理论。
translated by 谷歌翻译
虽然强化学习(RL)具有使机器人能够自主获取各种技能的潜力,但在实践中,RL通常需要对奖励函数进行手动,按任务设计,特别是在实际环境中,计算进度所需的环境方面并非直接无障碍。为了使机器人能够自主学习技能,我们反而考虑强化学习的问题,而无需获得奖励。 Weaim要学习一个无人监督的嵌入空间,机器人可以在该空间内测量自己的目标。我们的方法明确地优化了对称空间,当目标达到最终状态时,达到特定状态的动作序列是最佳的。这使得学习有效和以控制为中心的表示能够导致更多的自主强化学习算法。我们在三个模拟环境和两个真实操作问题上的实验表明,我们的方法可以从未标记的交互中学习有效的目标指标,并使用学习目标指标进行自主强化学习。
translated by 谷歌翻译
随着深度学习(DL)应用的激增,GPU计算变得越来越流行。但是,与CPU或网络等传统资源不同,现代GPU本身并不支持细粒度共享原型。因此,实施诸如时间共享和抢占的共同策略是昂贵的。更糟糕的是,当DL应用程序无法完全使用aGPU的资源时,GPU无法在多个应用程序之间有效共享,从而导致GPU利用不足。我们提出Salus以实现两个GPU共享原语:快速作业切换和内存共享,以实现多个DL应用程序之间的细粒度GPU共享。 Salus实现了一种高效,整合的执行服务,将GPU暴露给不同的DL应用程序,并通过执行迭代调度和解决相关的内存管理问题来实施细粒度共享。我们证明这些原语可以用于实现灵活的共享策略,例如公平性,优先级和包装用于各种用例。我们将Salus与TensorFlow集成并对流行DL工作进行评估表明,Salus可以将DLtraining作业的平均完成时间提高3.19美元\次,超级参数调整的GPU利用率提高2.38美元以上,以及DL推理应用程序的GPU利用率$ 42 \ times $超过不分享GPU和$ 7 \ times $超过NVIDIA MPS,开销很小。
translated by 谷歌翻译