虽然人类分析领域的许多个人任务最近都接受了深度学习方法的准确性提升,但由于缺乏数据,多任务学习大多被忽略。正在发布新的合成数据集,用合成生成的数据填补这一空白。在这项工作中,通过利用这些数据集,在多任务场景中分析静态图像中的四个相关人工分析任务。具体来说,我们研究了2D / 3D姿态估计,身体部位分割和全身深度估计的相关性。这些任务是通过众所周知的Stacked Hourglass模块学习的,因此任务特定流的数据与其他流共享信息。 maingoal将分析如何共同训练这四个相关任务可以有利于个人任务,以实现更好的概括。新发布的SUREAL数据集上的结果显示,所有四个任务都受益于多任务方法,但具有不同的任务组合:虽然组合所有四个任务最大程度地提高了2D姿态估计,但2D姿势改善了3D姿态和全身深度估计。另一方面,2D零件分割可以受益于2D姿势,但不受益于3D姿势。在所有情况下,正如预期的那样,在那些显示出空间分布,外观和形状的更多可变性的人体部位上实现了最大的改进。手腕和脚踝。
translated by 谷歌翻译
在本文中,我们通过实证研究参考表达涉及渐进属性的参考测量成功度量的有效性。更具体地说,我们研究了几种参考成功度量的能力,以预测用户在选择正确的对象时的成功,给出了表达式。实验结果表明,某些成功的模糊测量能够预测人类参考分辨率的准确性。因此,这些措施适合于估计由生成算法产生的引用表达式的成功或否则,尤其是不能假设域中的属性具有清晰的表示。
translated by 谷歌翻译
策略梯度方法是强大的强化学习算法,并且已被证明可以解决许多复杂的任务。然而,这些方法也是数据无效的,受到高方差梯度估计的影响,并且经常陷入局部最优。这项工作通过将最近改进的非政策数据的重用和参数空间的探索与确定性行为政策相结合来解决这些弱点。由此产生的目标适用于标准的神经网络优化策略,如随机梯度下降或随机梯度哈密顿蒙特卡罗。通过重要性抽样对以前的推出进行大量提高数据效率,而随机优化方案有助于逃避局部最优。我们评估了一系列连续控制基准测试任务的建议方法。结果表明,该算法能够使用比标准策略梯度方法更少的系统交互成功可靠地学习解决方案。
translated by 谷歌翻译
互联网的非索引部分(Darknet)已成为合法和非法匿名活动的避风港。鉴于这些网络的规模,可靠地监控其活动必然依赖于自动工具,尤其是NLP工具。然而,人们对通过Darknet传达的特征文本以及这个领域的NLP工具如何做得很少知之甚少。本文解决了这一差距,并对暗网中合法和非法文本的特征进行了深入调查,并将其与具有类似内容的清晰网站进行比较,作为控制条件。以药物相关网站为测试案例,我们发现销售合法和非法药物的文本具有多种语言特征,可以区分彼此,以及控制条件,其中包括POS标签的分布,以及其命名实体的覆盖范围。在维基百科。
translated by 谷歌翻译
利用数据增强进行神经网络训练的一个关键挑战是从候选操作的大型搜索空间中选择有效的增强策略。适当选择的增强政策可以带来显着的泛化改进;然而,对于普通用户来说,最先进的方法如AutoAugment在计算上是不可行的。在本文中,我们引入了一种新的数据增强算法,即基于种群的增强(PBA),它生成非平稳增强策略,而不是固定的增强策略。我们证明了PBA可以与CIFAR-10,CIFAR-100和SVHN上的AutoAugment的性能相匹配,总体计算量减少了三个数量级。在CIFAR-10上,我们实现了1.46%的平均测试误差,这是对当前最先进技术的一点点改进。 PBA的代码是开源的,可以通过以下网址获得://github.com/arcelien/pba。
translated by 谷歌翻译
我们采用新颖的视角来看待数据不是作为概率分布而是作为当前。主要研究几何测量理论领域,$ k $ -currents是连续线性泛函,作用于紧凑支持的平滑微分形式,可以理解为定向$ k $ - 维数流形的广义注记。通过从分布($ 0 $ -currents)移动到$ k $ -currents,我们可以通过在每个采​​样点上附加一个$ k $的三维切平面来明确定位数据。基于作为电流之间的基本距离的平坦度量,我们推导出了平面GAN,这是一种在生成对抗网络的精神中的公式,但是一般化为$ k $ -currents。在我们的理论贡献中,我们证明参数化电流和参考电流之间的平衡度量在参数中是Lipschitzcontinuous。在实验中,我们证明了建议的shift $ k> 0 $导致可解释和解开的潜在表示与指定的定向切平面等效。
translated by 谷歌翻译
最近的研究(Cohen&Welling,2016)表明,基于群论的对话概括为学习提供了强大的归纳偏差。在这些概括中,滤波器不仅被平移,而且还可以被旋转,翻转等。然而,提出精确的模型,如何在正方形像素网格上旋转3×3滤波器是困难的。在本文中,我们将了解如何转换滤波器以用于组卷积,重点关注onroto-translation。为此,我们学习了过滤器基础和所有旋转版本的过滤器基础。然后,滤波器由一组旋转不变系数编码。要旋转过滤器,我们会切换基础。我们证明我们可以生成对输入旋转具有低灵敏度的特征映射,同时在MNIST和CIFAR-10上实现高性能。
translated by 谷歌翻译
卷积神经网络(CNN)在人脸识别方面取得了巨大成功,不幸的是,这种方法以大量计算和存储消耗为代价。因此提出了许多紧凑的面部识别网络来解决这个问题。三重损失对于进一步改善这些紧凑型号的性能是有效的。然而,它通常对所有样本使用固定的保证金,这忽略了不同身份之间的信息相似性结构。在本文中,我们提出了一种增强版的三脚架损失,称为三重蒸馏,它利用了ateacher模型的能力,通过自适应地改变正负对之间的边界,将相似性信息传递给一个小模型。 LFW,AgeDB和CPLFW数据集的实验显示了我们的方法与原始三重态损失相比的优点。
translated by 谷歌翻译
几乎所有大规模了解地球地下的工作都依赖于专家的地震勘测解释,他们将调查(通常是一个立方体)分成几层;一个非常时间要求的过程。在本文中,我们提出了一种新的深度神经网络架构,该架构是专门设计的,用最少量的训练数据对地震图像进行分段。为此,我们利用转置的残差单元来代替解码块的传统扩张卷积。此外,我们的网络不是使用预定义的形状进行扩展,而是学习从编码器中升级功能的所有步骤。我们使用Penobscot3D数据集训练我们的神经网络;在加拿大新斯科舍省附近获得的真实地震数据集。我们将我们的方法与两种众所周知的深度神经网络拓扑结构进行比较:完全卷积网络和U-Net。在我们的实验中,我们表明我们的方法可以实现99%以上的平均交叉联合(mIOU)度量,优于现有拓扑。此外,我们的定性结果表明,所获得的模型可以产生非常接近人类解释的面具,几乎没有不连续性。
translated by 谷歌翻译
我们研究了随机梯度下降所发现的最终参数如何受到过度参数化的影响。我们通过增加基础网络中的通道数来生成模型族,然后执行大型超参数搜索以研究测试错误如何取决于学习速率,批量大小和网络宽度。我们发现最佳SGD超参数由“归一化噪声标度”确定,“标准化噪声标度”是批量化,学习速率和初始化条件的函数。在没有球形归一化的情况下,最佳归一化噪声标度与纬度成正比。更宽的网络具有更高的最佳噪声标度,也可以实现更高的测试精度。这些观察结果适用于MLP,ConvNets和ResNets,以及两种不同的参数化方案(“标准”和“NTK”)。我们通过ResNets的批量标准化来保持类似的趋势。令人惊讶的是,由于最大的稳定学习速率是有界的,因此随着宽度的增加,与最佳归一化噪声尺度一致的最大批量尺寸减小。
translated by 谷歌翻译