近年来,深度学习在计算机视觉,自然语言处理,语音识别等多个领域取得了显着成绩。足够的培训数据是确保深层模型有效性的关键。但是,获取有效数据需要大量的时间和人力资源。数据增强(DA)是一种有效的替代方法,它可以使用保留标签的转换基于现有数据生成新的标记数据。虽然我们可以从DA中受益匪浅,但设计合适的DA策略需要大量的专家经验和时间消耗,并且搜索最优策略的评估成本很高。 Sowe在本文中提出了一个新问题:如何以尽可能低的成本实现自动数据增强?我们提出了一种名为BO-Aug的方法,通过使用贝叶斯优化方法找到最优的DA策略来对该过程进行有效的处理。我们的方法可以以相对较低的搜索成本找到最优策略,并且基于特定数据集的搜索策略可跨越不同的神经网络架构或甚至不同的数据集。我们在三个广泛使用的图像分类数据集上验证了BO-Aug,包括CIFAR-10,CIFAR-100和SVHN。实验结果表明,该方法可以达到最先进或接近先进的分类精度。有关重现我们实验的代码,请访问:http://github.com/zhangxiaozao/BO-Aug。
translated by 谷歌翻译
丰富的开源代码,加上最近在自然语言处理深度学习方面取得的成功,已经引起了机器学习对源代码的新应用。在这项工作中,我们探索在Python源代码上使用Siamese递归神经网络模型来创建捕获代码语义的向量。我们通过识别代码解决的编程竞争中的哪个问题来评估嵌入的质量。我们的模型明显优于令牌嵌入,为改进可用于未来软件工程任务的代码嵌入提供了有希望的结果。
translated by 谷歌翻译
图形卷积网络(GCN)已被广泛研究用于图形数据表示和学习任务。现有的GCN通常使用固定的单一图形,这可能导致数据表示/学习的次优,并且也难以处理多个图形。为了解决这些问题,我们提出了一种新的图形优化卷积网络(GOCN),用于图形数据表示和学习。我们的GOCN的动机是基于对正则化/优化框架中图形卷积的解释。 GOCN的核心思想是将图形优化和图形卷积表示形成一个统一的框架,从而合作地进行这两者,以提高它们在GCN学习方案中的各自表现。此外,基于所提出的统一图优化 - 卷积框架,我们提出了一种新颖的多图优化卷积网络(M-GOCN),以自然地用多个图来解决数据。实验结果证明了GOCN和M-GOCN的有效性和有益效果。
translated by 谷歌翻译
机器学习已广泛应用于各种应用,其中一些涉及对隐私敏感数据的培训。已经研究了适度数量的数据库,包括自然语言数据中的信用卡信息和来自面部数据集的身份。然而,大多数这些研究都集中在监督学习模型上。由于深度强化学习(DRL)已经部署在许多现实世界的系统中,例如室内机器人导航,受过训练的DRL策略是否会泄露私人信息需要深入研究。为了总体上探讨这种隐私缺陷,我们主要提出了两种方法:基于遗传算法的环境动态搜索和基于影子策略的候选推理。我们进行了大量实验,以在各种设置下证明DRL中的此类隐私漏洞。我们利用所提出的算法来推断一些经过训练的GridWorld导航DRL代理并具有LiDAR感知的楼层平面图。所提出的算法可以正确推断大部分平面图,并使用策略梯度训练代理达到平均恢复率95.83%。此外,我们能够在连续控制环境和高精度的自动驾驶模拟器中恢复机器人配置。据我们所知,这是调查DRL设置中隐私泄漏的第一项工作,并且说明基于DRL的代理可能会从受过训练的策略中泄露隐私敏感信息。
translated by 谷歌翻译
TAMER已被证明是一种强大的交互式强化学习方法,允许普通人通过提供评估反馈来教授和个性化自主代理人的行为。然而,计划withUCT的TAMER代理---蒙特卡罗树搜索策略,只能更新状态沿着它的pathand可能会导致高学习成本,特别是对于物理机器人。在本文中,我们建议通过示范中的逆向强化学习来初始化代理人的奖励函数,从而推动代理人沿着最佳路径进行探索并降低学习成本。我们在RL基准测试领域---网格世界中测试我们提出的方法 - 对人类的评价有不同的折扣。我们的研究结果表明,从示范中学习可以让TAMERagent在最深入的搜索中学习大致最优的策略,并鼓励代理人沿着最佳路径进行探索。此外,我们发现从示范中学习可以通过减少总反馈,不正确行动的数量和增加纠正比率以获得最优策略来提高学习效率,从而允许TAMER代理更快地收敛。
translated by 谷歌翻译
计算机视觉近年来取得了令人瞩目的进展。同时,手机已经成为数百万人的主要计算平台。除了移动电话之外,许多自治系统依靠视觉数据来做出决策,其中一些系统的能量有限(例如无人驾驶飞行器也称为无人驾驶飞机和移动机器人)。这些系统依赖电池,能效至关重要。本文保留了两个主要目的:(1)检查低功率解决方案的最新技术,以检测图像中的对象。自2015年以来,IEEE年度国际低功耗图像识别挑战赛(LPIRC)一直致力于识别最节能的计算机视觉解决方案。本文总结了2018年获奖者的解决方案。 (2)建议研究方向以及低功耗计算机视觉的机会。
translated by 谷歌翻译
多标签学习在许多现实世界的应用程序中引起了极大的兴趣。通过oracle为一个实例分配许多标签是一项非常昂贵的任务。同时,如果不诊断出歧视性标签,也很难建立一个好的模型。我们是否可以降低标签成本并提高同时为多标签学习提供良好模型的能力?主动学习通过查询最有价值的样本来解决较少的训练样本问题,从而以较低的成本实现更好的性能。在多标签主动学习中,已经进行了一些研究,用于查询具有较少训练样本的相关标签或查询所有标签而不校正判别信息。他们都不能有效地处理异常值标签以测量不确定性。由于MaximumCorrentropy Criterion(MCC)为许多机器学习和数据挖掘算法中的异常值提供了鲁棒性分析,本文通过合并不确定性和代表性,推导出一种基于MCC的鲁棒多标签主动学习算法,并提出了一种有效的交替优化方法。 。使用MCC,我们的方法可以消除不具有判别性的异常标记对测量不确定性的影响。为了进一步提高信息测量的能力,我们将不确定性和代表性与未知数据的预测标签相结合。它不仅可以增强不确定性,还可以提高标签信息对多标签数据的相似性度量。基准多标签数据集的实验表现出优于最先进方法的优越性能。
translated by 谷歌翻译
我们怎样才能找到一种选择最合适的样品来驱动分类器的一般方法?即使前面的信息非常有限? Activelearning可以被视为一种迭代优化程序,它可以构建一个精细的训练集,以提高各种应用程序中的分类性能,如文本分析,图像识别,社交网络建模等。尽管结合了代表性和信息性。样本已被证明有希望进行主动采样,最先进的方法可以执行某些数据结构。那么我们是否可以找到一种方法来融合两个有效采样标准而无需对数据进行任何假设?本文提出了一种有效融合这两个标准的基因学习框架。受双样本差异问题的启发,精心设计了三重度量,以保证查询样本不仅具有未标记数据的代表性,而且还显示标记数据的多样性。可以采用任何适当的相似性度量来构建三重度量。同时,利用不确定性度量来生成信息性标准,其可以以不同方式执行。根据该框架,提出了一种实用的主动学习算法,该算法利用径向基函数和估计的概率来构建三重度量,并分别采用修正的最佳 - 次 - 最佳策略来构建不确定度量。基准数据集的实验结果表明,与最先进的学习算法相比,算法始终能够实现卓越的性能。
translated by 谷歌翻译
我们提出了一种基于DNN的实时技术,用于根据深度输入来分割交互运动的手和物体。我们的模型称为DenseAttentionSeg,它包含一个密集的注意机制,用于融合不同数据块中的信息,并通过跳过连接提高结果质量。此外,我们在模型训练中引入轮廓损失,这有助于生成准确的手和物体边界。最后,我们提出并将发布我们的InterSegHands数据集,这是一个包含大约52k手对象交互深度图的精细手部分割数据集。我们的实验评估了我们的技术和数据集的有效性,并表明我们的方法在交互分割方面优于当前最先进的深度分割方法。
translated by 谷歌翻译
本文提出了一种简单而有原则的方法来提高残余网络(ResNet)的鲁棒性,这是由动态系统观点推动的。也就是说,可以使用偏微分方程来解释深度神经网络,这自然激励我们通过显式欧拉方法来表征雷网络。我们的分析研究表明,欧拉方法中的阶梯因子h能够控制ResNet在其训练和推广中的稳健性。具体来说,我们证明了一个小步长因子h可以有利于训练后向传播的鲁棒性;从前向传播的角度来看,小h可以有助于模型概括的鲁棒性。对视觉CIFAR-10和文本AG-NEWS数据集进行全面的实证评估,证实了小的训练和普遍化的稳健性。
translated by 谷歌翻译