课程学习在(深层)强化学习中越来越受欢迎。它可以减轻数据收集的负担,并通过从较不复杂的任务转移和概括提供更好的探索政策。加强学习中课程学习的自动任务排序的当前方法提供了初始启发式解决方案,几乎不能保证其质量。我们介绍了一个由问题定义组成的任务排序优化框架,几个用于优化的候选性能指标和三个基准算法。我们通过实验证明,两种最常用的基线(无课程学习和随机课程学习)比简单的贪婪算法表现更差。此外,我们在理论上展示并通过实验证明三种提出的算法在适度增加的计算复杂度下提供了越来越高的解决方案质量,并表明它们构成了强化学习中课程学习的更好基准。
translated by 谷歌翻译
跨任务转移技能的能力有可能将增强型学习(RL)代理扩展到目前无法实现的环境。最近,基于两个概念,后继特征(SF)和广泛策略改进(GPI)的框架已被引入转移技能的原则性方式。在本文中,我们在两个方面扩展了SF和GPI框架。 SFs和GPI原始公式的基本假设之一是,所有感兴趣的任务的奖励可以计算为固定特征集的线性组合。我们放松了这个约束,并表明支持框架的理论保证可以扩展到只有奖励函数不同的任何一组任务。我们的第二个贡献是,可以使用奖励函数本身作为未来任务的特征,而不会损失任何表现力,从而无需事先指定一组特征。这使得可以以更稳定的方式将SF和GPI与深度学习相结合。我们在acomplex 3D环境中凭经验验证了这一主张,其中观察是来自第一人称视角的图像。我们表明,SF和GPI推动的转移几乎可以立即实现看不见任务的非常好的政策。我们还描述了如何以一种允许将它们添加到代理的技能集中的方式学习专门用于新任务的策略,从而在将来重用。
translated by 谷歌翻译
如今,面部变形在电子身份证件的背景下代表了一个巨大的安全威胁,也是面部识别领域的研究人员面临的一个有趣的挑战。尽管通过最先进的数字图像方法获得了良好的性能,但到目前为止还没有确定令人满意的解决方案来处理跨数据库测试和印刷扫描图像(通常在许多国家用于文档发布)。在这项工作中提出了一种新的方法来训练深度神经网络变形检测:特别是生成模拟印刷扫描图像以及其他数据增强策略和大面部识别数据集的预训练,从而可以达到最先进的精确度,具有挑战性的数据集。异构图像源。
translated by 谷歌翻译
低成本深度传感器获得的面部可以用于捕捉脸部的某些特征细节吗?通常答案是否定的。然而,新深度体系结构可以从在不同模态下获取的数据生成RGB图像,例如深度数据。在本文中,我们提出了一个新的\ textit {Deterministic Conditional GAN},在注释的RGB-D facesatasets上训练,对于从深度到RGB的面对面转换是有效的。虽然网络不能重建未知个体面部的精确体细胞特征,但它能够重建合理的面部; theirappearance足够准确,可用于许多模式识别任务。事实上,我们使用一些\ textit {Perceptual Probes}测试网络能力以产生幻觉,例如面部方面分类或地标检测。尽管存在相应的RGB图像,但由于难以实现亮度条件,因此可以使用深度面。实验结果非常有前途,并且比以前提出的方法更好:这种域转换可以构成利用深度数据的新途径。新的未来应用。
translated by 谷歌翻译
当你在人群中看到被其他人遮挡的人时,你会错过可用于识别,重新识别或简单地将他或她归类的视觉信息。您可以根据自己的经验想象它的外观。同样,AI解决方案可以尝试使用特定的深度学习架构来幻觉丢失信息,适当地训练有没有遮挡的人。这项工作的目标是生成一个人的完整图像,给定输入中的遮挡版本,应该是a)没有遮挡b)在像素级别上与完全可见的人形状类似c)能够保持类似的视觉属性(例如男性/女))原来的。为此目的,我们提出了一种新方法,通过整合最先进的神经网络架构,即U-net和GAN,以及判别属性分类网络,以及专门设计用于遮挡人形的架构。训练网络以优化损失函数,其可以考虑上述目标。我们还提出了两个用于测试我们的解决方案的数据集:第一个,封闭的RAP,通过遮挡RAP数据集的实际形状(也收集人员方面的属性)自动创建;第二个是大型合成数据集,AiC,在计算机图形中生成,具有从GTA视频游戏中提取的数据,其包含通过构造的被遮挡对象的3D数据。结果令人印象深刻,并且优于其他任何先前的提案。这一结果可能是许多进一步研究的一个重要步骤,以在开放拥挤的世界中认识人和他们的行为。
translated by 谷歌翻译
我们提出了一种基于深度学习和集合理论的新技术,它具有出色的分类和预测结果。通过访问足够大量的标记训练数据,即使训练数据与测试数据完全无关,我们的方法也能够几乎始终预测测试数据的标签。换句话说,我们在非特定设置中证明,只要有一个人可以访问足够的数据点,数据的质量就无关紧要了。
translated by 谷歌翻译
神经网络在各种实际应用中的应用正在改变AI在实践中的应用方式。通过API提供的预训练神经网络模型或使用客户数据定​​制训练预构建的神经网络架构的能力使得开发人员对AI的消耗更加简单,并且导致这些复杂AI模型的广泛采用。虽然针对某些场景存在预构建的网络模型,但为了尝试满足每个应用程序独有的约束,AI团队需要关注开发自定义神经网络架构,以满足精度和内存占用之间的关系,以实现其独特用例的严格限制。然而,只有一小部分数据科学团队拥有从划痕创建神经网络所需的技能和经验,而且需求远远超过供应。在本文中,我们介绍了NeuNetS:一种用于自定义神经网络设计的自动化神经网络综合引擎,可作为IBM的OpenScale产品的一部分提供.NeuNetS可用于文本和图像域,并且可以在很短的时间内为特定任务构建神经网络今天需要humaneffort,并且精确度与人工设计的AI模型类似。
translated by 谷歌翻译
尽管已经提出了许多使神经网络更具有可测量性的方法,但它们仅限于用输入数据询问网络。然而,用于表征和监测结构性质的措施尚未开发出来。在这项工作中,我们提出神经持久性,基于加权分层图的拓扑数据分析的神经网络架构的复杂性测量。为了证明我们的方法的有用性,我们知道神经持久性反映了在深度学习社区中开发的最佳实践,例如辍学和批量规范化。此外,我们推导出基于神经持续性的停止标准,缩短训练过程,同时实现与基于失效损失的早期停止相当的精度。
translated by 谷歌翻译
目前,共享深度学习模式的唯一技术是同态加密和安全多方计算。遗憾的是,由于其大量的计算和通信开销,这些技术都不适用于大型神经网络的训练。作为共享模型治理的可扩展技术,我们建议在多方之间拆分加深学习模型。本文实证研究了该技术的安全保障,该技术作为模型完成问题引入:给定整个训练数据集或环境模拟器,以及训练深度学习模型的参数子集,需要多少训练来恢复模型原创表现?我们定义了一个评估模型完成问题硬度的指标,并在ImageNet的监督学习和Atari和DeepMind~Lab的强化学习中进行了实证研究。我们的实验表明:(1)模型完成问题在强化学习中比在受监督学习中更难,因为训练有素的轨迹不可用,(2)其硬度主要不取决于射击部分的参数数量,而是更多他们的类型和位置。我们的结果表明,模型拆分对于共享模型治理可能是一种可行的技术,因为培训非常昂贵。
translated by 谷歌翻译
我们介绍和分析了两种基于勘探开发的勘探开发独立和连续马尔可夫决策过程(MDPs)算法。 SCAL $ ^ + $是SCAL(Fruit等人,2018)的一种变体,它在任何未知的弱通信MDP中进行有效的探索 - 利用,其中已知最佳偏差函数的跨度上限C. Foran MDP有$ S $状态,$ A $行动和$ \ Gamma \ leq S $可能下一个州,我们证明SCAL $ ^ + $实现了与SCAL相同的理论保证(即,高概率后悔限制为$ \ widetilde {O}(C \ sqrt {\ Gamma SAT})$),计算复杂度较低。类似地,C-SCAL $ ^ + $利用一个探索加值来实现任何未连续的MDP与连续状态空间的次线性遗憾。我们证明了C-SCAL $ ^ + $实现了与UCCRL相同的遗憾(Ortner和Ryabko,2012),同时也是第一个在此环境中具有遗憾保证的可实现算法。虽然UCRL,SCAL或UCCRL等乐观算法在真正未知的MDP中保持了一组高可信度的合理MDP,但SCAL $ ^ + $和C-SCAL $ ^ + $在一个勘探领域直接计划经验估算的MDP,因此更具计算效率。
translated by 谷歌翻译