新颖性检测是识别与训练集明显不同的数据异常的无监督问题。新颖性检测是机器学习中的经典挑战之一,也是欺诈检测,入侵检测,医疗诊断,数据清理和故障预防等几个研究领域的核心组成部分。虽然设计了许多算法来解决这个问题,但大多数方法仅适用于模拟连续数值数据。处理由混合类型特征(例如数值和分类数据)或描述离散事件序列的时间数据集组成的数据集是一项具有挑战性的任务。除了支持的数据类型之外,有效新颖性检测方法的关键标准是能够准确地将新颖性与标称样本分离,可解释性,可扩展性以及对位于训练数据中的异常的鲁棒性。在本文中,我们研究了解决这些问题的新方法。特别地,我们提出(i)混合型数据的新颖性检测方法的实验比较(ii)序列数据的新颖检测方法的实验比较,(iii)基于Dirichlet过程混合和指数的混合型数据的概率非参数奇异检测方法。 - 家庭分布和(iv)基于自动编码器的新奇检测模型,其编码器/解码器被建模为深度高斯过程。
translated by 谷歌翻译
我们研究深度神经网络的表达性。通过其连接数或神经元数量来测量网络的复杂性,我们考虑了在增加复杂性预算时,给定复杂度的网络的最佳近似误差以一定速率衰减的函数类。使用经典逼近理论的结果,我们证明了这个类可以赋予(准)范数,使其成为线性函数空间,称为近似空间。我们建立允许网络具有某些类型的“跳过连接”不会改变所得到的近似空间。我们还讨论了网络非线性(也称为激活函数)在结果空间中的作用,以及深度的作用。对于流行的ReLU非线性及其功率,将新构造的空间与经典的Besov空间相提并论。如果这些网络足够深,那么建立的嵌入突出了一些非常低的Besov平滑度的函数可以通过神经网络很好地近似。
translated by 谷歌翻译
在本文中,我们提出了一种新的数字图像边缘检测方法。所提出方法的第一个原创性是将图像内容视为参数表面。然后,提出了表示图像内容的该表面的原始参数局部模型。所提出的模型中涉及的少数参数被示出为表面中非常敏感的连续性,其对应于图像内容中的边缘。这自然导致了有效边缘检测器的设计。此外,对所提出的模型的充分分析还允许我们解释这些参数如何用于获得边缘描述符,例如方向和曲率。在实践中,所提出的方法提供了两个主要优点。首先,它具有很高的定制可能性,以便适应各种不同的问题,从粗略到精细的边缘检测。其次,它对于模糊过程和加性噪声非常稳健。通过与其他边缘检测器的比较研究,提出了数值结果以强调这些性质并确认所提出的方法的效率。
translated by 谷歌翻译
嘈杂的标签经常出现在视觉数据集中,特别是当它们来自众包或网络抓取时。在本文中,我们提出了一种新的规则化方法,使人们能够在存在噪声数据的情况下学习鲁棒分类器。为了实现这一目标,我们用Wasserstein距离增加虚拟对抗性损失。这个距离允许我们通过利用这个最佳传输距离的几何属性来考虑类之间的特定关系。值得注意的是,我们编码了用于计算Wasserstein距离的地面成本中的类相似性。作为一个序列,我们可以提高非常相似的类之间的平滑性,同时保持分类决策功能对于类似的类足够复杂。虽然设计这种地面成本可以作为特定问题的建模任务,但我们在本文中表明,使用类名之间的语义关系已经取得了良好的效果。我们提出的Wasserstein对抗训练(WAT)在嘈杂腐败的四个数据集上优于现有技术水平。标签:遥感图像语义分割中的三个经典基准和一个实例。
translated by 谷歌翻译
超像素分解方法通常用作预处理步骤以加速图像处理任务。他们在尝试尊重现有轮廓的同时将图像的像素分组为均匀区域。对于所有最先进的超像素分解方法,在1)计算时间,2)遵守图像轮廓和3)分解的规律性和紧凑性之间进行权衡。在本文中,我们提出了一种快速方法,在一个集合框架中使用线性路径(SCALP)来计算具有轮廓粘附的Superpixels。通过考虑到超像素重心的线性路径,增强了在聚类期间尝试将像素与超像素相关联时计算的距离。所提出的框架产生了符合图像轮廓的规则和紧凑的超像素。我们在标准伯克利分段数据集上提供SCALP的详细评估。获得的结果在标准像素和轮廓检测指标方面优于最先进的方法。
translated by 谷歌翻译
多模式表征学习在深度学习社区中越来越受到关注。虽然双线性模型提供了一个有趣的框架来找到模态的微妙组合,但它们的参数数量与输入维度呈二次方式,使得它们在经典深度学习管道中的实际应用具有挑战性。在本文中,我们介绍了BLOCK,一种基于块 - 超对角张量分解的新型多模态融合。它利用了block-termranks的概念,它概括了已经用于多模态融合的张量的等级和模式等级的概念。它允许定义用于优化融合模型的表现力和复杂性之间的权衡的新方法,并且能够在保持强大的单模态表示的同时表示模态之间的非常精细的相互作用。我们通过将BLOCK用于两个具有挑战性的任务来展示我们融合模型的实用性:VisualQuestion Answering(VQA)和视觉关系检测(VRD),我们设计端到端可学习架构来表示模态之间的相关交互。通过大量实验,我们证明了BLOCK与VQA和VRD任务的最先进的多模态融合模型相比是有利的。我们的代码位于\ url {https://github.com/Cadene/block.bootstrap.pytorch}。
translated by 谷歌翻译
跨任务转移技能的能力有可能将增强型学习(RL)代理扩展到目前无法实现的环境。最近,基于两个概念,后继特征(SF)和广泛策略改进(GPI)的框架已被引入转移技能的原则性方式。在本文中,我们在两个方面扩展了SF和GPI框架。 SFs和GPI原始公式的基本假设之一是,所有感兴趣的任务的奖励可以计算为固定特征集的线性组合。我们放松了这个约束,并表明支持框架的理论保证可以扩展到只有奖励函数不同的任何一组任务。我们的第二个贡献是,可以使用奖励函数本身作为未来任务的特征,而不会损失任何表现力,从而无需事先指定一组特征。这使得可以以更稳定的方式将SF和GPI与深度学习相结合。我们在acomplex 3D环境中凭经验验证了这一主张,其中观察是来自第一人称视角的图像。我们表明,SF和GPI推动的转移几乎可以立即实现看不见任务的非常好的政策。我们还描述了如何以一种允许将它们添加到代理的技能集中的方式学习专门用于新任务的策略,从而在将来重用。
translated by 谷歌翻译
我们解决了优化布朗运动的问题。我们考虑一个(随机)实现$ W $的布朗运动,输入空间在$ [0,1] $。给定$ W $,我们的目标是使用尽可能小的数量返回其最大值的$ \ epsilon $ -approximation函数评估,算法的样本复杂度。我们提供了一个算法,其样本复杂度为$ $ log ^ 2(1 / \ epsilon)$。这比Al-Mharmahand Calvin(1996)和Calvin等人的先前结果有所改善。 (2017)仅提供多项式。我们的算法是自适应的 - 每个查询都依赖于先前的值 - 并且是面对不确定性原则的一个实例。
translated by 谷歌翻译
降维是许多机器学习流程的第一步。两种流行的方法是主成分分析,它投射到少数精心选择但不可解释的方向,以及选择少量原始特征的特征选择。特征选择可以被抽象为称为列子集选择问题(CSSP)的数值线性代数问题。 CSSP对应于选择矩阵$ X \ in \ mathbb {R} ^ {N \ times d} $的列的bestsubset,其中\ emph {best}通常意味着最小化逼近误差,即将$ X $投影到所选列所跨越的空间后的残差范数。对$ \ {1,\ dots,d \} $子集的这种优化通常是不切实际的。已经深入研究的一种解决方法是对多项式成本,随机子集选择算法进行排序,这些算法有利于该近似误差的小值。我们提出这样一种随机算法,基于投影决定点过程(DPP)的抽样,在固定数量的$ k $指数$ \ {1,\ dots,d \} $上进行脉冲分布,这有利于所选列之间的多样性。我们给出了该DPP的预期近似误差与PCA最佳误差之比的界限。这些边界改进了\ emph {volume sampling}的最先进界限,当前的结构假设满足$ X $。 Numericalexperiments表明我们的界限很紧,我们的算法与\ emph {双相}算法具有可比性,通常被认为是最先进的实用技术。因此,使用DPP的列子集选择可以实现两全其美:良好的经验性能和严格的错误边界。
translated by 谷歌翻译
强化学习(RL)代理同时学习许多奖励功能的能力具有许多潜在的好处,例如将复杂任务分解为更简单的任务,任务之间的信息交换以及技能的重用。我们特别关注一个方面,即能够推广到看不见的任务。参数泛化依赖于函数逼近器的插值功率,该函数逼近器被赋予任务描述作为输入;其最常见的形式之一是通用值函数逼近器(UVFA)。推广到新任务的另一种方法是在RL问题本身中开发结构。广义策略改进(GPI)将先前任务的解决方案组合到针对看不见的任务的策略中;这依赖于新向下功能下的旧策略的即时策略评估,这通过后继特征(SF)实现。我们提出的通用后继特征近似器(USFAs)结合了所有这些的优点,即UVFAs的可扩展性,SF的即时参考,以及GPI的强大推广。我们讨论了培训USFA所涉及的挑战,其泛化属性,并证明其实际利益和转移能力在一个大规模的领域,其中代理人必须在第一人称视角三维环境中导航。
translated by 谷歌翻译