我们提出了SWA-Gaussian(SWAG),一种简单,可扩展,通用的方法,用于深度学习中的不确定性表示和校准。随机权重平均(SWA),计算随机梯度下降(SGD)的第一时刻,用修改的学习率计划迭代最近,我们已经证明了它可以改善深度学习中的泛化。利用SWAG,我们使用SWA解决方案作为第一时刻拟合高斯,并且还从SGD迭代得到秩和对角协方差,在神经网络权重上形成近似后验分布;我们从这个高斯分布中抽样来进行贝叶斯模型平均。 Weempirically发现SWAG近似于真实后验的形状,与描述SGD迭代的静态分布的结果一致。此外,我们证明SWAG在各种计算机视觉任务上表现良好,包括样本外检测,校准和转移学习,与许多流行的替代品相比,包括MC压差,KFACLaplace和温度缩放。
translated by 谷歌翻译
我们设计了一种级联GAN方法来生成会话面部视频,该视频面向不同的面部形状,视角,面部特征和噪声条件。我们建议首先将音频传输到高级结构(即面部标志),然后生成以标记为条件的视频帧,而不是学习从音频到视频帧的直接映射。与直接的音频到图像方法相比,我们的级联方法可以拟合与语音内容相关的视听信号之间的虚假相关性。我们人类对视频中的temporaldiscontinuities和微妙的人工制品很敏感。为了避免这些像素抖动问题并强制网络专注于视听相关区域,我们提出了一种具有注意力机制的新型动态可调节像素损失。此外,为了生成具有良好同步的面部运动的更清晰的图像,我们提出了一种新的基于回归的鉴别器结构,其考虑了序列级信息以及帧级信息。对几个数据集和现实样本的多次实验表明获得了显着更好的结果。在定量和定性比较中,我们的方法比最先进的方法。
translated by 谷歌翻译
在这项工作中,我们研究了使用半匪反馈在线优化分段Lipschitz函数的问题。这种具有挑战性的非凸优化问题通常出现在组合设置的算法选择问题中,其目标是从特定应用领域的大型算法族中找到最佳算法。在这些设置中,优化问题中的损失函数的每个评估可能在计算上是昂贵的,通常需要学习者运行组合算法来测量其性能。结合家族中类似算法之间的小差异可以导致算法行为的级联变化这一事实,在这些设置中的有效在线优化是一个具有挑战性的问题。然而,我们表明,在许多应用中,评估一种算法选择的损失函数有时可以揭示一系列类似算法的损失,基本上是免费的。我们开发了能够在半强盗反馈设置中使用这种额外信息的在线优化算法。我们的算法实现的遗憾基本上与完全信息反馈下的算法一样好,并且计算效率更高。我们应用我们的半匪优化结果来获得两个丰富的组合算法族的在线算法选择程序。我们使用包含经典链接程序的一系列聚类算法为在线算法选择提供聚类问题提供了第一个可证明的保证。我们还展示了如何从一系列的背景算法中选择算法,同时具有比最佳算法选择程序更低的计算复杂度和更强的后悔限制。
translated by 谷歌翻译
我们提出了一种在商品硬件上实时创建视频摘要的方法。这里的实时指的是视频化所需的时间小于输入视频的持续时间。首先,低级功能用于丢弃不需要的帧。接下来,视频被分割为intosegments,并为每个片段提取片段级特征。然后使用在广泛可用的视频摘要和计算美学数据集上训练的基于树的模型来对各个片段进行排名,并且选择排名靠前的片段以生成最终的视频摘要。我们在SUMME数据集上评估所提出的方法,并表明我们的方法能够实现与当前最先进的学习方法相当的总体准确度,同时发布明显更快的运行时间。我们的平均方法能够生成比视频持续时间更短的视频摘要。
translated by 谷歌翻译
我们提供了从基洛度调查数据第3版(KiDS DR3)的宽带光度ugridata中选择的类星体目录。通过随机森林监督机器学习模型识别QSO,在SDSS DR14光谱数据上训练。我们首先从具有过度噪声,缺失或其他有问题的测量的条目中清除输入的KiDS数据。应用特征重要性分析,我们然后调整算法并在KiDS多波段目录中识别17个最有用的分类特征,即幅度,颜色,幅度比和恒星指数。我们使用t-SNE算法将多维光度数据映射到2D平面上,并比较训练和推理集的覆盖范围。我们将推理集限制为r <22以避免超出训练所覆盖的特征空间的外推,因为SDSS光谱样本相当于KiDS的浅。这在最终推断样本中给出了340万个对象,随机森林确定了190,000个类星体候选者。由SDSS提取并且未在训练中使用的测试集得到的准确度为97%,纯度为91%,完整性为87%,通过与KiDSfootprint重叠的比较,可以通过比较同一光谱和光度QSO目录来确认。我们的结果的稳健性通过r波段中类星体候选者的数量以及WISE可用的中红外颜色得到了加强。在Gaia DR2中发现的QSOcandidates的视差和适当运动的分析表明,p(QSO)> 0.8的概率切割对于纯度是最佳的,而p(QSO)> 0.7对于更好的完整性是优选的。我们的研究提出了第一个从高质量的KiDS数据中选择全面的类星体,并将作为本调查检测到的QSO群体的多样性研究的基础。
translated by 谷歌翻译
即使在深度学习架构成为复杂计算机视觉任务的事实上的模型之前,softmax函数,由于其优雅的性质,已经用于分析前馈神经网络的预测。如今,softmax函数的输出也常用于评估对抗性示例的强度:在测试阶段设计的恶意数据点可以创建机器学习模型。然而,在本文中,我们表明有可能产生一些对抗性的例子,这些例子利用了softmax函数的一些性质,在解释手边的对抗性例子的强度时会导致不希望的结果。具体来说,我们认为softmax的输出当分析对抗性示例的强度时,函数是一个不良指示者,并且该指示符很容易被现有的用于生成逆向样本的方法所欺骗。
translated by 谷歌翻译
深度神经网络(DNN)在提取模式方面表现出色。通过对大型数据集的表示学习和自动化特征工程,这些模型在计算机视觉和自然语言应用方面取得了巨大成功。然而,从原则上的理性方法设计最佳网络架构并不成功,使用额外的机器学习算法的成功方法可以对网络超参数进行计算。然而,在许多技术领域,thereexist建立了关于主题的领域知识和理解。在这项工作中,我们开发了一种新的分叉神经网络架构,利用领域知识作为网络的高级设计原则。我们通过开发IL-Net来展示概念验证,IL-Net是用于预测离子液体特性的分叉网络,离子液体是一类复杂的多化学品实体。与现有的最先进方法相比,分散网络可以将模型精度提高大约20-35%,而无需使用额外的标记数据。最后,我们为可以适应其他领域的分叉网络提炼出两个关键的设计原则。
translated by 谷歌翻译
字符级特征目前用于不同的基于神经网络的自然语言处理算法。然而,对这些模型学习的字符级模式知之甚少。此外,模型通常只是定量比较,而缺少定性分析。在本文中,我们研究了神经网络学习哪些字符级模式,以及这些模式是否与手动定义的单词分割和注释相吻合。为此,我们将上下文分解技术(Murdoch等人,2018)扩展到卷积神经网络,这允许我们对卷积神经网络和双向长期短期记忆网络进行比较。我们评估和比较这些模型,以便在三种形态不同的语言中形成形态学,并表明这些模型明确地发现了可理解的语言规则。我们的实现可以在https://github.com/FredericGodin/ContextualDecomposition-NLP找到。
translated by 谷歌翻译
估计固定政策的价值函数是实施学习的基本问题。政策评估算法---估计价值功能---继续发展,以提高收敛率,不可改善性和处理可变性,特别是对于非政策性学习。理解这些算法的属性,实验者需要对学习值函数的准确性进行高可信度估计。具有小的有限状态空间的环境,如链,可以容易地计算真值函数,以计算准确性。然而,对于大型或连续状态空间,这已不再可行。在本文中,我们补充了如何获得这些高置信度估计的一般性开放问题,即一般状态空间。我们对真值误差的值误差的经验性提供了高可信度约束。我们使用此绑定来设计离线采样算法,该算法存储所需的数量以重复计算任何学习值函数的值误差估计。我们提供了在简单的基准强化学习领域中研究该离线算法所需样本数量的实验,并且突出显示对于这个重要问题仍有许多未解决的问题需要解决。
translated by 谷歌翻译
动态纹理是一个研究领域,由于多媒体数据库的爆炸性增长,已经引起了计算机视觉界的极大兴趣。此外,动态纹理存在于各种视频中,这使得它在基于视频的专家系统中非常重要,例如医疗系统,交通监控系统,森林火灾探测系统等。本文提出了一种基于有向网络扩散的动态纹理表征方法。动态纹理被建模为定向网络。该方法包括在基于边缘权重的一系列图形切换变换之后分析该网络的动态。对于每个网络转换,都会估计每个顶点的活动。活动是通过随机行走平衡访问一个顶点的相对频率。然后,通过连接活动直方图来构造纹理描述符。本文的主要贡献是使用定向网络建模和网络扩散到动态纹理表征。这些往往在动态文本分类中提供更好的性能。为了证明方法的鲁棒性,进行了旋转和干涉运动模式的实验。所提出的方法与两个非常清楚的动态纹理数据库和交通状况分类上的其他动态纹理方法进行了比较,并且在大多数情况下表现优异。
translated by 谷歌翻译