最近的工作表明,难以察觉的扰动可以应用于工艺未被动实施例(ULE),即其内容不能用于改善训练期间的分类器的图像。在本文中,我们揭示了研究人员应遵循的道路,因为它们最初制定了(Uleos)。本文进行了四项贡献。首先,我们展示了Uleos利用颜色,因此,可以通过简单的灰度预过滤来减轻它们的效果,而无需诉诸对抗性培训。其次,我们向Uleos提出了一个延伸,它被称为uleo-grayaugs,这将通过在优化期间利用灰度知识和数据增强来迫使所产生的ules远离频道明智的颜色扰动。第三,我们表明,在复杂的卷积神经网络(CNN)分类器的情况下,使用多层的Perceptrons(MLP)产生的Uleos是有效的,这表明CNN遭受了对电机的特定漏洞。第四,我们证明当分类器培训ULEOS时,对抗性训练将防止在清洁图像和对抗性图像上测量的准确度。在一起,我们的贡献代表了不可见的例子的艺术状态的大量进展,但也揭示了他们行为的重要特征,必须更好地理解,以实现进一步的改进。
translated by 谷歌翻译
快速,高度准确,可靠的引力波浪的推动,可以实现实时多信使天文学。目前贝叶斯推理方法虽然高度准确可靠,但很慢。深度学习模型已经表明了引力波的推理任务非常快速,但由于神经网络的黑箱性质,它们的产出本质上是可疑的。在这项工作中,我们通过应用了多头卷积神经网络产生的近似后验的重要性抽样加入贝叶斯推论和深度学习。神经网络参数化Von Mises-Fisher和天空坐标和高斯分布的天空坐标和两个群众,用于给定Ligo和Virgo探测器的模拟重力波注射。我们为看不见的引力波事件产生跨ysmaps,这是几分钟内使用贝叶斯推理产生的高等类似的预测。此外,我们可以检测神经网络的差,并迅速向它们标记。
translated by 谷歌翻译
Neyman-Scott processes (NSPs) are point process models that generate clusters of points in time or space. They are natural models for a wide range of phenomena, ranging from neural spike trains to document streams. The clustering property is achieved via a doubly stochastic formulation: first, a set of latent events is drawn from a Poisson process; then, each latent event generates a set of observed data points according to another Poisson process. This construction is similar to Bayesian nonparametric mixture models like the Dirichlet process mixture model (DPMM) in that the number of latent events (i.e. clusters) is a random variable, but the point process formulation makes the NSP especially well suited to modeling spatiotemporal data. While many specialized algorithms have been developed for DPMMs, comparatively fewer works have focused on inference in NSPs. Here, we present novel connections between NSPs and DPMMs, with the key link being a third class of Bayesian mixture models called mixture of finite mixture models (MFMMs). Leveraging this connection, we adapt the standard collapsed Gibbs sampling algorithm for DPMMs to enable scalable Bayesian inference on NSP models. We demonstrate the potential of Neyman-Scott processes on a variety of applications including sequence detection in neural spike trains and event detection in document streams.
translated by 谷歌翻译
在低灯条件下捕获的图像遭受低可视性和各种成像伪影,例如真实噪音。现有的监督启示算法需要大量的像素对齐的训练图像对,这很难在实践中准备。虽然弱监督或无人监督的方法可以缓解这些挑战,但不使用配对的训练图像,由于缺乏相应的监督,一些现实世界的文物不可避免地被错误地放大。在本文中,而不是使用完美的对齐图像进行培训,我们创造性地使用未对准的现实世界图像作为指导,这很容易收集。具体地,我们提出了一个交叉图像解剖线程(CIDN),以分别提取来自低/常光图像的交叉图像亮度和图像特定内容特征。基于此,CIDN可以同时校正特征域中的亮度和抑制图像伪像,其在很大程度上将鲁棒性增加到像素偏移。此外,我们收集了一个新的低光图像增强数据集,包括具有现实世界腐败的未对准培训图像。实验结果表明,我们的模型在新建议的数据集和其他流行的低光数据集中实现了最先进的表演。
translated by 谷歌翻译
我们认为当前的红外标准,用于优化用户体验,测量太窄的IR空间的一部分。如果IR系统较弱,这些指标缺乏或完全过滤出需要改进的更深层次的文件。如果IR系统相对强,则这些指标欠更深的相关文档,这些文档可以在用户可消化的层次结构或文本摘要中呈现出甚至更强大的IR系统,这些文件甚至可以呈现来自数十或数百个相关文档的内容。我们从过去28年重新分析了超过70个TREC曲目,显示大约一半的欠压排名的文件,几乎所有的缺乏尾部文件。我们展示在2020年的深度学习轨道中,神经系统在排名第一的文件中实际上是近乎最佳的,而在尾部文件上只有BM25的适度增益相比。我们的分析基于简单的新系统导向度量,“雾化搜索长度”,它能够在任何深度准确且均匀地测量所有相关文档。
translated by 谷歌翻译
从移动设备收集的位置数据代表个人和社会水平的移动性行为。这些数据具有从运输计划到疫情建模的重要应用。但是,必须克服最佳服务的问题:数据通常代表有限的人口样本和数据危害隐私的数据。为了解决这些问题,我们展示并评估用于使用在实际位置数据上培训的深频复制神经网络(RNN)来生成合成移动数据的系统。该系统将群体分发作为输入,为相应的合成群生成移动性跟踪。相关的生成方法尚未解决在较长时间内捕获个人移动行为中的模式和变异性的挑战,同时还平衡了具有隐私的现实数据的产生。我们的系统利用RNNS的能力生成复杂和新序列的能力,同时保留训练数据的模式。此外,该模型引入了用于校准各个级别的合成和实际数据之间的变化的随机性。这是捕获人类移动性的可变性,并保护用户隐私。基于位置的服务(LBS)来自22,700多种移动设备的数据用于实用程序和隐私度量的实验评估。我们示出了生成的移动数据保留了实际数据的特征,同时从个人级别的实际数据变化,并且在此变化量匹配真实数据内的变化。
translated by 谷歌翻译
元学习传统上,传统上依赖于整个任务来迭代改善模型的学习动态。但是,当缩放到复杂任务时,这种方法是在计算上难以解决的。我们使用张量处理单元(TPU)提出了一种分布式进化元学习策略,该张量处理单元(TPU)非常平行,可扩展到任意长的任务,内存成本没有增加。使用在Omniglot DataSet上进行的原型网络培训,我们在5次分类问题上实现了98.4%的准确性。我们的算法使用的存储器多达40倍,而不是自动差异计算梯度,结果模型可实现高精度培训的等效物(99.6%)的1.3%内的精度。我们观察到更高的分类准确性高达99.1%,人口配置较大。我们进一步通过实验验证了跨各种培训条件的ES-Protonet的稳定性和性能(不同的人口大小,模型规模,工人数量,射击,方式,es upperameters等)。我们的贡献是双重的:我们在监督环境中提供了对进化元学习的第一次评估,并为TPU的分布式演进策略创建了一般框架。
translated by 谷歌翻译
最近的自我监督学习方法能够学习高质量的图像表示,并通过监督方法关闭差距。但是,这些方法无法逐步获取新的知识 - 事实上,它们实际上主要仅用为具有IID数据的预训练阶段。在这项工作中,我们在没有额外的记忆或重放的情况下调查持续学习制度的自我监督方法。为防止忘记以前的知识,我们提出了功能正规化的使用。我们将表明,朴素的功能正则化,也称为特征蒸馏,导致可塑性的低可塑性,因此严重限制了连续的学习性能。为了解决这个问题,我们提出了预测的功能正则化,其中一个单独的投影网络确保新学习的特征空间保留了先前的特征空间的信息,同时允许学习新功能。这使我们可以防止在保持学习者的可塑性时忘记。针对应用于自我监督的其他增量学习方法的评估表明我们的方法在不同场景和多个数据集中获得竞争性能。
translated by 谷歌翻译
临床票据是记录患者信息的有效方法,但难以破译非专家的难以破译。自动简化医学文本可以使患者提供有关其健康的有价值的信息,同时节省临床医生。我们提出了一种基于词频率和语言建模的医学文本自动简化的新方法,基于富裕的外行术语的医疗本体。我们发布了一对公开可用的医疗句子的新数据集,并由临床医生简化了它们的版本。此外,我们定义了一种新颖的文本简化公制和评估框架,我们用于对我们对现有技术的方法进行大规模人类评估。我们基于在医学论坛数据上培训的语言模型的方法在保留语法和原始含义时产生更简单的句子,超越现有技术。
translated by 谷歌翻译
本文介绍了在公开不确定域中描述和解释机器人目标的问题的集成解决方案。鉴于所需情况的正式规范,其中仅通过其性质描述了对象,通用规划和推理工具用于导出机器人的适当行动。这些目标是通过在线组合的分层规划,状态估计和执行,其在具有实质上闭塞和传感误差的真实机器人域中运行的鲁棒性。
translated by 谷歌翻译