对手示例是对机器学习系统的输入,导致来自该系统的输出不正确。通过这种类型的输入发射的攻击可能导致严重后果:例如,在图像识别领域中,停止信号可以被错误分类为速度限制指示。但是,对抗示例也代表了不同的研究方向的燃料域名和应用程序。在这里,我们概述了如何能够获得有利可图的强大工具,以构建更强大的学习模型,能够更好地攻击,两个关键任务:假新闻和社交机器人检测。
translated by 谷歌翻译
大多数最先进的实例分割方法产生二进制分割掩码,但是,地理和制图应用程序通常需要精确的向量多边形的提取物体而不是光栅化输出。本文介绍了Polyworld,一个神经网络,即直接从图像中提取构建顶点并正确连接它们以创建精确的多边形。该模型使用图形神经网络预测每对顶点之间的连接强度,并通过解决可差化的最佳运输问题来估计分配。此外,通过最小化组合分割和多边形角差损失来优化顶点位置。Polyworld显着优于建筑多边形的最先进,并且不仅达到了显着的定量结果,而且还产生了视觉上令人愉悦的建筑多边形。代码和培训的重量将很快在GitHub上提供。
translated by 谷歌翻译
本文考虑如何为策略评估任务提供额外的数据收集,如何补充脱机强化学习(RL)数据。在政策评估中,任务是估计对兴趣环境的评估政策的预期回报。在离线策略评估上的事先工作通常仅考虑静态数据集。我们考虑一个设置,我们可以收集少量附加数据,以与潜在的更大的离线RL数据集组合。我们展示只需运行评估政策 - 策略数据收集 - 此设置是子最优。然后,我们介绍了两个新的数据收集策略进行策略评估,两者都考虑在收集未来数据时考虑先前收集的数据,以便在收集的整个数据集中减少分发班次(或采样错误)。我们的经验结果表明,与政策采样相比,我们的策略产生了具有较低采样误差的数据,并且通常导致任何总数据集大小的策略评估中的较低平均平方误差。我们还表明,这些策略可以从初始禁止策略数据开始,收集其他数据,然后使用初始和新数据来产生低均衡的错误策略评估,而无需使用脱策校正。
translated by 谷歌翻译
以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据,但将其扩展到整个国家,以外的高度分辨率几乎不可能。在这项工作中,我们提出了一种贝叶斯深度学习方法,以10米的分辨率为全国范围的森林结构变量,使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图:95th高度百分位,平均高度,密度,基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型,并证明它能够概括取消测试区域,从而达到11%和15%之间的归一化平均值误差,具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作,以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务,例如知情决策。我们提出了一组广泛的实验,以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性,我们为五个森林结构变量提供挪威地图。
translated by 谷歌翻译
密度比估计(DRE)是一种用于比较两个概率分布的基本机器学习技术。然而,现有方法在高维设置中斗争,因为难以基于有限样本进行准确地比较概率分布。在这项工作中,我们提出了Dre-\ idty,一种分歧和征服方法来减少DRE到一系列更简单的子问题。灵感来自Monte Carlo方法,我们通过无限连续的中间桥接桥分布平稳地插入两种分布。然后,我们估计索引索引的桥接分布的瞬时变化率(“时间分数”) - 与数据(Stein)分数类似地定义的量 - 具有新的时间得分匹配目标。粗略地,然后可以集成学习的时间评分以计算所需的密度比。此外,我们表明,传统(Stein)得分可用于获得在分布中连接高密度区域,提高实践性能的集成路径。经验上,我们证明我们的方法在复杂的高维数据集上的相互信息估计和基于能量的建模等下游任务中表现出很好。
translated by 谷歌翻译
本文提出了一种校准控制参数的方法。这种控制参数的示例是PID控制器的增益,优化控制的成本函数的权重,过滤器系数,滑动模式控制器的滑动表面,或神经网络的权重。因此,所提出的方法可以应用于各种控制器。该方法使用闭环系统操作数据来估计控制参数而不是系统状态的卡尔曼滤波器。控制参数校准由训练目标驱动,其包括对动态系统性能的规范。校准方法在线和强大地调整参数,是计算效率,具有低数据存储要求,并且易于实现对许多实时应用的吸引力。仿真结果表明,该方法能够快速学习控制参数(闭环成本的平均衰减因子大约24%),能够调整参数来补偿干扰(跟踪精度的提高约29%),并且是坚固的噪音。此外,具有高保真车辆模拟器Carim的仿真研究表明,该方法可以在线校准复杂动态系统的控制器,这表明其对现实世界的适用性。
translated by 谷歌翻译
我们介绍了一种计算关于数据集的学习任务的导数的方法。学习任务是从训练设置到验证错误的函数,可以由培训的深神经网络(DNN)表示。 “数据集导数”是一个线性运算符,围绕培训的模型计算,它通知每个训练样本的权重的扰动如何影响验证误差,通常在单独的验证数据集上计算。我们的方法,DIVA(可微分验证)铰接在预先训练的DNN周围的休假交叉验证误差的闭合形式微分表达上。这种表达构成数据集衍生物。 Diva可用于数据集自动策策,例如用错误的注释删除样本,使用其他相关样本增强数据集或重新平衡。更一般地,DIVA可用于优化数据集,以及模型的参数,作为培训过程的一部分,而无需单独的验证数据集,与AutomL的双层优化方法不同。为了说明DIVA的灵活性,我们向样本自动策展任务报告实验,如异常值拒绝,数据集扩展和多模态数据的自动聚合。
translated by 谷歌翻译
本文认为,考虑了深神经网络(DNN)训练中最佳梯度无损压缩的问题。渐变压缩在许多分布式DNN培训方案中是相关的,包括最近流行的联合学习(FL)场景,其中每个远程用户通过无噪声限制通道连接到参数服务器(PS)。在分布式DNN培训中,如果可用的底层梯度分布,则可以使用经典的无损压缩方法来减少传送渐变条目所需的比特数。平均场分析表明,梯度更新可以被认为是独立的随机变量,而拉普拉斯近似可以用来争论梯度具有近似于某些制度中的正常(范数)分布的分布。在本文中,我们认为,对于某些实际兴趣的网络,梯度条目可以很好地建模为具有广义的正常(Gennorm)分布。我们提供了数值评估,以验证假设进流模型提供了对DNN梯度尾部分布的更准确的预测。此外,在将诸如Huffman编码的经典修复到可变无损编码算法应用于量化的梯度更新,该建模选择在梯度的无损压缩方面提供了具体的改进。后一种结果确实提供了一种有效的压缩策略,具有较低的内存和计算复杂性,在分布式DNN培训场景中具有很大的实际相关性。
translated by 谷歌翻译
从部分测量重建医学图像是计算机断层扫描(CT)和磁共振成像(MRI)中的重要逆问题。基于机器学习的现有解决方案通常训练模型,直接将测量线映射到医学图像,利用配对图像和测量的训练数据集。这些测量通常使用测量过程的固定物理模型从图像中合成,其阻碍了模型的泛化能力到未知的测量过程。为解决这个问题,我们提出了一种完全无监督的技术来解决逆问题,利用最近引入的基于分数的生成模型。具体而言,我们首先在医学图像上培训基于分数的生成模型,以捕获他们的先前分配。在测试时间上给定测量和测量过程的物理模型,我们介绍了一种采样方法来重建与先前和观察测量一致的图像。我们的方法在训练期间不假设固定的测量过程,因此可以灵活地适应于测试时间的不同测量过程。经验上,我们观察到CT和MRI中的几种医学成像任务中的可比性或更好的性能,同时对未知测量过程的概率显着展示了更好的概括。
translated by 谷歌翻译
在过去的几十年中,人工智能(AI)和更具体地进行机械学习的应用,对物理科学进行了显着扩展。特别是,科学知情的AI或科学AI从专注于数据分析到现在控制闭环自主系统中的实验设计,仿真,执行和分析。客串(闭环自主材料勘探和优化)算法采用科学AI来解决两项任务:学习材料系统的组成结构关系,鉴定具有最佳功能性的材料组合物。通过对此进行整合,对构图相图进行了筛选的加速材料,导致发现最佳相变存储器材料。这一成功的关键是能够引导后续测量来最大化构图结构关系或相位图的知识。在这项工作中,我们调查将不同水平的先前物理知识纳入Careo的自主阶段映射的益处。这包括使用来自AFLOW存储库的AB-Initio相位边界数据,这些数据已被示出为在作为先前使用时优化Careo的搜索。
translated by 谷歌翻译