我们考虑多任务回归模型,其中假设观察是几个潜在节点函数和权重函数的线性组合,它们都是从高斯过程先验得出的。在开发用于预测分布式太阳能和其他可再生能源发电的可扩展方法的问题的推动下,我们提出了在(节点或重量)过程组之间的耦合先验,以利用功能之间的空间依赖性。对多个分布式场地的太阳能预测模型和多个邻近气象站的地面风速进行了预测。我们的研究结果表明,相对于太阳能基准测试,我们的方法可以保持或提高点预测精度,并且可以改善所有测量的风力预测基准模型。与此同时,我们的方法可以更好地量化预测不确定性。
translated by 谷歌翻译
我们将在配对数据的情况下学习域间对应的问题形式化为潜在变量模型(LVM)中的贝叶斯推断,其中人们从onedomain寻找实体的底层隐藏表示作为来自另一域的实体。首先,我们引入隐式潜变量模型,其中先前的隐藏表示可以灵活地指定为隐式分布。接下来,我们基于变分关节和精确关节分布之间的对称Kullback-Leibler(KL)散度的最小化,为该模型开发新的变分参考(VI)算法。最后,我们证明了在我们提出的VI框架内,可以将最先进的循环一致的对抗性学习(CYCLEGAN)模型导出为特殊情况,从而建立其与近似贝叶斯推理方法的联系。
translated by 谷歌翻译
我们开发了一种自动变分方法,用于推导具有高斯过程(GP)先验和一般可能性的模型。该方法支持多个输出和多个潜在函数,不需要条件似然的详细知识,只需将其评估为ablack-box函数。使用高斯混合作为变分分布,我们表明使用来自单变量高斯分布的样本可以有效地估计证据下界及其梯度。此外,该方法可扩展到大数据集,这是通过使用诱导变量使用增广先验来实现的。支持最稀疏GP近似的方法,以及并行计算和随机优化。我们在小数据集,中等规模数据集和大型数据集上定量和定性地评估我们的方法,显示其在不同似然模型和稀疏性水平下的竞争力。在涉及航空延误预测和手写数字分类的大规模实验中,我们表明我们的方法与可扩展的GP回归和分类的最先进的硬编码方法相同。
translated by 谷歌翻译
神经网络很容易受到对抗性攻击 - 视觉上不易察觉的小噪声,当加到输入端时会大大改变输出。防御这些敌对攻击的最有效方法是使用对抗性训练的方法。我们分析了经过对侧训练的强大模型,以研究它们在潜层层面对抗对抗性攻击的脆弱性。我们的分析揭示了与对抗性攻击具有鲁棒性的输入层相反,这些鲁棒模型的特征层非常容易受到小幅度的对抗性扰动。利用这些信息,我们引入了一种新技术潜在对抗训练(LAT),其中包括对经过对侧训练的模型进行微调,以确保在特征层中的稳健性。我们还提出潜在攻击(LA),一种用于构建对抗性示例的新算法。 LAT导致测试精度的微小改进,并导致针对MNIST,CIFAR-10,CIFAR-100数据集显示的通用一阶对抗性PGD攻击的最新对抗精度。
translated by 谷歌翻译
人类通常会教他们的同伴合作者通过少数示威来执行任务。通过指导来纠正或扩展学习的任务以完成特定的任务目标。采用类似的框架通过示范和指导来强化机器人,使教学任务非常直观。与需要多次演示的传统的演示学习(LfD)方法不同,我们提供了从演示方法学习任务的一次性学习。使用两层评估/修改来校正和概括所学习的任务。首先,机器人自己评估其性能并将性能校正为更接近于证明的任务。然后,教练被用作扩展政策的手段,以适应不同的任务目标。使用强化学习(RL)方法实现自我评估和教学。教练通过人工反馈实现预期目标和行动修改,以普及到指定的任务目标。通过呈现单个演示,通过ascooping任务评估所提出的方法。自我评估框架旨在减少媒体中对舀取的抵制。为了减少RL的这些空间,我们使用阻力理论获得的最小阻力路径进行搜索。教练用于概括学习任务政策以转移所需数量的材料。因此,所提出的方法提供了用于从一次演示中学习任务并使用人工反馈通过指导来概括它的框架。
translated by 谷歌翻译
主成分分析(PCA)是探索性数据分析中最基本的程序之一,也是从定量金融和生物信息学到图像分析和神经科学的应用的基本步骤。然而,有充分证据表明PCA在许多实验中的适用性可以受到“免疫缺陷”的约束,例如腐蚀性观察等异常值。我们考虑以下关于具有异常值的PCA的算法问题。对于$ \ mathbb {R} ^ {d} $中的一组$ n $点,如何容忍一个点的子集,比如总点数的1%,这样其中一部分点最适合某些点未知$ r $ -dimensionalsubspace?我们对问题进行严格的算法分析。我们证明问题可以及时解决$ n ^ {O(d ^ 2)} $。特别地,对于恒定维度,该问题在多项式时间内是可解的。我们通过下限来补充算法结果,表明除非指数时间假设失败,在时间$ f(d)n ^ {o(d)} $,对于任何函数$ f $ $ $ $,它不可能不仅解决确切的问题,但即使在一个恒定的因素近似它。
translated by 谷歌翻译
我们研究了随机梯度下降所发现的最终参数如何受到过度参数化的影响。我们通过增加基础网络中的通道数来生成模型族,然后执行大型超参数搜索以研究测试错误如何取决于学习速率,批量大小和网络宽度。我们发现最佳SGD超参数由“归一化噪声标度”确定,“标准化噪声标度”是批量化,学习速率和初始化条件的函数。在没有球形归一化的情况下,最佳归一化噪声标度与纬度成正比。更宽的网络具有更高的最佳噪声标度,也可以实现更高的测试精度。这些观察结果适用于MLP,ConvNets和ResNets,以及两种不同的参数化方案(“标准”和“NTK”)。我们通过ResNets的批量标准化来保持类似的趋势。令人惊讶的是,由于最大的稳定学习速率是有界的,因此随着宽度的增加,与最佳归一化噪声尺度一致的最大批量尺寸减小。
translated by 谷歌翻译
我们提出了基于互补搜索技术和新颖架构设计的下一代移动网络.MobileNetV3通过硬件网络架构搜索(NAS)与NetAdapt算法的补充,然后通过小说进行改进,调整到移动电话CPU建筑进步。本文探讨了自动搜索算法和网络设计如何协同工作,以利用互补的方法来改进艺术的总体状态。通过这个过程,我们创建了两个新的MobileNet模型:MobileNetV3-Large和MobileNetV3-Small,适用于高资源低用量用例。然后对这些模型进行调整并应用于对象检测和语义分割的任务。对于语义分割(或任何密集像素预测)的任务,我们提出了一种新的高效分割解码器Lite Reduced Atrous Spatial Pyramid Pooling(LR-ASPP)。 Weachieve移动分类,检测和分割的最新技术成果。与MobileNetV2相比,MobileNetV3-Large在ImageNet分类上的准确度提高了3.2%,同时将延迟降低了15%.MobileNetV2-Small的准确度提高了4.6%,同时与MobileNetV2相比,延迟降低了5%。 MobileNetV3-大检测速度提高了25%,与COCO检测时的MobileNetV2大致相同。 MobileNetV3-Large LR-ASPP比MobileNetV2 R-ASPP快30%,与Cityscapes细分的准确度相似。
translated by 谷歌翻译
在连续学习设置中,按顺序遇到任务。目标是学习,同时i)避免灾难性遗忘,ii)有效利用模型能力,以及iii)采用前向和后向转移学习。在本文中,我们将探讨变分连续学习(VCL)框架如何在持续学习的两个基准上实现这些需求:分裂MNIST和置换MNIST。我们首先报告了已经成为竞争方法的显着改进结果。通过建立平均场变分贝叶斯神经网络的新的最佳实践方法来实现改进。然后我们详细研究解决方案。这使我们能够理解VCL为什么会这样做,并且我们将解决方案与“理想”的持续学习解决方案进行比较。
translated by 谷歌翻译
在本文中,我们提出了“IVO:逆速度障碍”,这是一种以自我为中心的框架,可以改善实时实施。该方法源于速度障碍的概念,可以应用于单一代理和多代理系统。它专注于计算无碰撞机动而无需对机器人的姿势和速度有任何知识或假设。这主要是通过重新构造速度障碍以适应以自我为中心的框架来实现的。这是朝着改进动态环境中的碰撞避免的实时实现迈出的重要一步,因为不依赖于状态估计技术来推断机器人姿态和速度。我们在不同情景中评估单剂和多剂的IVO,并显示其相对于现有配方的功效。我们还展示了所提方法的实时可扩展性。
translated by 谷歌翻译