贝叶斯优化(BO)是黑盒优化的有效工具,其中目标函数评估通常非常昂贵。在实践中,目标函数的低保真度近似值通常是可用的。最近,多保真贝叶斯优化(MFBO)引起了人们的关注,因为它可以通过使用那些更便宜的观测来显着加速优化过程。我们提出了一种新的MFBO信息理论方法。基于信息的方法在BO中很受欢迎,但是基于信息的MFBO的现有研究受到难以准确估计信息增益的困扰。 Ourapproach基于一种基于信息的BO变体,称为最大值熵搜索(MES),它极大地便于评估MFBO中的信息增益。实际上,我们的采集函数的计算是在分析上编写的,除了一维积分和采样之外,可以有效和准确地计算。我们通过使用合成和基准数据集证明了我们方法的有效性,并进一步展示了材料科学数据的实际应用。
translated by 谷歌翻译
我们提出了一种新颖的基于CNN的图像编辑方法,该方法允许用户在用户指定的区域上改变图像的语义信息。通过将流形投影的概念与空间条件批量归一化(sCBN)相结合,我们的方法使这成为可能,这是一种带有用户可指定空间权重图的条件化球形正规化。通过sCBN和流形投影,我们的方法允许用户执行(1)空间类转换,其在用户选择的任意区域上改变对象的类,以及(2)语义移植,其将包含在参考图像的任意区域中的语义信息移植到目标图像中的任意区域。这两个转换可以同时使用,并且可以实现复杂的复合图像编辑任务,例如“将小猎犬的鼻子改成斗牛犬的鼻子,然后张开嘴巴”。用户还可以使用我们的方法进行直观的复制粘贴式操作。我们在各种图像上展示了我们的方法的力量。代码将在http://github.com/pfnet-research/neural-collage上提供。
translated by 谷歌翻译
当前的端到端深度学习驾驶模型存在两个问题:(1)当训练驾驶数据集的多样性受限时,未观察到的驾驶环境的普遍化能力差(2)当驾驶模型不能按预期工作时,缺乏事故解释能力。为了解决这两个问题,我们提出了一个新的驱动模型,它由相关简单任务的知识作为有益于任务的难点,我们提出了一个新的驱动模型,它由\ textit {see and think}的感知模块和\ textit {behave}的驱动模块组成。并逐步培养它与多任务感知相关的basicknowledge和驾驶知识。具体的分割图和深度图(图像的像素级理解)被认为是\ textit {what \&where}和\ textit {多远}知识,用于在生成难以驾驶任务的最终控制命令之前解决更容易驾驶相关的感知问题。实验结果证明了多任务感知知识对于更好的泛化和事故解释能力的有效性。通过我们的方法,在CoRL测试的未经训练的城市中完成最困难的导航任务的平均成功率超过了目前的基准测试方法,在受过训练的天气中为15%,在未经训练的天气中为20%。演示视频链接是:https://www.youtube.com/watch?v = N7ePnnZZwdE
translated by 谷歌翻译
我们提出了一种概率模型,用于通过利用辅助空间数据集来细化粗粒度空间数据。现有方法要求辅助数据集的空间粒度与目标数据的期望粒度相同。所提出的模型可以通过分层结合高斯过程有效地利用具有各种粒度的辅助数据集。利用所提出的模型,使用高斯过程对连续空间上的每个辅助数据集的分布进行建模,其中不确定性的表示考虑了粒度级别。细粒度目标数据由另一个高斯过程建模,该过程考虑空间相关性和辅助数据集的不确定性。我们将高斯过程与空间聚合过程相结合,该过程将细粒度目标数据转换为粗粒度目标数据,由此我们可以从粗粒度数据推断出细粒度目标高斯过程。我们的模型被设计成使得基于精确边际似然的模型参数的推断是可能的,其中细粒度目标和辅助数据的变量被分析地整合出来。我们对真实世界空间数据集的实验证明了所提模型的有效性。
translated by 谷歌翻译
生成对抗性网络研究的挑战之一是其训练的不稳定性。在本文中,我们提出了一种称为谱归一化的新型权重归一化技术,以稳定鉴别器的训练。我们的新规范化技术在计算上轻巧,易于整合到现有实现中。我们测试了光谱归一化对CIFAR10,STL-10和ILSVRC2012数据集的功效,并且我们实验证实,光谱归一化的GAN(SN-GAN)能够产生相对于先前稳定化技术更好或相同质量的图像。
translated by 谷歌翻译
我们提出了一种新颖的,基于投影的方法,将条件信息纳入GAN的鉴别器,尊重有条件信息在下划线概率模型中的作用。这种方法与今天应用中使用的条件GAN的大多数框架形成对比,后者通过将(嵌入的)条件向量连接到特征向量来使用条件信息。通过这种修改,我们能够从当前最先进的结果中显着提高ILSVRC2012(ImageNet)1000级图像数据集的类条件图像生成质量,我们用一对adiscriminator和一个生成器实现了这一目标。 。我们还能够扩展应用程序的分辨率,并成功生成高度辨别力的超分辨率图像。这种新结构还支持基于生成器中条件批量标准化层的参数化功能转换的高质量类别转换。
translated by 谷歌翻译
我们提出了一种基于虚拟对抗性损失的新正则化方法:给出输入的条件标签分布的局部平滑度的新度量。虚拟对抗性损失被定义为围绕每个输入数据点的条件标签分布对局部扰动的鲁棒性。与对抗训练不同,我们的方法定义了没有标签信息的对抗方向,因此适用于半监督学习。因为我们平滑的方向该模型只是“虚拟”对抗,我们称我们的方法为虚拟对抗训练(VAT)。增值税的计算成本相对较低。对于神经网络,可以计算虚拟对抗性损失的近似梯度,而不超过两对前向和后向传播。在我们的实验中,我们将VAT应用于多基准数据集上的监督和半监督学习任务。通过基于熵最小化原理的算法的简单增强,我们的增值税在SVHN和CIFAR-10上实现了半监督学习任务的最先进性能。
translated by 谷歌翻译
We propose local distributional smoothness (LDS), a new notion of smoothnessfor statistical model that can be used as a regularization term to promote thesmoothness of the model distribution. We named the LDS based regularization asvirtual adversarial training (VAT). The LDS of a model at an input datapoint isdefined as the KL-divergence based robustness of the model distribution againstlocal perturbation around the datapoint. VAT resembles adversarial training,but distinguishes itself in that it determines the adversarial direction fromthe model distribution alone without using the label information, making itapplicable to semi-supervised learning. The computational cost for VAT isrelatively low. For neural network, the approximated gradient of the LDS can becomputed with no more than three pairs of forward and back propagations. Whenwe applied our technique to supervised and semi-supervised learning for theMNIST dataset, it outperformed all the training methods other than the currentstate of the art method, which is based on a highly advanced generative model.We also applied our method to SVHN and NORB, and confirmed our method'ssuperior performance over the current state of the art semi-supervised methodapplied to these datasets.
translated by 谷歌翻译