在参数空间中探索的黑盒优化器经常被证明可以表现出更加复杂的动作空间探索方法,这些方法专门针对强化学习问题而开发。我们仔细研究这些黑盒方法,以确定它们比动作空间探索方法和它们优越的方法更糟糕的情况。通过简单的理论分析,证明了参数空间探索的复杂性取决于参数空间的维数,而动作空间探索的复杂性则取决于动作空间的维数和地平线长度。通过比较几个模型问题的简单探索方法,包括连续控制中的语境强盗,线性回归和强化学习,也可以凭经验证明这一点。
translated by 谷歌翻译
在人群中导航的机器人需要能够计划安全,有效和人类可预测的轨迹。这是一个特别具有挑战性的问题,因为它需要机器人预测人群中的未来人类预测,其中每个人都隐含地相互协作以避免碰撞。人类轨迹预测的先前方法已经模拟了人类之间的相互作用作为接近度的函数。然而,这并不一定是正确的,因为我们附近的一些人在同一方向上移动可能不像其他人那么重要,但可能在未来与我们发生冲突。在这项工作中,我们提出了社交注意,这是一种新颖的轨迹预测模型,可以捕捉每个人在人群中导航时的相对重要性,而不管他们的接近程度如何。我们在两个可公开获得的人群数据集上展示了我们的方法对最先进方法的表现,并分析了经过培训的注意力模型,以便更好地了解人群在人群中航行时所处理的周围环境。
translated by 谷歌翻译
无监督学习是关于捕捉变量之间的依赖关系,并且由这些变量的可能与不可能的配置之间的对比驱动,通常是通过仅对可能性进行采样的生成模型或对于可能的低的能量函数(非标准化的对数密度)和不可思议的高。在这里,我们考虑学习能量函数和有效的近似抽样机制。尽管生成对抗网络(GAN)中的识别者学会分离数据和生成器样本,但在生成器上引入熵最大化正则化可以将批评者的解释转化为能量函数,将训练分布与其他所有内容分开,从而可以用于任务像异常或新奇的检测。然后,我们展示了如何在发生器潜在空间中完成MarkovChain Monte Carlo,其样本可以映射到数据空间,从而产生更好的样本。这些样本用于估计数据空间能量函数的对数似然梯度所需的负相位梯度。为了最大化发电机输出端的熵,我们利用最近引入的相互信息的神经估计器。我们发现除了为异常检测产生有用的评分函数之外,所得到的方法产生清晰的样本,同时很好地覆盖模式,导致高的Inception和Frechet分数。
translated by 谷歌翻译
对于真实世界的语音识别应用,噪声稳健性仍然是一个挑战。在这项工作中,我们采用师生(T / S)学习技术,使用并行干净和嘈杂的语料库来改善多媒体噪声下的自动语音识别(ASR)性能。最重要的是,我们应用logits选择方法,该方法仅保留k个最高值,以防止教师错误地强调知识并减少传输数据所需的带宽。我们整合了长达8000小时的未转录数据,并且除了受过交叉熵训练的模型之外,还在序列训练模型上呈现我们的结果。与训练有序的教师相比,最佳序列训练的学生模型分别对我们的清洁,模拟噪声和真实测试集产生约10.1%,28.7%和19.6%的相关误差率(WER)减少。
translated by 谷歌翻译
尽管对生成对抗性网络(GAN)越来越感兴趣,但从理论和实际角度来看,训练GAN仍然是一个具有挑战性的问题。为了应对这一挑战,在本文中,我们提出了一种利用真实数据的独特几何结构的新方法,尤其是流形信息。更具体地说,我们设计了一种通过添加称为流量调节器的附加正则化项来规范GANtraining的方法。流形正则化器迫使发生器尊重实际数据流形的独特几何结构并生成高质量数据。此外,我们在理论上证明在任何一类GAN(包括DCGAN和Wasserstein GAN)中添加该正则化项导致在泛化方面的性能提高,存在均衡和稳定性。初步实验表明,所提出的流量规划有助于避免模式崩溃并导致稳定的训练。
translated by 谷歌翻译
解决逆问题仍然是计算机视觉中的核心挑战。现有技术要么使用有关损坏的先验知识明确地构建逆映射,要么使用大量示例直接学习逆。然而,在实践中,腐败的性质可能是未知的,因此规范推理合理解决方案的问题具有挑战性。另一方面,收集任务特定的训练数据对于已知的损坏是繁琐的,对于未知的腐败是不可能的。我们提出了MimicGAN,一种无监督的技术,以生成对抗网络(GAN)的形式解决基于图像先验的一般反转问题。使用GAN之前,我们证明人们可以通过代理网络可靠地恢复解决方案确定的反问题,该代理网络在测试时学会了腐败。我们的系统在不需要监督培训的情况下连续估计出腐败和清洁图像,同时在盲图恢复方面表现优于现有基线。我们还证明了MimicGAN改进了最近基于GAN的对抗adversarialattacks的防御,并且代表了当今最强大的测试时间防御之一。
translated by 谷歌翻译
最近邻算法是一种懒惰学习算法,其中算法试图通过训练数据集中的相似向量来近似预测。 K-NearestNeighbors算法所做的预测是基于对空间邻居的目标值进行平均。 Hermitian空间中邻居的选择过程是在距离度量的帮助下完成的,例如欧氏距离,Minkowskidistance,Mahalanobis距离等。大多数度量,例如欧几里德距离是尺度变量,这意味着结果可能因使用的不同范围值而变化对于功能。用于缩放因子的正规化的标准技术是特征缩放方法,例如Z分数归一化技术,Min-Max缩放等。缩放方法对所有特征均匀地赋予权重,这可能导致非理想情况。本文提出了一种新颖的方法。借助于从构造多个决策树模型获得的袋外错误来为单个特征分配权重的方法。
translated by 谷歌翻译
我们提出了一种新的无监督域适应(DA)方法用于跨域视觉识别。虽然子空间方法在DA中取得了成功,但由于假设使用单个低维子空间逼近整个数据集,因此它们的性能通常是有限的。相反,我们开发了一种方法,通过收集低维子空间来有效地表示源数据集和目标数据集,然后通过在Grassmannmanifold上开发子空间空间的自然几何来对齐它们。我们使用两个广泛使用的基准测试的经验研究证明了这种方法的有效性,具有最先进的领域适应性能
translated by 谷歌翻译
无监督维度选择是寻求降低数据维度的重要问题,同时保留最有用的特征。降维度通常用于构建低维度嵌入,它们产生难以解释的特征空间。此外,在诸如传感器设计之类的应用中,需要直接在输入域中执行缩减,而不是构造变换空间。因此,维度选择(DS)旨在解决识别最高$ k $维度的组合问题,这是有效实验设计所需的,在保持可解释性的同时减少数据,以及设计更好的感知机制。在本文中,我们基于图形信号分析开发了一种新的DS方法来测量特征影响。通过分析具有蓝色噪声谱的合成图形信号,我们表明我们可以测量每个维度的重要性。通过在监督学习和图像掩蔽中的实验,我们证明了所提出的方法优于现有技术在捕获高维空间的关键特征方面的优越性,仅使用原始特征的一小部分。
translated by 谷歌翻译
理解复杂机器学习模型功能的技术正变得越来越流行,不仅要改进验证过程,还要通过探索性分析提取有关数据的新见解。虽然目前存在大量此类工具,但大多数人认为预测是点估计并使用这些估计的敏感性分析来解释模型。使用轻量概率网络可以了解如何在灵敏度分析中包含预测不确定性:(i)更强大和可推广的模型; (ii)通过不确定性分解进行模型解释的新方法。特别是,我们引入了一种新的正则化,它将预测的均值和方差都考虑在内,并证明了所得到的网络为不可见的数据提供了改进的广义化。此外,我们提出了一种新技术,通过输入域中的不确定性来解释预测不确定性,从而提供验证和解释深度学习模型的新方法。
translated by 谷歌翻译