贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此,对于深度神经网络中的超参数调整,即使是一些超参数设置评估验证错误所需的时间仍然是瓶颈。多保真优化有望减少对这些目标使用更便宜的代理 - 例如,使用训练点的子集训练网络的验证错误或者收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的多保真贝叶斯优化方法,重点是有效地优化迭代训练的监督学习模型的超参数。我们引入了一种新的采集功能,即跟踪感知知识梯度,它有效地利用了多个连续保真度控制和跟踪观察---保真序列中物镜的值,当使用训练迭代改变保真度时可用。我们提供了可用于优化我们的采集功能的可变方法,并展示了它为超神经网络和大规模内核学习的超参数调整提供了最先进的替代方案。
translated by 谷歌翻译
贝叶斯优化是一种优化目标函数的方法,需要花费很长时间(几分钟或几小时)来评估。它最适合于在小于20维的连续域上进行优化,并且在功能评估中容忍随机噪声。它构建了目标的替代品,并使用贝叶斯机器学习技术,高斯过程回归量化该替代品中的不确定性,然后使用从该代理定义的获取函数来决定在何处进行抽样。在本教程中,我们描述了贝叶斯优化的工作原理,包括高斯过程回归和三种常见的采集功能:预期改进,熵搜索和知识梯度。然后,我们讨论了更先进的技术,包括在并行,多保真和多信息源优化,昂贵的评估约束,随机环境条件,多任务贝叶斯优化以及包含衍生信息的情况下运行多功能评估。最后,我们讨论了贝叶斯优化软件和该领域未来的研究方向。在我们的教程材料中,我们提供了对噪声评估的预期改进的时间化,超出了无噪声设置,在更常用的情况下。这种概括通过正式的决策理论论证来证明,与先前的临时修改形成鲜明对比。
translated by 谷歌翻译
在本文中,我们研究了随机环境中主要广义特征向量计算和典型相关分析的问题。我们提出了一个简单而有效的算法Gen-Oja来解决这些问题。我们证明了算法的全局收敛性,借鉴了理论混合马尔可夫链和两时间尺度随机逼近的思想,表明它达到了最优收敛速度。在这个过程中,我们开发工具来理解马尔可夫噪声的随机过程,这可能是独立的兴趣。
translated by 谷歌翻译
我们提供产生美丽诗歌的代码。我们的十四行星生成算法包括几个新的元素,改进了最先进的,导致节奏和鼓舞人心的诗歌。所讨论的工作是计算机生成的诗歌2018年PoetiX文学图灵测试奖的获得者。
translated by 谷歌翻译
生产软件一年中发现了数千个安全漏洞,这些漏洞要么公开报告给常见漏洞和暴露数据库,要么在内部用专有代码发现。漏洞通常以微妙的方式表现出来,这对于编写评论者或开发人员本身并不明显。利用丰富的开源代码进行分析,有机会了解可能直接从数据导致安全漏洞的错误模式。在本文中,我们使用机器学习提出了adata驱动的漏洞检测方法,特别适用于C和C ++程序。我们首先编译一个由数十万个开源函数组成的大型数据集,这些函数用标准分析器的输出标记。然后,我们将直接应用于源代码的方法与应用于从构建过程中提取的工件的方法进行比较,发现基于源的模型执行得更好。我们还将深层网络模型的应用与随机森林等更传统的模型进行了比较,发现最佳性能来自深层模型与基于树的模型相结合的特征。最终,我们的最高性能模型在精确回忆曲线0.49和ROC曲线下面积为0.87的条件下实现了分析。
translated by 谷歌翻译
目前用于深度学习的算法可能不能在大脑中运行,因为它们依赖于权重传输,其中前向路径神经元以可能在生理学上不可能的方式将突触权重传递到反馈路径。一种称为反馈对齐的算法通过使用随机反馈权重实现了无需权重传输的深度学习,但它可以在硬视觉识别任务上执行。在这里,我们描述了一个神经环绕的重量镜,它使反馈路径即使在大型网络中也可以快速准确地学习适当的突触重量,无需重量传输或复杂布线,并具有Hebbian学习规则。在ImageNetvisual识别任务上进行测试,具有权重镜像的网络优于普通反馈对齐和较新的符号对称方法,并且几乎匹配使用权重传输的误差反向传播算法。
translated by 谷歌翻译
机器学习可以通过学习模型预测个人治疗效果(ITE)来帮助个性化决策支持。这项工作研究了基于预测的决策制定的可靠性,以决定在观察其协变量$ \ tilde {x} $和预测结果$ \ hat {p}(\ tilde {y } \ mid \ tilde {x},a)$。一个例子是个体化医学以及给予患者哪种治疗的决定。从观察数据中学习这些模型时的一个常见问题是平衡,即治疗/控制协变量分布的差异,已知增加上限。预计ITE估计误差。我们建议通过估计网站模型的S型错误率来评估决策可靠性,该错误率是模型推断治疗效果符号错误的概率。此外,我们使用估计可靠性作为主动学习的标准,以便收集新的(可能是昂贵的)观察结果,而不是基于不可靠的预测做出强制选择。我们在两个决策任务中证明了这种决策意识主动学习的有效性:二元结果的模拟数据和具有合成和连续治疗结果的医学数据集。
translated by 谷歌翻译
活动识别是一个具有挑战性的问题,有许多实际应用。除了视觉特征之外,最近的方法还受益于上下文的使用,例如,活动和对象之间的相互关系。然而,这些方法需要标记数据,事先完全可用,并且不能设计为连续更新,这使得它们不适合于监视应用。相比之下,我们提出了一种基于无标签视频的情境感知活动识别的连续学习框架,与现有方法相比具有两个明显的优势。首先,它采用了一种新颖的主动学习技术,不仅利用了个体活动的信息性,而且利用了它们。查询选择过程中的上下文信息;这导致显着减少廉价的手动注释工作。其次,随着更多数据的可用,学习模型可以在线调整。我们制定了一个对上下文进行编码的条件随机场模型,并设计了一种信息理论方法,利用节点的熵和互信息来计算由人类标记的大多数信息查询集合。这些标签与图形推理技术相结合,用于增量更新。我们通过分析解决方案提供主动学习框架的理论公式。六个具有挑战性的数据集的实验表明,我们的框架可以实现卓越的性能,同时显着减少手动标记。
translated by 谷歌翻译
本文提出了一个新的任务,即视频中时空识别描述的基础。以前的工作表明现有数据集中存在潜在偏差,并强调需要新的数据创建模式以获得更好的模型结构。我们引入了一种基于表面实现的语法约束的新数据采集方案,使我们能够研究视频中基础时空识别描述的问题。 Wethen提出了一个双流模块化注意网络,该网络基于外观和运动来学习和发现时空识别描述。通过模块化神经网络解决模块之间的任务干扰,可以看出运动模块有助于解决与运动相关的单词,并且还有助于在外观模块中使用。最后,我们提出了一个未来的挑战,并且需要一个强大的系统,这个系统来自用自动视频对象检测器和时间事件定位替换地面真实视觉注释。
translated by 谷歌翻译
监视,建造,搜索和救援等复杂任务可以有利于多旋翼微型飞行器(MAV)的机动性,以获得稳健的协作系统行为和编队控制是这些复杂任务的重要组成部分。这项工作集中在通过使用相关的感觉信息来控制多旋翼MAV的三维形成问题。它提出了一种领导者 - 跟随者方案中的集中式非线性模型预测控制(NMPC)方法。在控制律中引入了多转子MAV的现实六自由度数学模型。该问题的表述基于NMPC和相对于机器人的局部坐标系的相对感测框架来执行。这种类型的配方使得形成独立于全局或共同参考框架的全部知识以及昂贵的全局定位传感器的利用。通过考虑新颖的方法,提出了基于实时迭代(RTI)的最优控制问题(OCP)解决方案。广泛的场景旨在测试和验证策略。对结果的评估表明,在局部传感器的模型不确定性和噪声下,甚至在地层的动力学突然改变的情况下,实现并保持了令人满意的鲁棒性能。
translated by 谷歌翻译