贝叶斯优化是一种优化目标函数的方法,需要花费很长时间(几分钟或几小时)来评估。它最适合于在小于20维的连续域上进行优化,并且在功能评估中容忍随机噪声。它构建了目标的替代品,并使用贝叶斯机器学习技术,高斯过程回归量化该替代品中的不确定性,然后使用从该代理定义的获取函数来决定在何处进行抽样。在本教程中,我们描述了贝叶斯优化的工作原理,包括高斯过程回归和三种常见的采集功能:预期改进,熵搜索和知识梯度。然后,我们讨论了更先进的技术,包括在并行,多保真和多信息源优化,昂贵的评估约束,随机环境条件,多任务贝叶斯优化以及包含衍生信息的情况下运行多功能评估。最后,我们讨论了贝叶斯优化软件和该领域未来的研究方向。在我们的教程材料中,我们提供了对噪声评估的预期改进的时间化,超出了无噪声设置,在更常用的情况下。这种概括通过正式的决策理论论证来证明,与先前的临时修改形成鲜明对比。
translated by 谷歌翻译
在本文中,我们研究了随机环境中主要广义特征向量计算和典型相关分析的问题。我们提出了一个简单而有效的算法Gen-Oja来解决这些问题。我们证明了算法的全局收敛性,借鉴了理论混合马尔可夫链和两时间尺度随机逼近的思想,表明它达到了最优收敛速度。在这个过程中,我们开发工具来理解马尔可夫噪声的随机过程,这可能是独立的兴趣。
translated by 谷歌翻译
我们提供产生美丽诗歌的代码。我们的十四行星生成算法包括几个新的元素,改进了最先进的,导致节奏和鼓舞人心的诗歌。所讨论的工作是计算机生成的诗歌2018年PoetiX文学图灵测试奖的获得者。
translated by 谷歌翻译
生产软件一年中发现了数千个安全漏洞,这些漏洞要么公开报告给常见漏洞和暴露数据库,要么在内部用专有代码发现。漏洞通常以微妙的方式表现出来,这对于编写评论者或开发人员本身并不明显。利用丰富的开源代码进行分析,有机会了解可能直接从数据导致安全漏洞的错误模式。在本文中,我们使用机器学习提出了adata驱动的漏洞检测方法,特别适用于C和C ++程序。我们首先编译一个由数十万个开源函数组成的大型数据集,这些函数用标准分析器的输出标记。然后,我们将直接应用于源代码的方法与应用于从构建过程中提取的工件的方法进行比较,发现基于源的模型执行得更好。我们还将深层网络模型的应用与随机森林等更传统的模型进行了比较,发现最佳性能来自深层模型与基于树的模型相结合的特征。最终,我们的最高性能模型在精确回忆曲线0.49和ROC曲线下面积为0.87的条件下实现了分析。
translated by 谷歌翻译
使用无干3D超声(US)进行心导管检查的快速准确的导管检测可以提高干预的效率和结果。然而,美国的低图像质量需要额外的训练forsonographers定位导管。在本文中,我们提出了一种基于预先训练的VGG网络的导管检测方法,该方法通过重新组织的横截面利用3D信息通过共同完全卷积网络(FCN)对导管进行分割,FCN称为方向融合FCN( DF-FCN)。基于DF-FCN的分割图像,可以通过模型拟合来定位导管。我们的实验表明,所提出的方法可以成功地在具有挑战性的离体3D USdataset中检测消融导管,该数据在猪心脏上收集。大量分析表明,与最先进的仪器检测方法相比,所提方法的Dice得分为57.7%,至少提高了11.8%。由于DF-FCN的分割性能得到改善,导管可以定位,误差仅为1.4 mm。
translated by 谷歌翻译
我们在[1,\ infty] $中提供$ \ alpha $ -loss,$ \ alpha \,这是一个二进制分类的可调丢失函数,它可以弥补日志损失($ \ alpha = 1 $)和$ 0 $ - $ 1 $损失($ \ alpha = \ infty $)。我们证明$ \ alpha $ -loss具有等效的基于保证金的形式,并且是分类校准的,对于理想但难以处理的$ 0 $ - $ 1 $损失的商品损失函数的两个理想属性。基于Forlogistic回归的分类,我们通过利用其Lipschitzianity以及经验风险函数的景观特征的近期结果,提供了$ \ alpha $ -loss的经验风险和预期风险之间的差异的上界。最后,我们证明$ \ alpha $ -loss与$ \ alpha = 2 $相比,对于逻辑回归,MNIST上的log-loss表现更好。
translated by 谷歌翻译
任务机器学习预测时间序列的片段需要使用来自时间序列的输入/输出对来估计ML模型的参数。使用统计数据同化和监督机器学习之间的等价,我们重新审视了这个任务。机器的训练方法利用精确退火方法来识别动作的全局最小值(-log [P])。通过这种方式,我们能够确定在时间序列中产生良好概括(预测)所需的训练对的数量。我们从标量时间序列$ s(t_n)开始; t_n = t_0 + n \ Delta t $并使用非线性时间序列分析的方法显示如何产生$ D_E> 1 $维度时间延迟嵌入空间,其中时间序列没有假邻居,观察到的$ s(t_n)$时间也是如此系列。在$ D_E $ -dimensional空间中,我们探索使用前馈多层感知器作为在$ D_E $ -dimensional输入和生成$ D_E $ -dimensional输出上运行的网络模型。
translated by 谷歌翻译
自动驾驶所需的大量传感器对汽车总线系统的容量提出了巨大的挑战。需要理解比特率和感知性能之间的权衡。在本文中,我们将图像压缩标准JPEG,JPEG2000和WebP与基于生成对抗网络(GAN)的modernencoder / decoder图像压缩方法进行比较。我们使用诸如峰值信噪比(PSNR),结构相似性(SSIM)等的典型度量来评估纯压缩性能,还评估后续感知函数的性能,即语义分段(以对联合的平均交叉特征为特征) mIoU)措施)。毫不奇怪,对于所有调查的压缩方法,更高的比特率意味着在所有被调查的质量度量中更好的结果。然而,有趣的是,我们表明GAN自动编码器在高度相关的低比特率区域(at0.0625位/像素)的语义分段moU比JPEG2000更好3.9%的绝对值,尽管就PSNR来说,latterstill要好得多( 5.91 dB差异)。通过利用来自解码器的图像训练语义分割模型可以极大地扩大该效果,使得使用由GAN重建训练的分割模型的mIoU超过使用原始图像训练的模型几乎20%的绝对值。我们得出结论,未来自动驾驶中的分布式感知很可能不会通过使用JPEG2000等标准压缩方案来解决汽车总线容量瓶颈,但需要现代编码方法,GAN编码器/解码器方法是一种很有前景的候选方案。
translated by 谷歌翻译
我们研究了在语言数据集的解释中解释训练的分类模型的问题。利用解析树,我们建议通过利用句法选区结构将一个基于最小二乘的重要性分数分配给一个实例的每个单词。我们通过将它们与联盟游戏理论中的Banzhaf值联系起来,建立了这些重要性得分的公理化表征。基于这些重要性分数,我们开发了一种原则性方法,用于检测和量化句子中单词之间的相互作用。我们证明了所提出的方法可以帮助解释几个广泛使用的语言模型的诊断和诊断。
translated by 谷歌翻译
在本文中,我们推导出具有子高斯范数的随机向量的浓度不等式(子高斯随机向量和非标准随机向量的推广),这些随机向量紧靠对数因子。
translated by 谷歌翻译