我们提出了一种自适应方法来构建贝叶斯推理的高斯过程,并使用昂贵的评估正演模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们通过最大化高斯过程模型与噪声观测数据拟合的预期改进来自适应地构建训练设计。对合成数据模型问题的数值实验证明了所获得的自适应设计与固定非自适应设计相比,在前向模型推断成本的精确后验估计方面的有效性。
translated by 谷歌翻译
技术发明比以往任何时候都更加成为我们社会进步的象征。专利保证他们的创作者免受侵权。对于可获得专利的发明,必须评估其新颖性和创造性。因此,需要寻找描述类似发明以获得专利申请的已发表作品。目前,这种所谓的现有技术研究是用半自动组合的关键字查询来执行的,这不仅耗时,而且容易出错。特别是,由于跨学科可能存在相同技术概念的不同关键词,因此可能会系统地产生错误。在本文中,提出了一种新的方法,其中将给定专利申请的全文与使用机器学习和自然语言处理技术的现有专利进行比较,以自动检测与提交的文件中描述的发明类似的发明。评估了用于特征提取和文档比较的各种最先进的方法。除此之外,基于领域专家的评级来评估当前搜索过程的质量。评估结果表明,除了加速搜索过程之外,我们的自动化方法还改进了现有技术在质量方面的搜索结果。
translated by 谷歌翻译
我们提出了一种神经网络压缩的通用框架,该框架由最小描述长度(MDL)原理驱动。为此,我们首先为神经网络的熵提供表达式,该表达式根据其位大小明确地测量其复杂性。然后,我们将神经网络压缩问题形式化为熵约束优化目标。该目标推广了文献中提出的许多压缩技术,因为修剪或减少网络权重元素的基数可以看出熵的特殊情况 - 最小化技术。此外,我们推导出目标的连续松弛,允许使用基于梯度的优化技术来最小化它。最后,weshow我们可以在不同的网络架构和数据集上达到最先进的压缩结果,例如:在类似vGG的架构上实现x71压缩增益。
translated by 谷歌翻译
前景和沉积盆地演化模型的复杂且计算上昂贵的特征对于有效推理和优化方法的开发提出了重大挑战。贝叶斯推断提供了用于自由模型参数的估计和不确定性量化的方法。在我们之前的工作中,并行回火贝叶斯兰德被开发为景观和盆地演化模拟软件巴兰兹的参数估计和不确定性量化的框架。并行回火Bayeslands具有高性能计算功能,可并行运行数十个处理内核,以提高计算效率。尽管使用了并行计算,但由于需要绘制数千个样本并进行评估,因此该过程仍具有计算挑战性。在大规模景观和盆地演化问题中,单个模型评估可能需要几分钟到几小时,在某些情况下甚至几天。代理辅助优化已成功应用于许多工程问题。这促使其在优化和参考方法中的应用适用于地质学和地球物理学中的复杂模型。通过开发计算上廉价的代理来模拟昂贵的模型,可以加速并行回火贝叶斯兰德。在本文中,我们提出了代理辅助平行回火的应用,其中代理模仿包括侵蚀,沉积物运输和沉积在内的景观演化模型,通过估计模型给出的似然函数。我们使用机器学习模型作为代理,从并行调温算法生成的样本中学习。结果表明,该方法在保持解决方案质量的同时显着降低整体计算成本。
translated by 谷歌翻译
深度学习已被证明可以学习有效的表示,如图像,文本或音频等结构化数据。在本章中,我们提出了能够学习分子和材料的有效表示的神经网络架构。特别是,连续滤波器卷积网络SchNet准确地预测了各种数据集上的组成和配置空间的化学特性。除此之外,我们分析获得的表示,以找到其空间和化学性质与化学直觉一致的证据。
translated by 谷歌翻译
阻碍更广泛采用深度神经网络(DNN)的一个主要因素是它们的鲁棒性问题,这对于诸如自动驾驶的安全性批评应用是必不可少的。这推动了最近关于DNN的对抗性攻击的最新研究,其主要集中在没有语义意义的像素级扰动上。相比之下,我们提出了一种针对代理的一般框架,即对代理执行的任务的这些语义密切相关。为此,我们提议的对手(表示为BBGAN)经过训练,以适当地参数化与代理交互的环境(黑匣子),使得该代理在其专用任务上表现不佳。我们将说明我们的BBGAN框架在三个不同任务(主要针对自主导航方面)上的应用:对象检测,自动驾驶和自主UAVracing。在这些任务中,我们的方法可用于生成一致地欺骗代理的故障情况。
translated by 谷歌翻译
现代机器学习方法的性能很大程度上取决于它们的超参数配置。选择配置的一种简单方法是使用默认设置,通常与新算法的发布和实现一起提出。这些默认值通常以临时方式选择,以便在各种数据集上运行良好。为了解决这个问题,已经提出了不同的自动超参数配置算法,其为每个数据集选择最佳配置。这种原则性方法通常可以提高性能,但会增加算法的复杂性和计算成本。作为对此的替代,我们建议从先前经验结果的大型数据库中学习一组互补的默认值。在新数据集上选择适当的配置,然后只需要在该集合上进行简单,有效的,并行的并行搜索。我们证明了我们提出的方法与随机搜索和贝叶斯优化相比的有效性和有效性。
translated by 谷歌翻译
将图形表示为矢量是一项具有挑战性的任务;理想情况下,表示应易于计算并有助于图表之间的有效比较,适合特定数据和分析任务。不幸的是,“一刀切”的解决方案是无法实现的,因为不同的分析任务可能需要对全局或局部图特征进行不同的关注。我们以自我监督的方式开发SGR,这是我们的知识,方法,用于学习图表表示。基于光谱图分析,SGR无缝地结合了上述所有理想的特性。在广泛的实验中,我们展示了我们的方法如何在大图集合上工作,促进跨越各种应用领域的自我监督表示学习,并且在没有重新训练的情况下与最先进的方法竞争性地进行。
translated by 谷歌翻译
癫痫是最常见的神经系统疾病,准确的癫痫预测有助于克服患者的不确定性和无助感。在这一贡献中,我们提出并讨论了一种新的颅内脑电图(iEEG)分类用于癫痫发作预测的方法。与以前的方法相反,我们明确地避免手工制作的特征的提取,并使用卷积神经网络(CNN)拓扑来代替确定合适的信号特征以及发作前和假设间的二元分类。已经对公共数据集评估了三种不同的模型,其中包括来自四只狗和三名患者的长期记录。总的来说,我们的研究结果证明了普遍的适用性。在这项工作中,我们讨论了我们的方法的优势和局限性。
translated by 谷歌翻译
二元对话中的人类非语言情感交流是一种相互影响和适应的过程。由于两个主要障碍,识别影响的方向或参与者之间的因果关系是一项具有挑战性的任务。首先,可能无法清楚地看到明显的情绪。其次,参与者的因果关系是短暂的,随着时间的推移而变化。在本文中,我们通过使用即使在看不到强烈的明显面部情绪时也可以存在的面部表情来解决这些困难。我们还建议在因果关系之前应用相关的区间选择方法来识别适应过程发生的那些瞬时区间。为了确定影响的方向,我们将Grangercausality的概念应用于相关间隔集上的面部表情的时间序列。我们测试了我们对合成数据的方法,然后将其应用于实验性地获得的数据。在这里,我们能够表明,更敏感的面部表情检测算法和相关的区间检测方法最有希望揭示在各种指示的交互条件下的质量通信的因果模式。
translated by 谷歌翻译