贝叶斯优化(BO)是指用于对昂贵的黑盒函数进行全局优化的一套技术,它使用函数的内省贝叶斯模型来有效地找到最优值。虽然BO已经在许多应用中成功应用,但现代优化任务迎来了传统方法失败的新挑战。在这项工作中,我们展示了Dragonfly,这是一个开源Python库,用于可扩展和强大的BO.Dragonfly包含多个最近开发的方法,允许BO应用于具有挑战性的现实世界环境;这些包括更好的处理更高维域的方法,当昂贵函数的廉价近似可用时处理多保真评估的方法,优化结构化组合空间的方法,例如神经网络架构的空间,以及处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,以及优化具有不同变量类型和附加约束的过复杂域。我们将Dragonfly与一套用于全局优化的其他软件包和算法进行比较,并证明当上述方法集成时,它们可以显着改善BO的性能。 Dragonfly图书馆可在dragonfly.github.io上找到。
translated by 谷歌翻译
考虑一种情况,其中一群人按顺序到达 - 例如当他们失业时 - 到社会规划者。一旦每个人到达,规划人员需要立即决定行动或治疗任务 - 例如提供职业培训 - 同时考虑各种制度约束,如有限的预算和能力。在本文中,我们展示了如何使用离线观察数据来估计在这种动态上下文中最大化事前预期福利的最优政策规则。重要的是,我们能够在预先指定的策略规则类中找到最优策略。出于计算,法律或激励兼容性原因,可能会限制这些政策。对于每个政策,我们都假设偏微分方程(PDE)描述了该政策下价值函数的演化。使用这些数据,可以记下提供这些值函数估计值的PDE的样本版本。 Wethen提出了一种改进的强化学习算法来解决在预先指定的类中达到最佳值的策略规则。该算法易于实现且计算效率高,通过多个强化学习代理同时学习并行过程中的问题来实现快速增长。通过利用偏微分方程的特性,确定估计政策所达到的平均社会福利在$ n ^ { - 1/2} $率下达到指定类别政策职能范围内可达到的最大值;这与静态情况下获得的速率相同。最后,我们还允许使用工具变量进行不合规,并展示如何在动态设置中适应合规性异质性。
translated by 谷歌翻译
对于真实世界的语音识别应用,噪声稳健性仍然是一个挑战。在这项工作中,我们采用师生(T / S)学习技术,使用并行干净和嘈杂的语料库来改善多媒体噪声下的自动语音识别(ASR)性能。最重要的是,我们应用logits选择方法,该方法仅保留k个最高值,以防止教师错误地强调知识并减少传输数据所需的带宽。我们整合了长达8000小时的未转录数据,并且除了受过交叉熵训练的模型之外,还在序列训练模型上呈现我们的结果。与训练有序的教师相比,最佳序列训练的学生模型分别对我们的清洁,模拟噪声和真实测试集产生约10.1%,28.7%和19.6%的相关误差率(WER)减少。
translated by 谷歌翻译
已经有许多尝试通过各种认知模型来解释一般学习行为。已经提出了多个假设,以定性地论证运动技能获取任务及其变化的最佳拟合模型。在这种情况下,对于离散序列生产(DSP)任务,最有见地的模型之一是Verwey的双处理器模型(DPM)。它在很大程度上解释了熟练的离散按键序列的学习和行为现象,而没有提供任何具体的强化计算基础。因此,我们通过实验建立运动技能学习的通用计算框架,提出VerweyDPM假设的定量解释。我们尝试基于双处理器模型的实验模拟的最佳拟合模型来组合定性和定量理论。顺序决定技能学习的基本前提是基于交互模型(MB)和无模型(MF)强化学习(RL)过程。我们的统一框架表明,提出的想法与Verwey的DPM和Fitts的三个阶段学习方法非常吻合。我们的模型的准确性可以通过其与人类生成的关于简单环境任务的数据的统计拟合进一步验证,这些数据与网格世界相关。
translated by 谷歌翻译
fMRI semantic category understanding using linguistic encoding models attempt to learn a forward mapping that relates stimuli to the corresponding brain activation. Classical encoding models use linear multi-variate methods to predict the brain activation (all voxels) given the stimulus. However, these methods essentially assume multiple regions as one large uniform region or several independent regions, ignoring connections among them. In this paper, we present a mixture of experts-based model where a group of experts captures brain activity patterns related to particular regions of interest (ROI) and also show the discrimination across different experts. The model is trained word stimuli encoded as 25-dimensional feature vectors as input and the corresponding brain responses as output. Given a new word (25-dimensional feature vector), it predicts the entire brain activation as the linear combination of multiple experts' brain activations. We argue that each expert learns a certain region of brain activations corresponding to its category of words, which solves the problem of identifying the regions with a simple encoding model. We showcase that proposed mixture of experts-based model indeed learns region-based experts to predict the brain activations with high spatial accuracy.
translated by 谷歌翻译
视频中的短距离和长距离对象之间的空间和时间关系是识别动作的关键线索。联合建模是一个具有挑战性的问题。在本文中,我们首先提出了一种新的短期记忆变体,即关系型LSTM,以解决跨物体之间的空间和时间相关推理的挑战。在我们的RelationalLSTM模块中,我们利用与最近提出的非本地网络类似的非本地操作来替换在vanilla LSTM中的完全连接操作。通过这样做,我们的Relational LSTM能够以原则的方式捕获视频中对象之间的长距离和短距离时空关系。然后,我们提出了一个双分支神经结构,包括Relational LSTM模块作为非本地分支和基于空间 - 时间池的本地分支。引入本地分支用于捕获局部空间外观和/或短期运动特征。这两个分支模块连接在一起,从片段级别一端到另一端学习视频级功能。在UCF-101和HMDB-51数据集上的实验结果表明,我们的模型在基于LSTM的方法中实现了最先进的结果,同时获得了与其他最先进方法(不使用直接可比模式)相当的性能。我们的代码将会发布。
translated by 谷歌翻译
具有低错误接受和错误拒绝率的准确的设备上关键字定位(KWS)对于客户对对话代理的远场语音控制的体验至关重要。在现实世界条件下保持较低的错误拒绝率尤其具有挑战性,其中存在(a)环境噪声,例如电视,家用电器或其他未在设备上引导的语音(b)从设备不完全取消音频回放在由AcousticEcho Cancellation(AEC)系统处理后产生残余回声。在本文中,我们提出了一种数据增强策略,以在这些具有挑战性的条件下提高关键字定位性能。通过混合音乐和电视/电影音频,以不同的信号干扰比,人工破坏训练集音频。我们的结果表明,在这些设备的音频回放下,我们可以在误报率范围内相对减少30-45%的错误拒绝率。
translated by 谷歌翻译
统计语言模型(LM)在会话代理使用的自动语音识别(ASR)系统中起关键作用。这些ASR系统应该在各种说话风格,领域,词汇和argot下提供高精度。在本文中,我们提出了一种基于DNN的方法,通过预测最佳的,依赖于上下文的LM插值权重集,使LM适应基于广义上下文信息的每个用户 - 代理交互。我们表明,这种上下文自适应框架在不同的可能混合LM分区下提供准确性改进,这些分区与以下两者相关:(1)面向目标的会话代理,其中自然要求所请求的应用程序对数据进行分区,以及(2)非目标导向的会话代理可以使用来自主题分类器预测的主题标签对数据进行分区。在未适应的模型中,我们通过1遍解码策略获得3%的相对WER改善,并且在2遍解码框架中获得6%的相对WER改善。我们还在识别命名实体方面表现出高达15%的相对改进,这对于对话ASR系统具有重要价值。
translated by 谷歌翻译
在过去的十年中,主要医学领域的数据驱动分析急剧上升,如临床决策支持系统,生存分析,患者相似性分析,图像分析等。该领域的大多数数据都是结构良好的提供数字或分类格式,可直接用于实验。但是在光谱的另一端,存在大量的数据,由于其非结构化的性质,直接分析是难以处理的,可以以放电摘要,临床记录,人工叙事形式的程序性说明的形式找到,也没有任何数据。关系模型或任何标准语法结构。在这些研究中使用这些文本的一个重要步骤是使用信息检索数据挖掘技术来转换和处理数据,以从大量无关数据中检索结构信息。为了解决这个问题,作者在本文中提出了Q-Mapin,这是一个简单而强大的系统,可以筛选具有不受管制格式的大规模数据集,以便高效,有效地检索结构化信息。它得到了有效的挖掘技术的支持,该技术基于字符串匹配算法,该算法在策划知识源上编制索引,既快又可配置。作者还简要分析了它与MetaMap的比较性能,MetaMap是医学概念检索中最知名的工具之一,并展示了前者在后者上展示的优势。
translated by 谷歌翻译