随着自然语言处理领域的最新发展,在使用不同架构的神经机翻译中的使用情况上升了。变压器架构用于实现最先进的准确性,但它们是训练的非常昂贵的昂贵。每个人都不能拥有由高端GPU和其他资源组成的等待。我们在低计算资源上培训我们的模型,并调查结果。正如预期的那样,变形金刚表现出其他架构,但结果有一些令人惊讶的结果。由更多编码器和解码器组成的变形金刚需要花更多的时间来训练,但有更少的BLEU分数。LSTM在实验中表现良好,比较少花时间训练而不是变压器,适合在具有时间限制的情况下使用。
translated by 谷歌翻译
机器学习(ML)加速化学发现的两个突出挑战是候选分子或材料的合成性以及ML模型训练中使用的数据的保真度。为了应对第一个挑战,我们构建了一个假设的设计空间,为3250万转型金属复合物(TMC),其中所有组成片段(即金属和配体)和配体对称性都可以合成。为了应对第二项挑战,我们在雅各布梯子的多个梯级之间的23个密度功能近似之间搜索预测的共识。为了加快这3250万TMC的筛选,我们使用有效的全局优化来样本候选低自旋发色团,同时具有低吸收能和低静态相关性。尽管在这个大化的化学空间中的潜在发色团缺乏(即$ <$ 0.01 \%),但随着ML模型在积极学习过程中的改善,我们确定了高可能性(即$> $ 10 \%)的过渡金属发色团(即$> $ 10 \%)。这代表发现的1,000倍加速度,与几天而不是几年中的发现相对应。对候选发色团的分析揭示了对CO(III)和具有更大键饱和度的大型强野配体的偏爱。我们根据时间依赖性密度功能理论计算计算帕累托前沿上有希望的发色团的吸收光谱,并验证其中三分之二是否需要激发态特性。尽管这些复合物从未经过实验探索,但它们的组成配体在文献中表现出有趣的光学特性,体现了我们构建现实的TMC设计空间和主动学习方法的有效性。
translated by 谷歌翻译
图像语义分割的最新方法涉及计算密集的神经网络体系结构。这些方法中的大多数由于内存和其他计算问题而无法适应高分辨率图像分割。文献中的典型方法涉及神经网络体系结构的设计,这些神经网络体系结构可以从低分辨率图像和高分辨率对应物中的本地信息中融合全球信息。但是,设计用于处理高分辨率图像的体系结构是不必要的复杂的,并且涉及许多可能难以调整的超级参数。同样,这些架构中的大多数都需要对高分辨率图像进行训练的地面真理注释,这很难获得。在本文中,我们基于数学形态(MM)操作员开发了强大的管道,该管道可以无缝地将任何现有的语义分割算法扩展到高分辨率图像。我们的方法不需要高分辨率图像的地面真相注释。它基于有效利用低分辨率对应物中的信息以及有关高分辨率图像的梯度信息。我们使用传统的形态算子从低分辨率图像上的推断标签中获得高质量的种子,并使用随机助行器传播种子标签,以优化边界的语义标签。我们表明,通过我们的方法获得的语义分割结果击败了高分辨率图像上现有的最新算法。我们从经验上证明了我们对管道中使用的超级参数的鲁棒性。此外,我们表征了我们的管道适用的一些必要条件,并对拟议方法提供了深入的分析。
translated by 谷歌翻译
当动作集具有良好的曲率时,我们在任何线性匪徒算法产生的设计矩阵的特征矩阵上介绍了一个非呈现的下限。具体而言,我们表明,每当算法的预期累积后悔为$ o(\ sqrt {n})$时,预期设计矩阵的最低特征值将随着$ \ omega(\ sqrt {n})$的增长而生长为$ n $是学习范围,动作空间在最佳臂周围具有恒定的Hessian。这表明,这种作用空间在离散(即分离良好的)动作空间中迫使多项式下限而不是对数下限,如\ cite {lattimore2017end}所示。此外,虽然先前的结果仅在渐近方案(如$ n \ to \ infty $)中保留,但我们对这些``本地富裕的''动作空间的结果随时都在。此外,在温和的技术假设下,我们以高概率获得了对最小本本特征值的相似下限。我们将结果应用于两个实用的方案 - \ emph {model selection}和\ emph {clustering}在线性匪徒中。对于模型选择,我们表明了一个基于时期的线性匪徒算法适应了真实模型的复杂性,以时代数量的速率指数,借助我们的新频谱结合。对于聚类,我们考虑了一个多代理框架,我们通过利用光谱结果,该框架来证明该框架,该框架,该框架,该框架通过光谱结果,该频谱结果,该框架的结果,该频谱结果,该框架的结果,该频谱结果该框架,该框架的结果不需要强制探索 - 代理商可以运行线性匪徒算法并立即估算其基本参数,从而产生低遗憾。
translated by 谷歌翻译
COVID-19的大流行提出了对多个领域决策者的流行预测的重要性,从公共卫生到整个经济。虽然预测流行进展经常被概念化为类似于天气预测,但是它具有一些关键的差异,并且仍然是一项非平凡的任务。疾病的传播受到人类行为,病原体动态,天气和环境条件的多种混杂因素的影响。由于政府公共卫生和资助机构的倡议,捕获以前无法观察到的方面的丰富数据来源的可用性增加了研究的兴趣。这尤其是在“以数据为中心”的解决方案上进行的一系列工作,这些解决方案通过利用非传统数据源以及AI和机器学习的最新创新来增强我们的预测能力的潜力。这项调查研究了各种数据驱动的方法论和实践进步,并介绍了一个概念框架来导航它们。首先,我们列举了与流行病预测相关的大量流行病学数据集和新的数据流,捕获了各种因素,例如有症状的在线调查,零售和商业,流动性,基因组学数据等。接下来,我们将讨论关注最近基于数据驱动的统计和深度学习方法的方法和建模范式,以及将机械模型知识域知识与统计方法的有效性和灵活性相结合的新型混合模型类别。我们还讨论了这些预测系统的现实部署中出现的经验和挑战,包括预测信息。最后,我们重点介绍了整个预测管道中发现的一些挑战和开放问题。
translated by 谷歌翻译
我们考虑一个不当的强化学习设置,在该设置中,为学习者提供了$ M $的基本控制器,以进行未知的马尔可夫决策过程,并希望最佳地结合它们,以生产一个可能胜过每个基本基础的控制器。这对于在不匹配或模拟环境中学习的跨控制器进行调整可能很有用,可以为给定的目标环境获得良好的控制器,而试验相对较少。在此方面,我们提出了两种算法:(1)一种基于政策梯度的方法; (2)可以根据可用信息在基于简单的参与者(AC)方案和天然参与者(NAC)方案之间切换的算法。两种算法都在给定控制器的一类不当混合物上运行。对于第一种情况,我们得出融合率保证,假设访问梯度甲骨文。对于基于AC的方法,我们提供了基本AC案例中的固定点的收敛速率保证,并在NAC情况下为全球最优值提供了保证。 (i)稳定卡特柱的标准控制理论基准的数值结果; (ii)一个受约束的排队任务表明,即使可以使用的基本策略不稳定,我们的不当政策优化算法也可以稳定系统。
translated by 谷歌翻译
研究部门在组织中推动创新的重要作用。随着速度和量的信息增长,绘制见解,跟随趋势,保持新的研究以及制定策略的配制策略越来越越来越具有挑战性。在本文中,我们介绍了一个用例,即公司研究界如何利用语义网络技术来诱导从结构化和文本数据中诱导统一的知识图,通过整合与研究项目相关的社区使用的各种应用程序,学术论文,学术论文,数据集,成就和认可。为了使应用程序开发人员更容易访问知识图,我们确定了一组通用模式,用于利用诱导的知识并将其视为API。这些模式是从用户研究中诞生的,这些模式确定了最有价值的用例或用户疼痛点要缓解。我们概述了两个不同的方案:用于业务使用的建议和分析。我们将详细讨论这些方案,并针对实体建议提供经验评估。所使用的方法和从这项工作中学到的教训可以应用于面临类似挑战的其他组织。
translated by 谷歌翻译
机器学习模型的预测失败通常来自训练数据中的缺陷,例如不正确的标签,离群值和选择偏见。但是,这些负责给定失败模式的数据点通常不知道先验,更不用说修复故障的机制了。这项工作借鉴了贝叶斯对持续学习的看法,并为两者开发了一个通用框架,确定了导致目标失败的培训示例,并通过删除有关它们的信息来修复模型。该框架自然允许将最近学习的最新进展解决这一新的模型维修问题,同时将现有的作品集成了影响功能和数据删除作为特定实例。在实验上,提出的方法优于基准,既可以识别有害训练数据,又要以可普遍的方式固定模型失败。
translated by 谷歌翻译
连续归一化流(CNF)是一类生成模型,可以通过求解普通的微分方程(ODE)将先验分布转换为模型分布。我们建议通过最大程度地减少概率路径差异(PPD)来训练CNF,这是CNF产生的概率密度路径与目标概率密度路径之间的新型差异家族。 PPD是使用对数质量保护公式制定的,该公式是线性的一阶部分微分方程,将对数目标概率和CNF的定义向量场进行配方。 PPD比现有方法具有多个关键好处:它避免了在迭代中解决颂歌的需求,很容易应用于歧管数据,比例到高维度,并与大型目标路径兼容,该目标路径在有限的时间内插值纯噪声和数据。从理论上讲,PPD显示为结合经典概率差异。从经验上讲,我们表明,通过最小化PPD实现最新的CNF在现有的低维歧管基准上获得了最新的可能性和样品质量,并且是生成模型以扩展到中度高维歧管的第一个示例。
translated by 谷歌翻译
神经过程(NP)是一种流行的元学习方法。与高斯工艺(GPS)类似,NPS将分布定义在功能上,并可以估计其预测中的不确定性。但是,与GPS不同,NP及其变体遭受不足的折磨,并且通常具有棘手的可能性,这限制了其在顺序决策中的应用。我们提出了变形金刚神经过程(TNP),这是NP家族的新成员,将不确定性感知的元学习作为序列建模问题。我们通过基于自回旋的可能性目标学习TNP,并通过新颖的基于变压器的建筑实例化。该模型架构尊重问题结构固有的归纳偏差,例如对观察到的数据点的不变性以及与未观察到的点的等效性。我们进一步研究了TNP框架内的旋钮,以额外的计算来折衷解码分布的表达。从经验上讲,我们表明TNP在各种基准问题上实现最新性能,在元回归,图像完成,上下文多武器匪徒和贝叶斯优化方面表现优于所有先前的NP变体。
translated by 谷歌翻译