我们考虑多任务回归模型,其中假设观察是几个潜在节点函数和权重函数的线性组合,它们都是从高斯过程先验得出的。在开发用于预测分布式太阳能和其他可再生能源发电的可扩展方法的问题的推动下,我们提出了在(节点或重量)过程组之间的耦合先验,以利用功能之间的空间依赖性。对多个分布式场地的太阳能预测模型和多个邻近气象站的地面风速进行了预测。我们的研究结果表明,相对于太阳能基准测试,我们的方法可以保持或提高点预测精度,并且可以改善所有测量的风力预测基准模型。与此同时,我们的方法可以更好地量化预测不确定性。
translated by 谷歌翻译
我们将在配对数据的情况下学习域间对应的问题形式化为潜在变量模型(LVM)中的贝叶斯推断,其中人们从onedomain寻找实体的底层隐藏表示作为来自另一域的实体。首先,我们引入隐式潜变量模型,其中先前的隐藏表示可以灵活地指定为隐式分布。接下来,我们基于变分关节和精确关节分布之间的对称Kullback-Leibler(KL)散度的最小化,为该模型开发新的变分参考(VI)算法。最后,我们证明了在我们提出的VI框架内,可以将最先进的循环一致的对抗性学习(CYCLEGAN)模型导出为特殊情况,从而建立其与近似贝叶斯推理方法的联系。
translated by 谷歌翻译
我们开发了一种自动变分方法,用于推导具有高斯过程(GP)先验和一般可能性的模型。该方法支持多个输出和多个潜在函数,不需要条件似然的详细知识,只需将其评估为ablack-box函数。使用高斯混合作为变分分布,我们表明使用来自单变量高斯分布的样本可以有效地估计证据下界及其梯度。此外,该方法可扩展到大数据集,这是通过使用诱导变量使用增广先验来实现的。支持最稀疏GP近似的方法,以及并行计算和随机优化。我们在小数据集,中等规模数据集和大型数据集上定量和定性地评估我们的方法,显示其在不同似然模型和稀疏性水平下的竞争力。在涉及航空延误预测和手写数字分类的大规模实验中,我们表明我们的方法与可扩展的GP回归和分类的最先进的硬编码方法相同。
translated by 谷歌翻译
We generalize the log Gaussian Cox process (lgcp) framework to model multiple correlated point data jointly. The observations are treated as realizations of multiple lgcps, whose log intensities are given by linear combinations of latent functions drawn from Gaus-sian process priors. The combination coefficients are also drawn from Gaussian processes and can incorporate additional dependencies. We derive closed-form expressions for the moments of the intensity functions and develop an efficient variational inference algorithm that is orders of magnitude faster than competing deterministic and stochastic approximations of multivariate lgcp, core-gionalization models, and multi-task perma-nental processes. Our approach outperforms these benchmarks in multiple problems, offering the current state of the art in modeling multivariate point processes.
translated by 谷歌翻译
神经网络在软件中变得越来越普遍,因此能够验证它们的行为是很重要的。因为验证神经网络的正确性极具挑战性,所以通常关注这些系统的其他属性的验证。特别是一个重要的特性是鲁棒性。然而,大多数现有的鲁棒性定义都集中在输入是对偶的最坏情况。这种鲁棒性的概念太强大,并且不太可能被实际的神经网络所满足和可验证。观察神经网络的实际输入是从非对抗性概率分布中得出的,我们提出了一种新的鲁棒性概念:概率鲁棒性,它要求神经网络具有至少$(1 - \ epsilon)$概率的鲁棒性。输入分布。这种概率方法是实用的,并提供了估计神经网络鲁棒性的原则方法。我们还提出了一种基于抽象解释和重要性抽样的算法,用于检查神经网络是否具有概率稳健性。我们的算法使用抽象解释来近似神经网络的行为,并计算违反鲁棒性的输入区域的近似。然后,它使用重要采样来抵消这种过度近似的影响,并计算出神经网络违反鲁棒性的概率的准确估计。
translated by 谷歌翻译
最近的工作突出了Transformer架构在处理序列任务方面的优势。与此同时,神经结构搜索已经发展到可以超越人类设计模型的程度。这项工作的目的是使用架构搜索来找到更好的Transformerarchitecture。我们首先构建一个大型搜索空间,其灵感来自前馈顺序模型中的最新进展,然后运行进化体系结构搜索,用变换器为我们的初始种群播种。为了在计算成本高昂的WMT 2014英语 - 德语翻译任务上运行此搜索,我们开发了渐进式动态障碍方法,这使我们能够动态地将更多资源分配给更具竞争力的候选模型。在我们的实验中发现的架构--Evolved Transformer - 展示了对Transformeron四项完善的语言任务的持续改进:WMT 2014英语 - 德语,WMT 2014英语 - 法语,WMT 2014英语 - 捷克语和LM1B。在大型模型中,EvolvedTransformer的效率是FLOPS中变压器的两倍,而不会损失质量。在一个小得多的 - 适合移动设备 - 模型尺寸为~7M的参数中,Evolved Transformer在WMT'14English-German上的性能优于变压器0.7BLEU。
translated by 谷歌翻译
随着机器学习越来越多地影响人们和社会,重要的是我们要努力全面统一地理解如何以及为什么会产生不良后果。例如,对特定群体的下游危害往往归咎于“有偏见的数据”,但这个概念包含太多的问题,无法用于开发解决方案。在本文中,我们提供了框架,在机器学习中划分下游损害的来源,包括跨越数据生成和机器学习管道的不同类别。我们描述了这些问题是如何产生的,它们如何与特定应用相关,以及它们如何激发不同的解决方案。在此过程中,我们的目标是促进解决方案的开发,这些解决方案源于对特定应用群体和数据生成过程的理解,而不是依赖关于可能或不可能是“公平”的一般主张。
translated by 谷歌翻译
生物医学中的许多因果过程包含循环和进化。然而,大多数因果发现算法假设潜在的因果过程遵循不随时间变化的单个有向无环图(DAG)。因此,当运行真实的生物医学数据时,算法可以高信度地推断出错误的因果关系。在本文中,我通过使用DAG的混合来建模因果过程来放松单一DAG的假设,以便该图可以随时间变化。然后,我描述了一种名为因果混合物的因果推理(CIM)的因果发现算法,以使用纵向数据从DAG混合物中推断出因果结构。即使在同时存在周期,非平稳性,非线性,潜在变量和选择偏倚的情况下,CIM也提高了真实和合成临床数据集的因果发现的准确性。
translated by 谷歌翻译
本文介绍了一种有效的二阶方法来解决弹性网问题。它的关键创新是一种计算效率高的技术,用于在优化过程中注入曲率信息,从而提供强大的理论性能保证。特别是,我们改进了流行的一阶方法的运行时间,并量化了数据矩阵的统计测量的加速间隔。时间复杂度的提高是对问题结构的广泛利用以及二阶信息,方差减少技术和动量加速的有效组合的结果。除了理论上的加速,实验结果证明了曲率信息的巨大实际性能优势,特别是对于病态数据集。
translated by 谷歌翻译
我们提出了一个可解释的神经网络,用于从多模态电子健康记录(EHR)数据预测重要的临床结果(1年死亡率)。我们的方法建立在先前的多模态机器学习模型的基础上,现在可以实现个体因素如何影响总体结果风险,假设其他因素保持不变,这在以前是不可能的。我们使用大型多模式临床数据集证明了这种方法的价值,包括EHR数据和来自26,793名患者的31,278个心脏超声心动图。我们为(i)临床数据(CD)(例如年龄,性别,诊断和实验室值)生成了单独的模型,(ii)从视频衍生的数字变量,我们称之为超声心动图衍生的测量(EDM),以及(iii)CD + EDM +原始视频(像素数据)。与不可解释的模型(Random Forest,XGBoost)相比,可解释的多模态模型保持了性能,并且与使用单一模态的模型(平均AUC = 0.82)相比也表现得更好。新模型也促进了临床相关见解和多模态变量重要性排名,这在以前是不可能的。
translated by 谷歌翻译