我们考虑多任务回归模型,其中假设观察是几个潜在节点函数和权重函数的线性组合,它们都是从高斯过程先验得出的。在开发用于预测分布式太阳能和其他可再生能源发电的可扩展方法的问题的推动下,我们提出了在(节点或重量)过程组之间的耦合先验,以利用功能之间的空间依赖性。对多个分布式场地的太阳能预测模型和多个邻近气象站的地面风速进行了预测。我们的研究结果表明,相对于太阳能基准测试,我们的方法可以保持或提高点预测精度,并且可以改善所有测量的风力预测基准模型。与此同时,我们的方法可以更好地量化预测不确定性。
translated by 谷歌翻译
我们将在配对数据的情况下学习域间对应的问题形式化为潜在变量模型(LVM)中的贝叶斯推断,其中人们从onedomain寻找实体的底层隐藏表示作为来自另一域的实体。首先,我们引入隐式潜变量模型,其中先前的隐藏表示可以灵活地指定为隐式分布。接下来,我们基于变分关节和精确关节分布之间的对称Kullback-Leibler(KL)散度的最小化,为该模型开发新的变分参考(VI)算法。最后,我们证明了在我们提出的VI框架内,可以将最先进的循环一致的对抗性学习(CYCLEGAN)模型导出为特殊情况,从而建立其与近似贝叶斯推理方法的联系。
translated by 谷歌翻译
我们开发了一种自动变分方法,用于推导具有高斯过程(GP)先验和一般可能性的模型。该方法支持多个输出和多个潜在函数,不需要条件似然的详细知识,只需将其评估为ablack-box函数。使用高斯混合作为变分分布,我们表明使用来自单变量高斯分布的样本可以有效地估计证据下界及其梯度。此外,该方法可扩展到大数据集,这是通过使用诱导变量使用增广先验来实现的。支持最稀疏GP近似的方法,以及并行计算和随机优化。我们在小数据集,中等规模数据集和大型数据集上定量和定性地评估我们的方法,显示其在不同似然模型和稀疏性水平下的竞争力。在涉及航空延误预测和手写数字分类的大规模实验中,我们表明我们的方法与可扩展的GP回归和分类的最先进的硬编码方法相同。
translated by 谷歌翻译
膝关节骨性关节炎(OA)是最常见的无骨折的肌肉骨骼疾病,目前的治疗方案仅限于症状缓解。对OA进展的预测是一个非常具有挑战性和及时性的问题,如果得到解决,它可以加速疾病调节药物的开发并最终帮助防止每年进行数百万次关节置换手术。在这里,我们提出了一种基于多模态机器学习的OAprogression预测模型,该模型利用原始射线照相数据,临床检查结果和患者的既往病史。我们在2,129个主题的3,918个膝关节图像的独立测试集上验证了这种方法。我们的方法在ROC曲线(AUC)下产生的面积为0.79(0.78-0.81),平均精度(AP)为0.68(0.66-0.70)。相比之下,基于逻辑回归的参考方法得出的AUC为0.75(0.74-0.77),AP为0.62(0.60-0.64)。该方法可以显着改善OA药物开发试验的主题选择过程,有助于个性化治疗方案的开发。
translated by 谷歌翻译
背景:新生血管性年龄相关性黄斑变性(AMD)患者可通过某些疗法避免视力丧失。然而,预测新生血管性年龄相关性黄斑变性(nvAMD)进展的方法正在进行。目的:开发和验证深度学习(DL)算法使用彩色眼底照片(CFP)预测没有早期或中期AMD tonvAMD的1年眼睛进展。设计:DL算法的开发和验证。方法:我们训练DL算法预测1年的nvAMD进展,并使用10倍交叉验证来评估年龄相关眼病研究(AREDS)中两组眼的这种方法:无/早期/中期AMD,和中间AMD(iAMD)。我们将DL算法与AREDSdataset中手动分级的4类和9步比例进行了比较。主要结果测量:使用对于进展至nvAMD的80%特异性的灵敏度来评估DL算法的性能。结果:DL算法预测nvAMD从无/早期/ iAMD(78 +/- 6%)进展的敏感性高于9步量表(67 +/- 8%)或4类量表(48)的手动等级+/- 3%)。为了从iAMD特异性地预测进展,DL算法的灵敏度(57 +/- 6%)与9步等级(36 +/- 8%)和4类等级(20 +/- 0%)相比也更高。结论:我们的DL算法在预测nvAMD的进展方面比手动评分更好。未来的研究需要将这种DL算法应用于现实世界的临床环境中。
translated by 谷歌翻译
条件计算旨在增加网络的大小和准确性,推理成本略有增加。以前的硬路由模型明确地将输入转发给专家子集。我们建议使用软条件计算,相反,它使用所有专家,同时仍允许通过参数路由进行有效推理。具体地说,对于给定的卷积层,我们希望计算$ n $ experts $ \ alpha_1 \ cdot(W_1 * x)+ \ ldots + \ alpha_n \ cdot(W_n * x)$的线性组合,其中$ \ alpha_1,\ ldots,\ alpha_n $是通过渐变下降学习的输入函数。简单的评估需要$ n $ convolutions。我们提出了上述计算的等价形式,$(\ alpha_1 W_1 + \ ldots + \ alpha_n W_n)* x $,它只需要一个卷积。我们通过扩展MobileNetV1,MobileNetV2和ResNet-50模型架构来展示我们的方法CondConv的功效,以获得更高的准确度,同时保持有效的推理。在ImageNet分类数据集上,CondConvi将MobileNetV1(0.5x)模型的前1个验证准确度从63.8%提高到71.6%,同时仅将推理成本提高了27%。在COCO对象检测中,CondConv将MobileNetV1(1.0x)SSD模式的minival mAP从20.3提高到22.4,推理成本仅增加4%。
translated by 谷歌翻译
素描是人类认知的基础,而不是言语。深度神经网络(DNN)已经在语音相关任务中实现了最先进的技术,但是在以矢量格式生成基于笔画的草图a.k.asketches方面没有取得重大进展。尽管存在用于以矢量格式生成草图的变分自动编码器(VAE),但是没有用于生成相同的生成对抗网络(GAN)架构。在本文中,我们提出了一个独立的GAN架构SkeGAN和一个VAE-GAN架构VASkeGAN,用于矢量格式的草图生成。 SkeGAN是强化学习(RL)中的随机策略,能够生成多维连续和离散输出。 VASkeGAN将VAE和GAN混合,以便通过VAE将数据的有效表示与GAN的强大生成能力相结合,以产生视觉上吸引人的草图。我们还提出了一个称为Ske-score的新度量,它量化了vectorketches的质量。我们已经验证了SkeGAN和VASkeGAN通过使用人体图灵测试和Ske-score生成具有视觉吸引力的草图。
translated by 谷歌翻译
对图中边和节点的预测需要适当且有效地实现数据表示。最近对动态网络表示学习的研究取得了重大进展。然而,更精确和准确的方法,更大的计算和内存复杂性。在这里,我们介绍ICMEN - 一流的incrementalmeta嵌入方法,它生成关于图中时间依赖性的节点的向量表示。 ICMEN通过线性凸组合有效地构建了历史表示中节点的嵌入,使得该过程比现有的嵌入算法更少的内存要求。该方法能够构建非活动节点和新节点的表示,而无需重新嵌入。几个真实世界数据集的链接预测结果表明,将ICMEN增量元方法应用于任何基础嵌入方法,我们得到了类似的结果,节省了内存和计算能力。总之,我们的工作提出了一种在动态复杂网络中进行有效在线表示学习的新方法。
translated by 谷歌翻译
本文介绍了一种求解一对对称矩阵的主导广义特征向量的有效算法。结合工具fromapproximation理论和凸优化,我们开发了一个简单的可扩展算法,具有很强的理论性能保证。更确切地说,该算法保留了众所周知的幂方法的简单性,但却享有强大的Lanczos方法的渐近迭代复杂度。与这些经典技术不同,我们的算法旨在将整个问题分解为一系列只需要近似解决的子问题。与传统方法的超线性时间相比,良好初始化,快速迭代求解器和适当误差控制在解决子问题时的组合导致输入大小的线性运行时间。改进的运行时间立即为几个应用提供加速。作为一个例子,我们演示了如何使用所提出的算法来加速规范相关分析,这是学习高维对象的低维表示的基本统计工具。对现实世界数据集的数值实验证实,与现有技术水平相比,这种实验产生了显着的改进。
translated by 谷歌翻译
哈密​​顿蒙特卡罗是一种强大的算法,用于从难以归一化的后验分布中进行采样。然而,当后部的几何形状不利时,可能需要对目标分布及其梯度进行许多昂贵的评估以收敛和混合。我们提出神经传输(NeuTra)HMC,这是一种学习使用逆自回归流(IAF)来校正这种不利几何的技术,这是一种强大的神经变分推理技术。 IAF经过训练以最小化从各向同性高斯到翘曲后向的KL发散,然后在翘曲空间中执行HMC采样。我们在各种合成和实际问题上对NeuTra HMC进行了评估,发现它在达到静止分布和渐近有效样本大小率的过程中显着优于vanilla HMC。
translated by 谷歌翻译