神经机器翻译 - 使用神经网络翻译人类语言 - 是一个积极研究探索新神经元类型和网络拓扑的领域,其目标是显着提高机器翻译性能。当前最先进的方法,例如基于多头注意的变换器,需要非常大的翻译语料库和许多标准来产生合理质量的模型。最近尝试将多个节点上的官方TensorFlow“Transformer”模型并行化由于过多的内存使用而导致出现问题,并且在执行MPI集合时导致内存错误。本文描述了对基于霍罗德MPI的分布式训练框架的修改,通过将假设稀疏张量转换为密集张量来减少变换器模型的内存使用,并随后用密集梯度减少代替稀疏梯度聚集。结果是横向扩展能力显着增加。 ,使用Stampede2超级计算机,仅使用CPU的扩展测试可实现高达1200 MPI进程(300个节点)的91%弱缩放效率,以及高达65%的高扩展效率,高达400 MPI进程(200个节点)。
translated by 谷歌翻译
我们提出了一种基于卷积神经网络(CNN)去噪的方法,用于地震数据插值。它提供了一种简单而有效的方法来突破地球物理训练标签的缺乏问题,这些问题通常是深度学习方法所要求的。新方法包括两个步骤:(1)从自然图像清洁 - 噪声对中训练一组CNN降噪器以学习去噪; (2)将训练好的CNN消噪器集成到凸集(POCS)框架项目中,进行地震数据插值。该方法减轻了地震大数据的要求,具有与地对端深度学习在地震数据插值中的应用相似的特征。另外,所提出的方法对于许多迹线缺失的情况是灵活的,因为缺失的情况不涉及训练步骤,因此它具有插件和插图。这些表明我们的方法具有高度的普遍性,并且减少了针对特定问题的培训的需要。对于合成和现场数据的初步结果表明,与传统的基于$ f $ - $ x $预测滤波和基于曲线波变换相比,所提出的CNN-POCS方法在信噪比,去混叠和弱特征重建方面具有良好的插值性能。 POCS方法。
translated by 谷歌翻译
为了解决深度生成模型学习中的挑战(例如,变分自动编码器的瑕疵和训练生成对抗网络的不稳定性,我们提出了一种新的深度生成模型,名为Wasserstein-Wasserstein自动编码器(WWAE)。我们制定了WWAE的最小化目标分布和生成的分布之间的惩罚最佳传输。通过注意到潜在代码Z的先前$ P_Z $和聚合后验$ Q_Z $可以被高斯人很好地捕获,所提出的WWAE利用方形的Wasserstein的封闭形式 - 因此,WWAE不会受到采样负担的影响,并且通过利用重新参数化技巧在计算上是有效的。数值结果在多个基准数据集上进行了评估,包括MNIST,时尚-MNIST和CelebA表明WWAE学习得更好。结构比VAE和生成更好的视觉质量和更高的样本r FID得分超过VAE和GAN。
translated by 谷歌翻译
我们提出了一个通用框架来通过概率空间上的\ textbf {V} ariational \ textbf {Gr} adient Fl \ textbf {ow}(VGrow)学习深层生成模型。渐近收敛到目标分布的演化分布由向量场控制,向量场是它们之间的$ f $ - 发散的第一个变化的负梯度。我们通过残差映射的无限时间组合证明了演化分布与前向分布一致,残差映射是沿矢量场的特征映射的扰动。矢量场取决于前推分布的密度比和目标分布,这可以从二元分类问题中一致地学习。我们提出的VGrow方法与其他流行方法(如VAE,GAN和基于流的方法)的连接已在此框架中建立,获得了深层生成学习的新见解。我们还评估了几个常用的差异,包括Kullback-Leibler,Jensen-Shannon,Jeffrey分歧以及我们新发现的`logD'分歧,它作为logD-trick GAN的目标函数。基准数据集的实验结果表明,VGrow可以稳定,有效的方式生成高保真图像,通过最先进的GAN实现竞争性能。
translated by 谷歌翻译
单图像超分辨率(SISR)作为低级计算机视觉任务非常重要。基于生成对抗网络(GAN)的深度学习架构的快速发展实现了高效且有效的ISR,以提高数字相机捕获的自然图像的空间分辨率。然而,医学图像的SISR仍然是一个非常具有挑战性的问题。这是由于(1)与自然图像相比,一般来说,医学图像具有较低的信噪比。(2)在自然图像上预训练的基于GAN的模型可能在医学图像中合成不切实际的模式,这可能影响临床解释和诊断,以及(3)香草GANarchitecture可能会受到不稳定训练和崩溃模式的影响,这也会影响SISR结果。在本文中,我们提出了一种新的病灶聚焦SR(LFSR)方法,该方法结合GAN以实现脑肿瘤MRI图像的感知真实SISR结果。更重要的是,我们使用最近开发的GAN变体进行测试和比较,例如,Wasserstein GAN(WGAN)和WGAN with Gradient Penalty(WGAN-GP),并提出一种新的多尺度GAN(MS-GAN),以实现更稳定的高效的训练和提高超分辨率结果的感知质量。基于定量评估和我们设计的平均意见得分,提出的与MS-GAN耦合的LFSR在感知质量和效率方面表现更好。
translated by 谷歌翻译
cycleGAN正在成为医学图像合成中一种有影响力的方法。然而,由于输入和合成图像之间缺乏直接约束,cycleGAN不能保证这两种图像之间的结构一致性,这种一致性在医学成像中至关重要。为了解决这个问题,我们提出了一种结构约束的循环GAN,用于脑MR-to-CT合成,使用不成对数据定义基于模态独立邻域描述符的额外结构 - 一致性损失,以约束结构一致性。此外,我们使用基于位置的选择策略来选择训练图像而不是完全随机的选择方案。从脑MR图像合成CT图像的实验结果表明,我们的方法优于传统的循环GAN,并且使用配对数据训练循环GAN。
translated by 谷歌翻译
背景:药代动力学评价是药物发现和开发的关键过程之一。然而,目前的吸收,分布,代谢,排泄预测模型仍然具有有限的准确性。目的:本研究旨在构建一个综合的转移学习和多任务学习方法,用于开发定量结构 - 活性关系模型,预测四种人体药代动力学参数。方法:药代动力学数据集包括1104种美国FDA批准的小分子药物。该数据包括四个人体药代动力学参数子集(口服生物利用度,血浆蛋白结合率,稳态分布的表观体积和消除半衰期)。对预先训练的模型进行了超过3000万生物活性数据的训练。建立了综合转移学习和多任务学习方法,以加强模型的推广。结果:药代动力学数据集分为三个部分(60:20:20)进行训练,验证和测试,采用改进的最大不相似算法,代表初始集选择算法和加权距离函数。多任务学习技术增强了模型的可预测性。综合转移学习和多任务学习模型表现出最佳的准确性,因为深度神经网络具有一般的特征提取能力,转移学习和多任务学习改进了模型的推广。结论:首先介绍了改进数据集分裂算法的综合转移学习和多任务学习方法,以预测药代动力学参数。该方法可以进一步用于药物发现和开发。
translated by 谷歌翻译
我们提出并分析了$(1,\ lambda)$进化算法的自适应版本,其中当前的突变率是个体的一部分,因此也受到突变。对OneMax基准测试函数进行严格的运行时分析,发现当一个简单的局部变异方案导致$ O(n \ lambda / \ log \ lambda + n \ log n)$时的预期优化时间(适应度评估次数)$ \ lambda $至少是$ C \ ln n $ forsome constant $ C> 0 $。对于$ \ lambda \ ge C \ ln n $的所有值,在所有基于$ \ lambda $ -parallelmutation的无偏黑框算法中,此性能是渐近最佳的。我们的结果表明,进化计算中的自适应可以在运行中找到复杂的最优参数设置。同时,证明了Doerr,Gie {\ ss} en,Witt和Yang~(GECCO~2017)提出的相对复杂的突变率自调整方案可以用我们的简单内生方案代替。在技​​术方面,本文为分析动态参数选择中出现的二维漂移过程提供了新的工具,包括非恒定漂移过程中的占据概率。
translated by 谷歌翻译
Quora is one of the most popular community Q&A sites of recent times. However, many question posts on this Q&A site often do not get answered. In this paper, we quantify various linguistic activities that discriminates an answered question from an unanswered one. Our central finding is that the way users use language while writing the question text can be a very effective means to characterize answerability. This characterization helps us to predict early if a question remaining unanswered for a specific time period t will eventually be answered or not and achieve an accuracy of 76.26% (t = 1 month) and 68.33% (t = 3 months). Notably, features representing the language use patterns of the users are most dis-criminative and alone account for an accuracy of 74.18%. We also compare our method with some of the similar works (Dror et al., Yang et al.) achieving a maximum improvement of ∼ 39% in terms of accuracy.
translated by 谷歌翻译
我们提出了一个新的CogQA框架,用于多跳问题回答inweb-scale文档。受认知科学中的双重过程理论的启发,该框架通过协调隐式提取模块(系统1)和显式推理模块(系统2)逐步在迭代过程中构建\ textit {认知图}。在给出准确答案的同时,我们的框架进一步提供了可解释的推理路径。具体而言,基于BERT和图形神经网络的实现有效处理了HotpotQAfullwiki数据集中的多跳推理问题的数百万个文档,在排行榜上获得了34.9的联合$ F_1 $得分,而最佳竞争对手的得分为23.6。
translated by 谷歌翻译