本报告概述了利用大数据革命和大规模计算解决多信使天体物理学中的重大计算挑战的最新工作,特别强调实时发现活动。该文件承认了多信使天体物理学的跨学科性质,由物理学家,天文学,计算机科学,数据科学,软件和网络基础设施社区的成员编写,他们参加了NSF-,DOE-和NVIDIA资助的“多信使天体物理学的深度学习”。 :实时发现规模“研讨会,于2018年10月17日至19日在国家超级计算应用中心举办。本报告的重点包括一致同意这对于加速新型信号处理算法的开发和部署至关重要。利用人工智能(AI)和高性能计算之间的协同作用,最大限度地发挥Multi-Messenger天体物理学的潜在科学发现。我们讨论了实现这一努力的关键方面,即(i)为多信使天体物理学设计和利用可扩展和计算效率高的AI算法;(ii)数字模拟天体物理资源的网络基础设施要求,以及处理和解释多信使天体物理学数据; (iii)管理引力波探测和触发以实现电磁和天体粒子跟踪; (iv)利用未来发展的机器和深度学习以及网络基础设施资源的愿景与大数据时代的发现规模相结合; (v)需要建立一个社区,将领域专家与数据科学家一起进行平等,以最大限度地加速发现多信天体物理学的新兴领域。
translated by 谷歌翻译
GPU具有有限的内存,并且难以训练导致训练过程耗尽内存的广泛和/或深度模型。本文显示了一个名为Large Model Support(LMS)的开源工具可以利用CPU和GPU之间的高带宽NVLink连接来完成深度卷积网络的训练。 LMS在CPU存储器和GPU存储器之间执行张量交换,使得在训练步骤中仅需要最小数量的张量保持在GPU存储器中。还示出了如何将LMS与基于MPI的分布式深度学习模块组合以在多个GPU上以数据并行方式训练模型,使得每个GPU利用CPU存储器进行张量交换。讨论了支持与CPU的高带宽GPU链接的硬件架构,以及作为PowerAI软件包提供的相关软件工具集。
translated by 谷歌翻译
深度神经网络(DNN)在各种实际应用中取得了巨大成功。然而,由于模型尺寸大和密集计算,网络中的大量参数限制了神经网络的效率。为了解决这个问题,已经研究了各种压缩和加速技术,其中对低阶滤波器和稀疏滤波器进行了大量研究。在本文中,我们提出了一个统一的框架,通过结合这两种策略来对卷积神经网络进行压缩,同时考虑非线性激活。图层的文件管理器由稀疏组件和低级组件的总和近似,两者都支持模型压缩。特别是,我们将稀疏组件约束为稀疏结构,这有利于加速。使用乘法器的交替方向方法(ADMM),通过在激活每个层之后最小化特征图的重建误差来保持网络的性能。实验结果表明,我们提出的方法可以将VGG-16和AlexNet压缩4倍以上。此外,VGG-16和AlexNet分别实现了2.2倍和1.1倍的加速,但错误率却无法增加。
translated by 谷歌翻译
分子的几何形状,也称为构象,是分子最重要的特性之一,决定了它参与的反应,它形成的键,以及它与其他分子的相互作用。常规构象产生方法使手工设计的分子力能量函数最小化,所述分子力能量函数与在自然界中观察到的分子的真实能量函数没有很好地相关。它们产生几何形状多样的构象,其中一些构造非常类似于地面真实构象,而其他构象则非常不同。在本文中,我们提出了一个条件深度生成图神经网络,它从数据学中直接学习能量函数,在给定分子图的情况下生成分子构象。在三个大型小分子数据集上,我们证明了我们的方法产生了一组构象,这些构象平均比从常规力场方法获得的那些更容易接近相应的参考构象。我们的方法通过生成彼此不太相似的构象来维持几何多样性,并且在计算上更加快速。我们还表明,我们的方法可用于为常规力场方法提供初始坐标。在一个评估的数据集中,我们表明这种组合允许我们结合两种方法的优点,产生平均接近地面真实构象的生成构象,其中一些非常类似于地面真实构象。
translated by 谷歌翻译
现在可以以前所未有的规模获得大量图像(或电影),这对现有的图像分析技术提出了根本性的挑战。挑战包括异质性,(自动)对齐,多重比较,潜在的伪像和隐藏的噪声。本文介绍了我们的MATLAB软件包,纵向图像序列分析(LISA),作为图像处理和分析工具的一站式集合,用于比较来自不同时间,会话或主题的图像的年龄类图像。给出两个对比的图像序列,图像LISA中的处理开始于在两个代表性图像中选择感兴趣区域,然后进行自动或手动分割和登记。自动分割使用像素强度值的高斯分布的混合来对图像进行去噪,而手动分割应用用户选择的强度截止值来滤除噪声。自动配准基于中线回归对准对比图像,而手动配准沿着由两个用户选择的点形成的参考线对齐图像。然后渲染经处理的图像以用于同时进行统计比较以生成D,S,T和P-地图。 D图表示对比图像的策划差异,S图是非参数平滑差异,T图表示方差调整,平滑差异,P图表示多重控制p值。这些地图揭示了由于纵向,受试者特定和治疗变化而具有显着差异的区域。如果图像已经被处理,用户可以跳过图像处理步骤直接潜入统计分析步骤。因此,LISA提供了应用其他图像预处理工具的灵活性.LISA还具有用于高清图像的并行计算选项。
translated by 谷歌翻译
标准顺序生成方法假设一个预先指定的生成顺序,例如从左到右生成单词的文本生成方法。在这项工作中,我们提出了一个训练文本生成模型的框架,它以非单调顺序运行;模型直接学习良好的订单,没有任何额外的注释。我们的框架通过生成一个任意位置的单词,然后在其左边递归生成单词然后在其右边生成单词来生成二叉树。学习是框架式的学习,包括教学方法,从模仿anoracle转变为加强政策自身的偏好。实验结果表明,使用所提出的方法,可以学习生成文本的策略,而无需预先指定生成顺序,同时通过传统的从左到右生成实现竞争性能。
translated by 谷歌翻译
在这项工作中,我们提出了一个计算框架,其中具有通信能力的代理同时发挥一系列参考游戏,其中代理人使用深度强化学习进行训练。我们认为该框架反映了在自然语言中观察到的语言现象:i)社区之间的联系结果是群体间和群体内连通性的函数; ii)语言接触要么收敛于大多数协议,要么在平衡的情况下导致新的克里奥尔语言的复杂性较低; iii)语言连续统一体出现在邻近语言比远离语言更容易理解的地方。我们认为,语言演化的错综复杂的属性不需要依赖于复杂的语言能力,而是可以通过传播游戏的感知代理之间的简单社交变化来实现。
translated by 谷歌翻译
形状的分类在从医学成像到计算机视觉等各个领域中具有极大的兴趣。虽然已经为分类问题开发了许多统计框架,但大多数都与问题的早期表述密切相关 - 在一个相对低维的欧几里德空间中被描述为向量的对象被分类。统计形状数据有两个主要特性,表明需要采用新颖的方法:(i)形状本身具有无限维度,附近点的位置之间具有很强的依赖性,(ii)形状空间不是欧氏,而是基本上是弯曲的。为了适应数据的这些特征,我们使用曲线的平方根速度函数来提供形状的有用的形式描述,传递到不同投影点处的形状流形的切线空间,这有效地分离训练数据中的空间分类的形状。 ,并在这些切线空间内使用主成分来减少维数。我们用一种组合成对分类器的新方法来说明投影点和子空间选择对误分类率的影响。
translated by 谷歌翻译
我们提出nnstreamer,一个处理神经网络作为流管道过滤器的软件系统,将流处理范例应用于神经网络应用程序。随着深度神经网络应用的广泛应用的新趋势是设备AI;即,直接在移动设备或边缘/物联网设备而不是云服务器上处理神经网络。新兴的隐私问题,数据传输成本和运营成本意味着对设备AI的需求,特别是在部署了大量具有实时数据处理功能的设备时。 Nnstreamer通过设备上的复杂数据流管道有效地处理神经网络,以最小的努力显着提高整体性能。此外,nnstreamer简化了神经网络管道实现,并允许直接重用现成的多媒体流过滤器;因此它显着降低了开发成本.Nnstreamer已经部署了很快发布的产品,并且是适用于各种硬件架构和软件平台的开源软件。
translated by 谷歌翻译
最近基于生成对抗网络(GAN)的令人印象深刻的进展使无监督的图像到图像转换得到了相当多的关注。然而,先前的方法经常在挑战性情况下失败,特别是当图像具有多个目标实例并且翻译任务涉及形状的显着变化时,例如,将裤子翻译成裙子时尚图像。为了解决这些问题,我们提出了一种新颖的方法,即coinedinstance-aware GAN(InstaGAN),它结合了实例信息(例如,对象分割掩码)并改进了多实例变换。所提出的方法转换了图像和相应的实例集。属性,同时保持实例的置换不变性。为此,我们引入了上下文保留损失,以鼓励网络学习目标实例之外的身份功能。我们还提出了一个连续的小批量推理/培训技术,可以处理具有有限GPU内存的多个实例,并增强网络以更好地推广多个实例。我们的比较评估证明了所提出的方法在不同图像数据集上的有效性,特别是在上述具有挑战性的案例中。
translated by 谷歌翻译