本报告概述了利用大数据革命和大规模计算解决多信使天体物理学中的重大计算挑战的最新工作,特别强调实时发现活动。该文件承认了多信使天体物理学的跨学科性质,由物理学家,天文学,计算机科学,数据科学,软件和网络基础设施社区的成员编写,他们参加了NSF-,DOE-和NVIDIA资助的“多信使天体物理学的深度学习”。 :实时发现规模“研讨会,于2018年10月17日至19日在国家超级计算应用中心举办。本报告的重点包括一致同意这对于加速新型信号处理算法的开发和部署至关重要。利用人工智能(AI)和高性能计算之间的协同作用,最大限度地发挥Multi-Messenger天体物理学的潜在科学发现。我们讨论了实现这一努力的关键方面,即(i)为多信使天体物理学设计和利用可扩展和计算效率高的AI算法;(ii)数字模拟天体物理资源的网络基础设施要求,以及处理和解释多信使天体物理学数据; (iii)管理引力波探测和触发以实现电磁和天体粒子跟踪; (iv)利用未来发展的机器和深度学习以及网络基础设施资源的愿景与大数据时代的发现规模相结合; (v)需要建立一个社区,将领域专家与数据科学家一起进行平等,以最大限度地加速发现多信天体物理学的新兴领域。
translated by 谷歌翻译
GPU具有有限的内存,并且难以训练导致训练过程耗尽内存的广泛和/或深度模型。本文显示了一个名为Large Model Support(LMS)的开源工具可以利用CPU和GPU之间的高带宽NVLink连接来完成深度卷积网络的训练。 LMS在CPU存储器和GPU存储器之间执行张量交换,使得在训练步骤中仅需要最小数量的张量保持在GPU存储器中。还示出了如何将LMS与基于MPI的分布式深度学习模块组合以在多个GPU上以数据并行方式训练模型,使得每个GPU利用CPU存储器进行张量交换。讨论了支持与CPU的高带宽GPU链接的硬件架构,以及作为PowerAI软件包提供的相关软件工具集。
translated by 谷歌翻译
深度神经网络(DNN)在各种实际应用中取得了巨大成功。然而,由于模型尺寸大和密集计算,网络中的大量参数限制了神经网络的效率。为了解决这个问题,已经研究了各种压缩和加速技术,其中对低阶滤波器和稀疏滤波器进行了大量研究。在本文中,我们提出了一个统一的框架,通过结合这两种策略来对卷积神经网络进行压缩,同时考虑非线性激活。图层的文件管理器由稀疏组件和低级组件的总和近似,两者都支持模型压缩。特别是,我们将稀疏组件约束为稀疏结构,这有利于加速。使用乘法器的交替方向方法(ADMM),通过在激活每个层之后最小化特征图的重建误差来保持网络的性能。实验结果表明,我们提出的方法可以将VGG-16和AlexNet压缩4倍以上。此外,VGG-16和AlexNet分别实现了2.2倍和1.1倍的加速,但错误率却无法增加。
translated by 谷歌翻译
本研究旨在研究人类和连接模型如何在算术问题中遇到困难之间的相似性。问题困难是通过解决agiven问题所涉及的数量来实现的。通过响应时间在人体中测量问题困难,并且通过计算步骤在模型中测量。本研究发现,在解决二元加法和减法问题时,人类和连接模型都会遇到类似的困难。具体而言,两种药剂都发现难以在携带次数方面严格增加。另一个值得注意的相似之处在于,对于人类和连接模型,问题难度在减法中增加得更多。进一步研究两个模型超参数---置信度阈值和隐藏度 - 显示出更高的置信度阈值,使模型采取更多的计算步骤来得出正确的答案。同样,较大的隐藏维度会导致模型采取更多计算步骤来正确解决算法问题;但是,隐藏尺寸的这种影响可以忽略不计。
translated by 谷歌翻译
本文提出了一种新的框架,用于联合增强图像的分辨率和动态范围,即基于卷积神经网络(CNN)的同时超分辨率(SR)和高动态范围成像(HDRI)。从两个任务的共同趋势,我们通过关注高频细节的重建来训练CNN用于联合HDRI和SR。具体地,我们工作中的高频分量是根据基于Retinex的图像分解的反射分量,并且只有反射分量由CNN操纵,而另一个分量(照明)以常规方式处理。在训练CNN时,需要设置适当的损失函数,以有助于产生图像的自然质量。实验表明,我们的算法优于基于CNN的SR和HDRI的级联实现。
translated by 谷歌翻译
作为一种高效且可扩展的图形神经网络,GraphSAGE通过聚合下采样的本地邻域并通过以小批量梯度下降方式学习,实现了用于推断看不见的节点或图形的诱导能力。 GraphSAGE中使用的邻域采样是有效的,以便在并行地推断出具有不同程度的一批目标节点时提高计算和存储效率。尽管具有这一优势,但默认的统一采样会受到训练和推理的高度差异的影响,从而导致最佳的准确性。我们提出了一种新的数据驱动的采样方法,通过非线性回归量来推断邻域的实值重要性,并将该值用作对邻域进行二次抽样的标准。使用基于价值的强化学习来学习使用者。从GraphSAGE的负分类损失输出中归一化地提取顶点和邻域的每个组合的隐含重要性。因此,在使用三个数据集的归纳节点分类基准中,我们的方法使用均匀采样增强了基线,在准确性方面优于图神经网络的近似变量。
translated by 谷歌翻译
我们提出了一种用于机器学习算法中超参数选择的新算法。该算法是口琴的一种新颖修改,是一种使用稀疏恢复方法的谱超参数选择方法。特别地,我们表明超参数空间的特殊编码能够实现自然群稀疏恢复公式,当与HyperBand(多臂强盗策略)结合使用时,可以改进现有的超参数优化方法,例如连续减半和随机搜索。图像数据集(如CIFAR-10)的实验结果证实了ourapproach的好处。
translated by 谷歌翻译
Gradient Boosted Tree(GBT)算法是生产中最常用的机器学习算法之一,用于包括Click-ThroughRate(CTR)预测和学习到排名的任务。为了处理当今可用的大量数据集,已经提出了许多分布式GBT方法。然而,它们都假设行分布式数据集,仅针对数据点的数量而不是特征的数量来解决可扩展性,并且增加了高维数据的通信成本。为了在数据点和特征维度上实现可扩展性并减少通信成本,我们提出了块分布式GBT。我们通过充分利用数据稀疏性并使Quickscorer算法适应块分布式设置来实现通信效率。我们使用具有数百万个特征的数据集来评估我们的方法,并证明我们能够实现稀疏数据通信成本降低幅度的多个方面,精确度为noloss,同时提供更具可扩展性的设计。因此,我们可以减少高维数据的培训时间,并且无需昂贵的网络通信即可实现更有效的横向扩展。
translated by 谷歌翻译
单眼深度估计的最新进展主要基于深度卷积网络和监督训练。然而,收集用于监督网络的大规模地面实况深度(或差异)地图仍然是艰巨的。本文提出了一种简单而有效的半监测单眼深度估计方法。受人类视觉系统的启发,我们提出了一种学生 - 教师策略,其中使用从更深入和准确的教师网络获得的辅助信息来训练浅层学生网络。具体来说,我们首先充分利用三维几何的双目感知训练立体教师网络,然后使用教师网络的深度预测来监督学生网络的单眼深度推理。这使我们能够利用相对容易获得的大量未标记立体对的所有可用深度数据。我们进一步引入了一种数据集合策略,该策略融合了教师网络的多个深度预测,以改善学生网络的训练样本。另外,提供立体置信度图以避免在监督学生网络时使用不准确的深度估计。我们的新培训数据由使用手持式立体相机拍摄的100万个室外立体图像组成,位于项目网页上。最后,我们证明单眼深度估计网络提供了适用于某些高级视觉任务(如语义分割和道路检测)的特征表示。大量实验证明了该方法在各种室外场景中的有效性和灵活性。
translated by 谷歌翻译
用于视觉相似性的度量学习主要采用二元监督来指示一对图像是否属于同一类。这样的二元指示符仅覆盖图像关系的有限子集,并且不足以表示由诸如对象姿势,图像标题和场景图形之类的连续和/或结构化标签描述的图像之间的语义相似性。受此启发,我们提出了一种使用连续标签进行深度metriclearning的新方法。首先,我们提出了一种新的三元组丢失,它允许在学习的度量空间中保留标签空间中的距离比率。因此,建议的损失使我们的模型能够学习相似程度而不仅仅是顺序。此外,我们设计了一个三重挖掘策略,适用于连续标签的度量学习。我们使用人体姿势,房间布局和图像标题的连续标签来解决三种不同的图像检索任务,并展示了与以前的方法相比,我们的方法的卓越性能。
translated by 谷歌翻译