本报告概述了利用大数据革命和大规模计算解决多信使天体物理学中的重大计算挑战的最新工作,特别强调实时发现活动。该文件承认了多信使天体物理学的跨学科性质,由物理学家,天文学,计算机科学,数据科学,软件和网络基础设施社区的成员编写,他们参加了NSF-,DOE-和NVIDIA资助的“多信使天体物理学的深度学习”。 :实时发现规模“研讨会,于2018年10月17日至19日在国家超级计算应用中心举办。本报告的重点包括一致同意这对于加速新型信号处理算法的开发和部署至关重要。利用人工智能(AI)和高性能计算之间的协同作用,最大限度地发挥Multi-Messenger天体物理学的潜在科学发现。我们讨论了实现这一努力的关键方面,即(i)为多信使天体物理学设计和利用可扩展和计算效率高的AI算法;(ii)数字模拟天体物理资源的网络基础设施要求,以及处理和解释多信使天体物理学数据; (iii)管理引力波探测和触发以实现电磁和天体粒子跟踪; (iv)利用未来发展的机器和深度学习以及网络基础设施资源的愿景与大数据时代的发现规模相结合; (v)需要建立一个社区,将领域专家与数据科学家一起进行平等,以最大限度地加速发现多信天体物理学的新兴领域。
translated by 谷歌翻译
今天拍摄的绝大多数照片都是通过手机拍摄的。虽然他们的质量正在迅速增长,但由于物理限制和成本限制,手机相机难以与DSLR相机进行质量比较。这激励我们计算增强这些图像。我们对Ignatov等人的研究结果进行了扩展,他们能够将紧凑型移动摄像机的图像转换为质量与DSLR相机拍摄的高分辨率照片相当的图像。然而,所采用的神经模型需要大量的计算资源,并且不足以在移动设备上运行。我们在之前的工作基础上,探索不同的网络架构,旨在提高图像质量和速度。凭借高效的网络架构,它以低空间分辨率完成大部分处理,我们获得了比基线高得多的平均意见得分(MOS),同时在消费级CPU上将计算速度提高了6.3倍。这表明使用未来的手机硬件进行基于神经网络的照片增强的有希望的方向。
translated by 谷歌翻译
本文回顾了有效感知图像增强的第一个挑战,重点是在智能手机上部署深度学习模型。挑战包括两个轨道。在第一部分中,参与者解决了经典图像超分辨率问题,其双重缩减因子为4.第二首曲目旨在实现真实世界的照片增强,目标是将iPhone 3GS设备中的低质量照片映射到同一照片用单反相机拍摄。此挑战中使用的目标指标将运行时间,PSNR得分和解决方案在用户研究中测量的感知结果组合在一起。为了确保提交的模型的效率,我们通常在Androidsmartphones上测量它们的运行时和内存要求。所提出的解决方案显着改善了基线结果,从而确定了智能手机上图像增强的最新技术水平。
translated by 谷歌翻译
我们为印度环境提供了深入的生成场景建模技术。我们的目标是使用前馈神经网络训练生成模型,该神经网络将先前分布(例如,正态分布)映射到室内场景中的主要对象的分布。我们引入了一个3D对象排列表示,它根据对象的大小和形状属性对对象的位置和方向进行建模。此外,我们的场景表示适用于从数据库中选择的具有不同多重性(重复计数)的3D对象。我们通过组合3D对象排列表示和基于2D图像的表示的鉴别器损失来展示这种模型的原理方式。我们展示了场景表示和深度学习方法对基准数据集的有效性。我们还展示了这种生成模型的应用,包括插值和场景完成。
translated by 谷歌翻译
低信噪比的点源检测对于天文学的测量来说是具有挑战性的,特别是在噪声相关的无线电干涉测量图像中。机器学习是一种很有前途的解决方案,允许开发针对特定望远镜阵列和科学案例的算法。我们提出DeepSource--一种深度学习解决方案 - 使用卷积神经网络来实现这些目标。 DeepSource增强了原始地图的信噪比(SNR),然后使用动态blob检测来检测源。经过两组500个模拟1度x 1度MeerKATimages(总共300,000个源)的训练和测试,DeepSource在纯度和完整性方面都非常完美,低至SNR = 4,并且在所有方法中都优于PyBDSF。对于均匀加权的图像,它在SNR = 3时达到0.73的纯度x完整性(PC)分数,而最佳PyBDSF模型的分数为0.31。对于自然加权,我们发现在SNR = 3时,PC得分的改善幅度小~40%。相反,我们要求在纯度或完整性首先降至90%时,我们发现DeepSource在SNR = 3.6时达到此值。 PyBDSF的4.3(自然加权)。 DeepSource的一个主要优势在于,它可以在任何科学案例的考虑下,以最佳方式对纯度和完整性进行权衡。我们的研究结果表明,深度学习是一种很有前景的天文图像中的顶点源检测方法。
translated by 谷歌翻译
我们使用最新的强化学习算法进行研究,在没有任何中介感知(物体识别,场景理解)的情况下进行前端驱动。新提出的奖励和学习策略导致仅使用来自前向摄像机的RGB图像的更快的收敛和更强大的驾驶。一个异步演员批评(A3C)框架用于在物理和图形逼真的拉力赛中容忍汽车控制,代理同时在轨道上演变,具有各种道路结构(转弯,山丘),图形(季节,位置)和物理( roadadherence)。进行全面评估,并在无法追踪的轨道和使用法定速度限制上证明概括。对图像的真实序列进行开环测试表明了我们方法的一些域自适应能力。
translated by 谷歌翻译
在机器人应用程序中,我们经常面临发现新对象的挑战,同时很少或没有标记的训练数据。在本文中,我们探讨了机器人穿越环境提供的自我监督的使用,以学习遇到的物体的表示。对于运动和深度感知的知识使得代理能够有效地关联多个对象提议,其用作来自未标记图像的用于学习对象表示的训练数据。我们以两种方式证明了这种代表性的实用性。首先,我们可以通过在学习的嵌入空间中执行聚类来自动发现对象。每个得到的聚类包含从不同视点和尺度看到的一个实例的示例。其次,给定少量标记图像,我们可以有效地学习这些标签的检测器。在少数射击方案中,这些探测器的mAP值通常高0.22,而在这种有限数据训练下的现成标准探测器为0.12。因此,所提出的自我监督导致有效环境特定对象的发现和检测,因此人类标签成本非常小。
translated by 谷歌翻译
在这项工作中,我们使用IEMOCAP数据集设计了一个用于识别语音情感的神经网络。根据音频分析的最新进展,我们使用一个涉及卷积层的架构,用于从原始光谱图中提取高级特征,以及用于聚合长期依赖性的循环特征。我们研究了数据增强技术,包括声带长度扰动,逐层优化器调整,复发层的球形归一化,并获得64.5%的加权精度和61.7%的非加权精度的高竞争性结果。
translated by 谷歌翻译
Reinforcement learning is considered to be a strong AI paradigm which can beused to teach machines through interaction with the environment and learningfrom their mistakes. Despite its perceived utility, it has not yet beensuccessfully applied in automotive applications. Motivated by the successfuldemonstrations of learning of Atari games and Go by Google DeepMind, we proposea framework for autonomous driving using deep reinforcement learning. This isof particular relevance as it is difficult to pose autonomous driving as asupervised learning problem due to strong interactions with the environmentincluding other vehicles, pedestrians and roadworks. As it is a relatively newarea of research for autonomous driving, we provide a short overview of deepreinforcement learning and then describe our proposed framework. Itincorporates Recurrent Neural Networks for information integration, enablingthe car to handle partially observable scenarios. It also integrates the recentwork on attention models to focus on relevant information, thereby reducing thecomputational complexity for deployment on embedded hardware. The framework wastested in an open source 3D car racing simulator called TORCS. Our simulationresults demonstrate learning of autonomous maneuvering in a scenario of complexroad curvatures and simple interaction of other vehicles.
translated by 谷歌翻译
We propose a deep learning approach for finding dense correspondences between3D scans of people. Our method requires only partial geometric information inthe form of two depth maps or partial reconstructed surfaces, works for humansin arbitrary poses and wearing any clothing, does not require the two people tobe scanned from similar viewpoints, and runs in real time. We use a deepconvolutional neural network to train a feature descriptor on depth map pixels,but crucially, rather than training the network to solve the shapecorrespondence problem directly, we train it to solve a body regionclassification problem, modified to increase the smoothness of the learneddescriptors near region boundaries. This approach ensures that nearby points onthe human body are nearby in feature space, and vice versa, rendering thefeature descriptor suitable for computing dense correspondences between thescans. We validate our method on real and synthetic data for both clothed andunclothed humans, and show that our correspondences are more robust than ispossible with state-of-the-art unsupervised methods, and more accurate thanthose found using methods that require full watertight 3D geometry.
translated by 谷歌翻译