科学计算应用从高性能计算基础设施(如超级计算机)受益匪浅。但是,我们在这些应用程序的计算结构,设计和要求中看到了范式转变。越来越多地,数据驱动和机器学习方法正在用于支持,加速和增强科学计算应用,尤其是分子动力学模拟。同时,云计算平台越来越多地吸引科学计算,提供“无限”计算功率,更容易编程和部署模型,以及访问计算加速器,例如TPU(张量处理单元)。这种机器学习(ML)和云计算的这种汇合代表了云和系统研究人员的令人兴奋的机会。 ML辅助分子动力学模拟是一类新的工作量,并且具有独特的计算模式。这些模拟为低成本和高性能执行提供了新的挑战。我们认为,瞬态云资源,如低成本的抢占云VM,可以是这款新工作负载的可行平台。最后,我们在云资源管理中展示了一些低悬垂的水果和长期挑战,以及分子动力学模拟将分子动力学模拟的闪烁平台(如纹身流程)集成。
translated by 谷歌翻译
越来越多的科学发现需要复杂而可扩展的工作流程。工作流程已成为``新应用程序'',其中多尺度计算活动包括多个和异构的可执行任务。特别是,将AI/ML模型引入传统的HPC工作流程已成为高度准确建模的推动力,与传统方法相比,通常会减少计算需求。本章将讨论将AI/ML模型集成到HPC计算的各种模式,从而导致不同类型的AI耦合HPC工作流程。激励了跨科学领域的AI/ML和HPC耦合的需求越来越多,然后以每种模式的许多生产级用例来体现。我们还讨论了极端尺度AI耦合的HPC广告系列的主要挑战 - 任务异质性,适应性,性能 - 以及旨在解决这些问题的几种框架和中间件解决方案。尽管HPC工作流程和AI/ML计算范例都是独立有效的,但我们强调了它们的整合和最终收敛如何导致一系列领域的科学性能的显着改善,最终导致了科学探索,否则就无法实现。
translated by 谷歌翻译
基于机器学习(ML)的转向可以通过在线选择更科学意义的计算来提高基于合奏的模拟的性能。我们提出了DeepDrivemd,这是ML驱动的科学模拟转向的框架,我们用来通过在大型平行计算机上的有效耦合ML和HPC来实现分子动力学(MD)性能的稳定性提高。我们讨论了DeepDrivemd的设计,并描述了其性能。我们证明,与其他方法相对于其他方法,DeepDrivemd可以在100-1000倍加速度之间达到100-1000倍的加速度,这是通过执行的模拟时间量来衡量的,同时覆盖了模拟过程中采样的状态所量化的相同构象景观。实验是在最多1020个节点的领导级平台上进行的。该结果将DeepDrivemd作为ML驱动的HPC模拟方案的高性能框架建立,该场景支持不同的MD仿真和ML后端,并通过改善当前计算能力来改善长度和时间尺度来实现新的科学见解。
translated by 谷歌翻译
该项目旨在使用称为KubeFlow [1]的开源工具(端到端ML堆栈编排工具包)探索在Kubernetes上部署机器学习模型的过程。我们以管道形式创建端到端的机器学习模型,并分析各个点,包括设置,部署模型,性能,限制,限制和功能。我们希望我们的项目几乎像一个研讨会/入门报告一样,可以帮助Vanilla Cloud/Kubernetes用户对KubeFlow的零知识使用KubeFlow来部署ML模型。从不同的云上的设置到通过互联网提供训练有素的模型 - 我们提供详细信息和指标,详细介绍KubeFlow的性能。
translated by 谷歌翻译
机器学习(ML)与高能物理学(HEP)的快速发展的交集给我们的社区带来了机会和挑战。远远超出了标准ML工具在HEP问题上的应用,这两个领域的一代人才素养正在开发真正的新的和潜在的革命性方法。迫切需要支持跨学科社区推动这些发展的需求,包括在这两个领域的交汇处为专门研究提供资金,在大学投资高性能计算以及调整分配政策以支持这项工作,开发社区工具和标准,并为年轻研究人员提供教育和职业道路,从而吸引了机器学习的智力活力,以吸引高能量物理学。
translated by 谷歌翻译
机器学习的最新进展,加上低成本计算,廉价流传感器,数据存储和云技术的可用性导致了广泛的多学科研究活动,具有商业利益攸关方的重大兴趣和投资。基于物理方程式的机械模型,纯粹的数据驱动统计方法代表建模光谱的两端。新的混合动力车,以数据为中心的工程方法,利用世界各国和整合模拟和数据,都是一种强大的工具,具有对物理学科的变革影响。我们在集成模拟,机器学习和统计数据中审查了新兴领域的关键研究趋势和应用场景。我们突出了这种综合愿景可以解锁和概述阻止其实现的关键挑战的机会。我们还讨论了该领域的翻译方面的瓶颈以及现有劳动力和未来大学毕业生的长期上升要求。
translated by 谷歌翻译
在整个计算科学中,越来越需要利用原始计算马力的持续改进,通过对蛮力的尺度锻炼的尺度增加,以增加网状元素数量的增加。例如,如果不考虑分子水平的相互作用,就不可能对纳米多孔介质的转运进行定量预测,即从紧密的页岩地层提取至关重要的碳氢化合物。同样,惯性限制融合模拟依赖于数值扩散来模拟分子效应,例如非本地转运和混合,而无需真正考虑分子相互作用。考虑到这两个不同的应用程序,我们开发了一种新颖的功能,该功能使用主动学习方法来优化局部细尺度模拟的使用来告知粗尺度流体动力学。我们的方法解决了三个挑战:预测连续性粗尺度轨迹,以推测执行新的精细分子动力学计算,动态地更新细度计算中的粗尺度,并量化神经网络模型中的不确定性。
translated by 谷歌翻译
机器学习传感器代表了嵌入式机器学习应用程序未来的范式转移。当前的嵌入式机器学习(ML)实例化遭受了复杂的整合,缺乏模块化以及数据流动的隐私和安全问题。本文提出了一个以数据为中心的范式,用于将传感器智能嵌入边缘设备上,以应对这些挑战。我们对“传感器2.0”的愿景需要将传感器输入数据和ML处理从硬件级别隔离到更广泛的系统,并提供一个薄的界面,以模拟传统传感器的功能。这种分离导致模块化且易于使用的ML传感器设备。我们讨论了将ML处理构建到嵌入式系统上控制微处理器的软件堆栈中的标准方法所带来的挑战,以及ML传感器的模块化如何减轻这些问题。 ML传感器提高了隐私和准确性,同时使系统构建者更容易将ML集成到其产品中,以简单的组件。我们提供了预期的ML传感器和说明性数据表的例子,以表现出来,并希望这将建立对话使我们朝着传感器2.0迈进。
translated by 谷歌翻译
通过机器学习的人工智能越来越多地用于数字社会。基于机器学习的解决方案带来了巨大的机会,从而创造了“软件2.0”,而且为工程界提供了巨大的挑战。由于数据科学家使用的实验方法在开发机器学习模型时,敏捷是一个重要的特征。在这个主题演讲中,我们讨论了两种当代开发现象,这是机器学习开发的基础,即笔记本界面和MLOPS。首先,我们提出了一种解决方案,可以通过支持对集成开发环境的简单过渡来解决笔记本电脑中工作的一些内在弱点。其次,我们通过在MLOPS语境中引入隐喻障碍和钢筋来提出AI系统的加强工程。基于机器学习的解决方案是动态的本质上,我们认为强化连续工程是质量保证明天可信赖的AI系统。
translated by 谷歌翻译
Agent-based modeling (ABM) is a well-established paradigm for simulating complex systems via interactions between constituent entities. Machine learning (ML) refers to approaches whereby statistical algorithms 'learn' from data on their own, without imposing a priori theories of system behavior. Biological systems -- from molecules, to cells, to entire organisms -- consist of vast numbers of entities, governed by complex webs of interactions that span many spatiotemporal scales and exhibit nonlinearity, stochasticity and intricate coupling between entities. The macroscopic properties and collective dynamics of such systems are difficult to capture via continuum modelling and mean-field formalisms. ABM takes a 'bottom-up' approach that obviates these difficulties by enabling one to easily propose and test a set of well-defined 'rules' to be applied to the individual entities (agents) in a system. Evaluating a system and propagating its state over discrete time-steps effectively simulates the system, allowing observables to be computed and system properties to be analyzed. Because the rules that govern an ABM can be difficult to abstract and formulate from experimental data, there is an opportunity to use ML to help infer optimal, system-specific ABM rules. Once such rule-sets are devised, ABM calculations can generate a wealth of data, and ML can be applied there too -- e.g., to probe statistical measures that meaningfully describe a system's stochastic properties. As an example of synergy in the other direction (from ABM to ML), ABM simulations can generate realistic datasets for training ML algorithms (e.g., for regularization, to mitigate overfitting). In these ways, one can envision various synergistic ABM$\rightleftharpoons$ML loops. This review summarizes how ABM and ML have been integrated in contexts that span spatiotemporal scales, from cellular to population-level epidemiology.
translated by 谷歌翻译
计算机架构和系统已优化了很长时间,以便高效执行机器学习(ML)模型。现在,是时候重新考虑ML和系统之间的关系,并让ML转换计算机架构和系统的设计方式。这有一个双重含义:改善设计师的生产力,以及完成良性周期。在这篇论文中,我们对应用ML进行计算机架构和系统设计的工作进行了全面的审查。首先,我们考虑ML技术在架构/系统设计中的典型作用,即快速预测建模或设计方法,我们执行高级分类学。然后,我们总结了通过ML技术解决的计算机架构/系统设计中的常见问题,并且所用典型的ML技术来解决它们中的每一个。除了在狭义中强调计算机架构外,我们采用数据中心可被认为是仓库规模计算机的概念;粗略的计算机系统中提供粗略讨论,例如代码生成和编译器;我们还注意ML技术如何帮助和改造设计自动化。我们进一步提供了对机会和潜在方向的未来愿景,并设想应用ML的计算机架构和系统将在社区中蓬勃发展。
translated by 谷歌翻译
我们展示了CFU Playground,这是一个全堆栈的开源框架,可实现用于嵌入式ML系统的机器学习(ML)加速器的快速和迭代设计。我们的工具链紧紧集成开源软件,RTL发电机和FPGA工具,用于综合,地点和路线。此全堆栈开发框架为工程师提供了访问探索定制架构,这些架构是为嵌入式ML定制和共同优化的。快速,部署型材优化反馈循环让ML硬件和软件开发人员在对定制方面相对较小的投资中取得重大回报。使用CFU Playground的设计循环,我们在CPU和加速器之间显示了大量的Speedups(55x-75x)和设计空间探索。
translated by 谷歌翻译
异质的科学工作流程包括许多类型的任务和依赖性。能够在异质平台上安排和提交不同任务类型的中间件必须允许对任务的异步执行,以改善资源利用,任务吞吐量和减少MakePAN。在本文中,我们介绍了一类重要的异构工作流程,即AI驱动的HPC工作流程,以调查异步任务执行要求和属性。我们对任意工作流程允许的异步性度进行了建模,并提出了关键指标,这些指标可用于确定使用异步执行时的定性利益。我们的实验代表了重要的科学驱动因素,在峰会上进行了大规模进行,并且由于异步执行而引起的性能增强与我们的模型一致。
translated by 谷歌翻译
代理,模拟程序行为的模型,形成各种开发工作流程的基础。我们研究了三种基于代理的设计模式,在大规模CPU模拟器上进行评估。通过替代汇编,程序员开发了一种模拟程序的代理,以模仿程序的行为部署到最终用户代替原始程序。代理编译加速了CPU模拟器的研究1.6美元。通过代理适应,程序员开发一个程序的代理,然后重新培训在不同的任务上代理。代理适应将模拟器的错误减少到50美元\%$。通过代理优化,程序员开发了一个程序的代理,优化代理的输入参数,然后将优化的输入参数插回原始程序。替代优化查找模拟参数,与专业集参数引起的错误相比,将模拟器的错误减少5 \%$ 5 \%。在本文中,我们将这种基于代理的设计模式的分类形式正规化。我们进一步描述了所有三种设计模式共有的编程方法。我们的工作基于与计划代理人的编程为基础的新兴工作流程。
translated by 谷歌翻译
In recent years, the exponential proliferation of smart devices with their intelligent applications poses severe challenges on conventional cellular networks. Such challenges can be potentially overcome by integrating communication, computing, caching, and control (i4C) technologies. In this survey, we first give a snapshot of different aspects of the i4C, comprising background, motivation, leading technological enablers, potential applications, and use cases. Next, we describe different models of communication, computing, caching, and control (4C) to lay the foundation of the integration approach. We review current state-of-the-art research efforts related to the i4C, focusing on recent trends of both conventional and artificial intelligence (AI)-based integration approaches. We also highlight the need for intelligence in resources integration. Then, we discuss integration of sensing and communication (ISAC) and classify the integration approaches into various classes. Finally, we propose open challenges and present future research directions for beyond 5G networks, such as 6G.
translated by 谷歌翻译
“技术彩票”描述了一种研究思想或技术,因为它适合可用的软件和硬件,而不一定是因为它优于替代方向 - 审查是从深度学习和GPU的协同作用到GPU的协同效应,城市设计和自动驾驶汽车的断开连接。自动驾驶实验室(SDL)的新生领域,尤其是作为材料加速平台(地图)实施的新生领域,有类似陷阱的风险:构建地图的下一个逻辑步骤是采用现有的实验室设备和工作流并混合一些AI和自动化。在此白皮书中,我们认为,作为地图研究计划的一部分,将加速搜索新材料的相同模拟和AI工具也使得设计了根本新的计算媒体的设计。我们不必受到科学,机电一体化和通用计算的现有偏见的限制,而是我们可以通过网络物理学习和闭环,自我优化系统来追求工程物理学的新向量。在这里,我们概述了一个基于仿真的地图程序来设计使用物理本身来解决优化问题的计算机。这样的系统减轻了其他每类地图中存在的硬件软件 - 材料用户信息损失,并且它们在计算问题和计算介质之间完全对齐消除了任何技术彩票。我们提供了迈向早期“物理计算(PC)-MAP”进步的具体步骤,以及我们希望在材料研究人员和计算机科学家之间引入创新合作的新时代。
translated by 谷歌翻译
随着越来越多的机器和深度学习应用在高能量物理中,方便地访问专用基础设施代表了快速高效的研发需求。这项工作探讨了不同类型的云服务,以使用TensorFlow数据并行策略在并行环境中训练生成的对冲网络(GaN)。更具体地,我们并将培训过程并行化多个GPU和Google Tensor处理单元(TPU),我们比较两个算法:TensorFlow内置逻辑和自定义循环,优化,以便更高控制分配给每个GPU工作者的元素或TPU核心。将所生成的数据的质量与Monte Carlo仿真进行比较。获得训练过程的线性加速,同时在物理结果方面保留大部分性能。此外,我们根据多个GPU节点,以规模,在多个GPU节点上进行基准测试,在不同的公共云提供商上部署培训过程,寻求整体效率和成本效益。数据科学,云部署选项和相关经济学的组合允许异构地突发,探索基于云的服务的全部潜力。
translated by 谷歌翻译
本文探讨了超线性增长趋势的环境影响,从整体角度来看,跨越数据,算法和系统硬件。我们通过在行业规模机器学习用例中检查模型开发周期来表征AI计算的碳足迹,同时考虑系统硬件的生命周期。进一步迈出一步,我们捕获AI计算的操作和制造碳足迹,并为硬件 - 软件设计和尺度优化的结束分析以及如何帮助降低AI的整体碳足迹。根据行业经验和经验教训,我们分享关键挑战,并在AI的许多方面上绘制了重要的发展方向。我们希望本文提出的关键信息和见解能够激发社区以环保的方式推进AI领域。
translated by 谷歌翻译
现代软件系统和产品越来越依赖机器学习模型,以基于与用户和系统的交互进行数据驱动的决策,例如计算基础架构。对于更广泛的采用,这种做法必须(i)容纳没有ML背景的软件工程师,并提供(ii)提供优化产品目标的机制。在这项工作中,我们描述了一般原则和特定的端到端毫升平台,为决策和反馈集合提供易于使用的API。循环仪支持从在线数据收集到模拟培训,部署,推理的完整端到端ML生命周期,并扩展支持和调整产品目标的评估和调整。我们概述了平台架构和生产部署的整体影响 - 循环仪当前托管700毫升型号,每秒达到600万决定。我们还描述了学习曲线并总结了平台采用者的经验。
translated by 谷歌翻译
In this tutorial paper, we look into the evolution and prospect of network architecture and propose a novel conceptual architecture for the 6th generation (6G) networks. The proposed architecture has two key elements, i.e., holistic network virtualization and pervasive artificial intelligence (AI). The holistic network virtualization consists of network slicing and digital twin, from the aspects of service provision and service demand, respectively, to incorporate service-centric and user-centric networking. The pervasive network intelligence integrates AI into future networks from the perspectives of networking for AI and AI for networking, respectively. Building on holistic network virtualization and pervasive network intelligence, the proposed architecture can facilitate three types of interplay, i.e., the interplay between digital twin and network slicing paradigms, between model-driven and data-driven methods for network management, and between virtualization and AI, to maximize the flexibility, scalability, adaptivity, and intelligence for 6G networks. We also identify challenges and open issues related to the proposed architecture. By providing our vision, we aim to inspire further discussions and developments on the potential architecture of 6G.
translated by 谷歌翻译