在本文中,提出了一种新的深度学习框架,用于血管流动的时间超分辨率模拟,其中从低时间分辨率的流动模拟结果产生高时分分辨时变血管流动模拟。在我们的框架中,Point-Cloud用于表示复杂的血管模型,建议电阻 - 时间辅助表模型用于提取时变流场的时间空间特征,最后我们可以重建高精度和高精度高分辨率流场通过解码器模块。特别地,从速度的矢量特征提出了速度的幅度损失和方向损失。并且这两个度量的组合构成了网络培训的最终损失函数。给出了几个例子来说明血管流动时间超分辨率模拟所提出的框架的有效和效率。
translated by 谷歌翻译
This work presents a physics-informed deep learning-based super-resolution framework to enhance the spatio-temporal resolution of the solution of time-dependent partial differential equations (PDE). Prior works on deep learning-based super-resolution models have shown promise in accelerating engineering design by reducing the computational expense of traditional numerical schemes. However, these models heavily rely on the availability of high-resolution (HR) labeled data needed during training. In this work, we propose a physics-informed deep learning-based framework to enhance the spatial and temporal resolution of coarse-scale (both in space and time) PDE solutions without requiring any HR data. The framework consists of two trainable modules independently super-resolving the PDE solution, first in spatial and then in temporal direction. The physics based losses are implemented in a novel way to ensure tight coupling between the spatio-temporally refined outputs at different times and improve framework accuracy. We analyze the capability of the developed framework by investigating its performance on an elastodynamics problem. It is observed that the proposed framework can successfully super-resolve (both in space and time) the low-resolution PDE solutions while satisfying physics-based constraints and yielding high accuracy. Furthermore, the analysis and obtained speed-up show that the proposed framework is well-suited for integration with traditional numerical methods to reduce computational complexity during engineering design.
translated by 谷歌翻译
机器学习正迅速成为科学计算的核心技术,并有许多机会推进计算流体动力学领域。从这个角度来看,我们强调了一些潜在影响最高的领域,包括加速直接数值模拟,以改善湍流闭合建模,并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域,这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。
translated by 谷歌翻译
傅里叶神经运营商(FNO)是一种基于学习的方法,用于有效地模拟部分微分方程。我们提出了分解的傅立叶神经运营商(F-FNO),允许与更深的网络更好地推广。通过仔细组合傅里叶分解,跨所有层,Markov属性和残差连接的共享内核积分运算符,F-FNOS在Navier-Stokes基准数据集的最动力设置上达到六倍的误差。我们表明我们的模型保持了2%的错误率,同时仍然比数值求解器更快地运行幅度,即使问题设置扩展到包括诸如粘度和时变力的附加上下文,也是如此。这使得与相同的预制神经网络能够模拟巨大不同的条件。
translated by 谷歌翻译
来自3D点云的对象重建在计算机视觉和计算机图形研究字段中取得了令人印象深刻的进展。但是,通常会忽略时间变化点云(又称4D点云)的重建。在本文中,我们提出了一种新的网络体系结构,即RFNET-4D,它共同重建对象及其运动从4D点云中流动。关键见解是,通过一系列点云的学习空间和时间特征同时执行这两个任务可以利用单个任务,从而改善了整体性能。为了证明这种能力,我们使用无监督的学习方法来设计一个时间矢量场学习模块,以进行流程估计,并通过监督对物体重建的空间结构的监督学习来利用。基准数据集的广泛实验和分析验证了我们方法的有效性和效率。如实验结果所示,我们的方法在流动估计和对象重建方面都达到了最先进的性能,同时执行训练和推理中的现有方法要快得多。我们的代码和数据可从https://github.com/hkust-vgd/rfnet-4d获得
translated by 谷歌翻译
生成高度详细的复杂数据是机器学习领域中的长期存在且经常考虑的问题。但是,开发细节感知的发电机仍然是一个具有挑战性和开放的问题。生成对抗网络是许多最新方法的基础。但是,他们引入了第二个网络作为损失函数训练,使对学习功能的解释变得更加困难。作为替代方案,我们提出了一种基于小波损耗公式的新方法,该方法在优化方面保持透明。在生成具有高频细节的数据时,基于小波的损耗函数用于克服常规距离指标(例如L1或L2距离)的局限性。我们表明,我们的方法可以在说明性合成测试案例中成功重建高频细节。此外,我们根据物理模拟应用于更复杂的表面时评估性能。以大致近似的模拟为输入,我们的方法在考虑它们的发展方式的同时进化了相应的空间细节。我们考虑了这个问题,从空间和时间频率方面,并利用训练有我们的小波损失的生成网络来学习表面动力学的所需时空信号。我们通过一组合成波函数测试以及弹性塑料材料的复杂2D和3D动力学测试方法的功能。
translated by 谷歌翻译
机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣,该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用,人体的动画,3D重建和姿势估计。然而,由于在短时间内的快速进展,许多论文存在,但尚未出现全面的审查和制定问题。在本报告中,我们通过提供上下文,数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中,我们通过识别神经字段方法的公共组件,包括不同的表示,架构,前向映射和泛化方法来专注于神经字段的技术。在第二部分中,我们专注于神经领域的应用在视觉计算中的不同问题,超越(例如,机器人,音频)。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度,展示了神经字段方法所带来的提高的质量,灵活性和能力。最后,我们展示了一个伴随着贡献本综述的生活版本,可以由社区不断更新。
translated by 谷歌翻译
复杂物理系统的高保真模拟在时空尺度上昂贵且无法访问。最近,人们对利用深度学习来增强基于粗粒的模拟来增强科学数据的兴趣越来越大,这是廉价的计算费用,并保留了令人满意的解决方案精度。但是,现有的主要工作集中在数据驱动的方法上,这些方法依赖丰富的培训数据集并缺乏足够的身体约束。为此,我们提出了一个通过物理知识学习的新颖而有效的时空超分辨率框架,灵感来自部分微分方程(PDES)中的时间和空间衍生物之间的独立性。一般原则是利用时间插值来进行流量估计,然后引入卷积转递的神经网络以学习时间细化。此外,我们采用了具有较大激活的堆叠残留块,并带有像素舍式的子像素层进行空间重建,其中特征提取是在低分辨率的潜在潜在空间中进行的。此外,我们考虑在网络中严重施加边界条件以提高重建精度。结果表明,通过广泛的数值实验,与基线算法相比,该方法的卓越有效性和效率。
translated by 谷歌翻译
由于基础物理学的复杂性以及捕获中的复杂遮挡和照明,从稀疏多视频RGB视频中对流体的高保真重建仍然是一个巨大的挑战。现有的解决方案要么假设障碍和照明知识,要么仅专注于没有障碍物或复杂照明的简单流体场景,因此不适合具有未知照明或任意障碍的现实场景。我们提出了第一种通过从稀疏视频的端到端优化中利用管理物理(即,navier -stokes方程)来重建动态流体的第一种方法,而无需采取照明条件,几何信息或边界条件作为输入。我们使用神经网络作为流体的密度和速度解决方案函数以及静态对象的辐射场函数提供连续的时空场景表示。通过将静态和动态含量分开的混合体系结构,与静态障碍物的流体相互作用首次重建,而没有其他几何输入或人类标记。通过用物理知识的深度学习来增强随时间变化的神经辐射场,我们的方法受益于对图像和物理先验的监督。为了从稀疏视图中实现强大的优化,我们引入了逐层增长策略,以逐步提高网络容量。使用具有新的正则化项的逐步增长的模型,我们设法在不拟合的情况下解除了辐射场中的密度彩色歧义。在避免了次优速度之前,将预验证的密度到速度流体模型借用了,该数据低估了涡度,但可以微不足道地满足物理方程。我们的方法在一组代表性的合成和真实流动捕获方面表现出具有放松的约束和强大的灵活性的高质量结果。
translated by 谷歌翻译
基于有限元分析的传统方法已成功地用于预测在工业应用中广泛使用的异质材料(复合材料,多组分合金和多晶)的宏观行为。但是,这必须使网格大小小于材料中微结构异质性的特征长度尺度,从而导致计算昂贵且耗时的计算。基于深度学习的图像超分辨率(SR)算法的最新进展通过使研究人员能够增强从粗网格模拟获得的数据的时空分辨率来解决这一计算挑战的有希望的途径。然而,在开发高保真SR模型以应用于计算固体力学上,尤其是对于经历较大变形的材料,仍然存在技术挑战。这项工作旨在开发基于深度学习的超分辨率框架(Physrnet),该框架能够从低分辨率对应物中重建高分辨率变形场(位移和压力),而无需高分辨率标记的数据。我们设计了一项合成案例研究,以说明所提出的框架的有效性,并证明超排除的字段与高级数值求解器的准确性相匹配,以粗网格分辨率为400倍,同时满足(高度非线性)控制定律。该方法为应用机器学习和串联的传统数值方法打开了大门,以降低计算复杂性加速科学发现和工程设计。
translated by 谷歌翻译
3D重建问题中的一个关键问题是如何训练机器人或机器人以模型3D对象。在实时系统(例如自动驾驶汽车)中导航等许多任务直接取决于此问题。这些系统通常具有有限的计算能力。尽管近年来3D重建系统在3D重建系统中取得了长足的进展,但由于现有方法的高复杂性和计算需求,将它们应用于自动驾驶汽车中的导航系统等实时系统仍然具有挑战性。这项研究解决了以更快(实时)方式重建单视图像中显示的对象的当前问题。为此,开发了一个简单而强大的深度神经框架。提出的框架由两个组件组成:特征提取器模块和3D发电机模块。我们将点云表示为我们的重建模块的输出。将Shapenet数据集用于将方法与计算时间和准确性方面的现有结果进行比较。模拟证明了所提出的方法的出色性能。索引术语现实时间3D重建,单视图重建,监督学习,深神经网络
translated by 谷歌翻译
视频通常将流和连续的视觉数据记录为离散的连续帧。由于存储成本对于高保真度的视频来说是昂贵的,因此大多数存储以相对较低的分辨率和帧速率存储。最新的时空视频超分辨率(STVSR)的工作是开发出来的,以将时间插值和空间超分辨率纳入统一框架。但是,其中大多数仅支持固定的上采样量表,这限制了其灵活性和应用。在这项工作中,我们没有遵循离散表示,我们提出了视频隐式神经表示(videoinr),并显示了其对STVSR的应用。学到的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明,Videoinr在常见的上采样量表上使用最先进的STVSR方法实现了竞争性能,并且在连续和训练的分布量表上显着优于先前的作品。我们的项目页面位于http://zeyuan-chen.com/videoinr/。
translated by 谷歌翻译
The capture and animation of human hair are two of the major challenges in the creation of realistic avatars for the virtual reality. Both problems are highly challenging, because hair has complex geometry and appearance, as well as exhibits challenging motion. In this paper, we present a two-stage approach that models hair independently from the head to address these challenges in a data-driven manner. The first stage, state compression, learns a low-dimensional latent space of 3D hair states containing motion and appearance, via a novel autoencoder-as-a-tracker strategy. To better disentangle the hair and head in appearance learning, we employ multi-view hair segmentation masks in combination with a differentiable volumetric renderer. The second stage learns a novel hair dynamics model that performs temporal hair transfer based on the discovered latent codes. To enforce higher stability while driving our dynamics model, we employ the 3D point-cloud autoencoder from the compression stage for de-noising of the hair state. Our model outperforms the state of the art in novel view synthesis and is capable of creating novel hair animations without having to rely on hair observations as a driving signal.
translated by 谷歌翻译
心血管血流动力学的变化与主动脉反流(AR)的发展密切相关,一种瓣膜心脏病。源自血液流量的压力梯度用于表示AR发作并评估其严重程度。可以使用四维(4D)流磁共振成像(MRI)来非侵入地获得这些度量,其中精度主要取决于空间分辨率。然而,分辨率不足通常由4D流动MRI和复杂的AR血流动力学的限制产生。为了解决这个问题,将计算流体动力学模拟转化为合成4D流动MRI数据,并用于培训各种神经网络。这些网络生成了超级分辨率,具有upsample因子的全场相位图像为4.结果显示速度误差,高结构相似度得分和从以前的工作的改进的学习能力。在两组体内4D流动MRI数据上进行进一步验证,并在去噪流量图像中展示了成功。这种方法呈现了以非侵入性方式全面分析AR血液动力学的机会。
translated by 谷歌翻译
通过Navier-Stokes方程的数值解决方案的计算流体动力学(CFD)仿真是从工程设计到气候建模的广泛应用中的重要工具。然而,CFD代码所需的计算成本和内存需求对于实际兴趣的流动可能变得非常高,例如在空气动力学形状优化中。该费用与流体流动控制方程的复杂性有关,其包括具有困难的解决方案的非线性部分衍生术语,导致长的计算时间和限制在迭代设计过程中可以测试的假设的数量。因此,我们提出了DeepCFD:基于卷积神经网络(CNN)的模型,其有效地近似于均匀稳态流动问题的解决方案。所提出的模型能够直接从使用最先进的CFD代码生成的地面真实数据的速度和压力场的完整解决方案的完整解决方案。使用DeepCFD,与标准CFD方法以低误差率的成本相比,我们发现高达3个数量级的加速。
translated by 谷歌翻译
\ emph {几何深度学习}(GDL)的最新进展显示了其提供强大数据驱动模型的潜力。这提供了探索从图形数据中\ emph {部分微分方程}(PDES)控制的物理系统的新方法的动力。然而,尽管做出了努力和最近的成就,但几个研究方向仍未开发,进步仍然远非满足现实现象的身体要求。主要障碍之一是缺乏基准数据集和常见的物理评估协议。在本文中,我们提出了一个2-D Graph-Mesh数据集,以研究High Reynolds制度的机翼上的气流(从$ 10^6 $及以后)。我们还对翼型上的应力力引入指标,以评估重要的物理量的GDL模型。此外,我们提供广泛的GDL基准。
translated by 谷歌翻译
本文介绍了一个新颖的神经网络 - 流程完成网络(FCN) - 以从基于图形卷积注意网络的不完整数据中推断出流体动力学,包括流场和作用于身体的力。 FCN由几个图卷积层和空间注意层组成。它旨在推断与涡流力图(VFM)方法结合使用时流场的速度场和涡流力的贡献。与流体动力学中采用的其他神经网络相比,FCN能够处理两个结构化数据和非结构化数据。拟议的FCN的性能通过圆柱周围流场的计算流体动力学(CFD)数据进行评估。我们的模型预测的力系数对直接从CFD获得的工具进行了估算。此外,结果表明,我们的模型同时使用存在的流场信息和梯度信息,比传统的基于基于的基于传统的神经网络(CNN)和深神经网络(DNN)模型更有性能。具体而言,在不同雷诺数数字和培训数据集的不同比例的所有第三酶中,结果表明,在测试数据集中,提议的FCN在测试数据集中达到了5.86%的最大规范均值误差,该误差远低于基于Thetradientional CNN的和TheTraDientional CNN的最大正方形误差基于DNN的模型(分别为42.32%和15.63%)。
translated by 谷歌翻译
浅水方程是大多数洪水和河流液压分析模型的基础。这些基于物理的模型通常昂贵且速度慢,因此不适合实时预测或参数反转。有吸引力的替代方案是代理模型。这项工作基于深度学习介绍了高效,准确,灵活的代理模型,NN-P2P,它可以对非结构化或不规则网格进行点对点预测。评估新方法并与基于卷积神经网络(CNNS)的现有方法进行比较,其只能在结构化或常规网格上进行图像到图像预测。在NN-P2P中,输入包括空间坐标和边界特征,可以描述液压结构的几何形状,例如桥墩。所有代理模型都在预测培训域中不同类型的码头周围的流程中。然而,当执行空间推断时,只有NN-P2P工作很好。基于CNN的方法的限制源于其光栅图像性质,其无法捕获边界几何形状和流量,这对流体动力学至关重要。 NN-P2P在通过神经网络预测码头周围的流量方面也具有良好的性能。 NN-P2P模型还严格尊重保护法。通过计算拖动系数$ C_D $的拖动系数$ C_D $ C_D $与码头长度/宽度比的新线性关系来证明拟议的代理模型的应用。
translated by 谷歌翻译
Computational fluid dynamics (CFD) is a valuable asset for patient-specific cardiovascular-disease diagnosis and prognosis, but its high computational demands hamper its adoption in practice. Machine-learning methods that estimate blood flow in individual patients could accelerate or replace CFD simulation to overcome these limitations. In this work, we consider the estimation of vector-valued quantities on the wall of three-dimensional geometric artery models. We employ group-equivariant graph convolution in an end-to-end SE(3)-equivariant neural network that operates directly on triangular surface meshes and makes efficient use of training data. We run experiments on a large dataset of synthetic coronary arteries and find that our method estimates directional wall shear stress (WSS) with an approximation error of 7.6% and normalised mean absolute error (NMAE) of 0.4% while up to two orders of magnitude faster than CFD. Furthermore, we show that our method is powerful enough to accurately predict transient, vector-valued WSS over the cardiac cycle while conditioned on a range of different inflow boundary conditions. These results demonstrate the potential of our proposed method as a plugin replacement for CFD in the personalised prediction of hemodynamic vector and scalar fields.
translated by 谷歌翻译
Efficient simulation of the Navier-Stokes equations for fluid flow is a long standing problem in applied mathematics, for which state-of-the-art methods require large compute resources. In this work, we propose a data-driven approach that leverages the approximation power of deep-learning with the precision of standard solvers to obtain fast and highly realistic simulations. Our method solves the incompressible Euler equations using the standard operator splitting method, in which a large sparse linear system with many free parameters must be solved. We use a Convolutional Network with a highly tailored architecture, trained using a novel unsupervised learning framework to solve the linear system. We present real-time 2D and 3D simulations that outperform recently proposed data-driven methods; the obtained results are realistic and show good generalization properties.
translated by 谷歌翻译