来自类似的心脏磁共振（CMR）图像的3D运动估计对于评估心脏功能和心血管疾病的诊断很重要。以前的大多数方法都侧重于估计完整图像空间中的像素 - /体素运动场，这忽略了运动估计主要是相关且在感兴趣的对象中有用的事实，例如心脏。在这项工作中，我们将心脏建模为3D几何网格，并提出了一种新型的基于深度学习的方法，该方法可以从2D短轴和长轴CMR图像中估算心脏网格的3D运动。通过开发可区分的网格到图像射击器，该方法能够利用2D多视图CMR图像的解剖形状信息进行3D运动估计。 Rasterizer的不同性使我们能够训练该方法最终到端。提出方法的一个优点是，通过跟踪每个顶点的运动，它可以保持时间帧之间3D网格的顶点对应关系，这对于对网格上心脏功能的定量评估很重要。我们评估了从英国生物银行研究获得的CMR图像的建议方法。实验结果表明，所提出的方法在定量和定性上都优于常规和基于学习的心脏运动跟踪方法。

从电影心脏磁共振（CMR）成像中恢复心脏的3D运动可以评估区域心肌功能，对于理解和分析心血管疾病很重要。但是，3D心脏运动估计是具有挑战性的，因为获得的Cine CMR图像通常是2D切片，它限制了对整个平面运动的准确估计。为了解决这个问题，我们提出了一个新颖的多视图运动估计网络（Mulvimotion），该网络集成了以短轴和长轴平面获取的2D Cine CMR图像，以学习心脏的一致性3D运动场。在提出的方法中，构建了一个混合2D/3D网络，以通过从多视图图像中学习融合表示形式来生成密集的3D运动场。为了确保运动估计在3D中保持一致，在训练过程中引入了形状正则化模块，其中利用了来自多视图图像的形状信息，以提供3D运动估计的弱监督。我们对来自英国生物银行研究的580名受试者的2D Cine CMR图像进行了广泛评估，用于左心室心肌的3D运动跟踪。实验结果表明，该方法在定量和定性上优于竞争方法。

心肌运动和变形是表征心脏功能的丰富描述符。图像注册是心肌运动跟踪最常用的技术，是一个不当的反问题，通常需要先前对解决方案空间进行假设。与大多数现有的方法相反，它们强加了明确的通用正则化（例如平滑度），在这项工作中，我们提出了一种新的方法，该方法可以隐式地学习了特定于应用程序的生物力学知识，并将其嵌入了神经网络参数化转换模型中。尤其是，提出的方法利用基于变异自动编码器的生成模型来学习生物力学上合理变形的多种多样。然后，可以通过穿越学习的歧管来搜索最佳转换时，在考虑序列信息时搜索最佳转换。该方法在三个公共心脏Cine MRI数据集中进行了验证，并具有全面的评估。结果表明，所提出的方法可以胜过其他方法，从而获得更高的运动跟踪精度，并具有合理的量保存和更好地变化数据分布的概括性。它还可以更好地估计心肌菌株，这表明该方法在表征时空特征以理解心血管疾病方面的潜力。

基于治疗期间的单投影图像的器官形状重建具有广泛的临床范围，例如在图像引导放射治疗和手术指导中。我们提出了一种图形卷积网络，该网络实现了用于单视点2D投影图像的3D器官网格的可变形登记。该框架使得能够同时训练两种类型的变换：从2D投影图像到位移图，以及从采样的每周顶点特征到满足网格结构的几何约束的3D位移。假设申请放射治疗，验证了2D / 3D可变形的登记性能，用于尚未瞄准迄今为止，即肝脏，胃，十二指肠和肾脏以及胰腺癌的多个腹部器官。实验结果表明，考虑多个器官之间的关系的形状预测可用于预测临床上可接受的准确性的数字重建射线照片的呼吸运动和变形。

运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而，通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法，易于产生令人难以置信的估计，尤其是在大运动的情况下。在这项研究中，我们提供了一种新颖的稀疏密度（DSD）的运动估计框架，其包括两个阶段。在第一阶段，我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑，并丢弃对运动估计不必要的冗余信息。为此目的，我们介绍一个无监督的3D地标检测网络，以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段，我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后，我们通过将稀疏地标位移突出回致密图像域，呈现运动重建网络来构造运动场。此外，我们从我们的两级DSD框架中使用估计的运动场作为初始化，并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法，分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比，我们的方法产生了出色的运动估计精度。此外，广泛的实验结果表明，我们的解决方案可以提取良好代表性解剖标志，而无需手动注释。我们的代码在线公开提供。

与关节位置相比，在皮肤多人线性模型（SMPL）基于多视图图像的基于皮肤的多人线性模型（SMPL）的人网格重建中，关节旋转和形状估计的准确性相对较少。该领域的工作大致分为两类。第一种方法执行关节估计，然后通过将SMPL拟合到最终的接头来产生SMPL参数。第二种方法通过基于卷积神经网络（CNN）模型直接从输入图像中回归SMPL参数。但是，这些方法缺乏解决联合旋转和形状重建和网络学习难度的歧义的信息。为了解决上述问题，我们提出了一种两阶段的方法。提出的方法首先通过从输入图像中的基于CNN的模型估算网格顶点的坐标，并通过将SMPL模型拟合到估计的顶点来获取SMPL参数。估计的网格顶点提供了足够的信息来确定关节旋转和形状，并且比SMPL参数更容易学习。根据使用Human3.6M和MPI-INF-3DHP数据集的实验，所提出的方法在关节旋转和形状估计方面显着优于先前的作品，并在关节位置估计方面实现了竞争性能。

Deformable registration of two-dimensional/three-dimensional (2D/3D) images of abdominal organs is a complicated task because the abdominal organs deform significantly and their contours are not detected in two-dimensional X-ray images. We propose a supervised deep learning framework that achieves 2D/3D deformable image registration between 3D volumes and single-viewpoint 2D projected images. The proposed method learns the translation from the target 2D projection images and the initial 3D volume to 3D displacement fields. In experiments, we registered 3D-computed tomography (CT) volumes to digitally reconstructed radiographs generated from abdominal 4D-CT volumes. For validation, we used 4D-CT volumes of 35 cases and confirmed that the 3D-CT volumes reflecting the nonlinear and local respiratory organ displacement were reconstructed. The proposed method demonstrate the compatible performance to the conventional methods with a dice similarity coefficient of 91.6 \% for the liver region and 85.9 \% for the stomach region, while estimating a significantly more accurate CT values.

心肌的准确分割和运动估计在临床领域一直很重要，这基本上有助于下游诊断。但是，现有方法不能始终保证心肌分割的形状完整性。此外，运动估计需要在不同帧上对心肌区域的点对应关系。在本文中，我们提出了一种新型的端到端深度统计形状模型，以关注具有形状完整性和边界对应关系的心肌分割。具体而言，心肌形状由固定数量的点表示，其变化是通过主成分分析（PCA）提取的。深神经网络用于预测转换参数（仿射和变形），然后将其用于将平均点云转转到图像域。此外，引入了一个可区分的渲染层，以将掩码的监督纳入框架中，以了解更准确的点云。通过这种方式，所提出的方法能够在不进行后处理的情况下始终如一地产生解剖上合理的分割掩码。此外，预测的点云还保证了顺序图像的边界对应关系，这有助于下游任务，例如心肌的运动估计。我们进行了几项实验，以证明在几个基准数据集上提出的方法的有效性。

这项研究提出了一个基于移动网格参数化的端到端无监督的差异可变形登记框架。使用此参数化，可以使用其转换雅各布的决定因素和末端速度场的卷曲来建模。变形场的新模型具有三个重要优势。首先，它放松了对成本函数的显式正则化项和相应重量的需求。平滑度隐含在溶液中，从而导致物理上合理的变形场。其次，它通过适用于转换雅各布决定因素的明确约束来保证差异性。最后，它适用于心脏数据处理，因为该参数化的性质是根据​​径向和旋转成分定义变形场。通过在包括2D和3D心脏MRI扫描在内的三个不同数据集上评估拟议方法来研究算法的有效性。结果表明，所提出的框架在生成差异变换的同时优于现有的基于学习的方法和基于非学习的方法。

最近，我们看到了照片真实的人类建模和渲染的神经进展取得的巨大进展。但是，将它们集成到现有的下游应用程序中的现有网络管道中仍然具有挑战性。在本文中，我们提出了一种全面的神经方法，用于从密集的多视频视频中对人类表演进行高质量重建，压缩和渲染。我们的核心直觉是用一系列高效的神经技术桥接传统的动画网格工作流程。我们首先引入一个神经表面重建器，以在几分钟内进行高质量的表面产生。它与多分辨率哈希编码的截短签名距离场（TSDF）的隐式体积渲染相结合。我们进一步提出了一个混合神经跟踪器来生成动画网格，该网格将明确的非刚性跟踪与自我监督框架中的隐式动态变形结合在一起。前者将粗糙的翘曲返回到规范空间中，而后者隐含的一个隐含物进一步预测了使用4D哈希编码的位移，如我们的重建器中。然后，我们使用获得的动画网格讨论渲染方案，从动态纹理到各种带宽设置下的Lumigraph渲染。为了在质量和带宽之间取得复杂的平衡，我们通过首先渲染6个虚拟视图来涵盖表演者，然后进行闭塞感知的神经纹理融合，提出一个分层解决方案。我们证明了我们方法在各种平台上的各种基于网格的应用程序和照片真实的自由观看体验中的功效，即，通过移动AR插入虚拟人类的表演，或通过移动AR插入真实环境，或带有VR头戴式的人才表演。

虚拟网格是在线通信的未来。服装是一个人身份和自我表达的重要组成部分。然而，目前，在培训逼真的布置动画的远程介绍模型的必需分子和准确性中，目前无法使用注册衣服的地面真相数据。在这里，我们提出了一条端到端的管道，用于建造可驱动的服装代表。我们方法的核心是一种多视图图案的布跟踪算法，能够以高精度捕获变形。我们进一步依靠跟踪方法生产的高质量数据来构建服装头像：一件衣服的表达和完全驱动的几何模型。可以使用一组稀疏的视图来对所得模型进行动画，并产生高度逼真的重建，这些重建忠于驾驶信号。我们证明了管道对现实的虚拟电视应用程序的功效，在该应用程序中，从两种视图中重建了衣服，并且用户可以根据自己的意愿进行选择和交换服装设计。此外，当仅通过身体姿势驱动时，我们表现出一个具有挑战性的场景，我们可驾驶的服装Avatar能够生产出比最先进的面包质量明显更高的逼真的布几何形状。

3D手形状和姿势估计从单一深度地图是一种新的和具有挑战性的计算机视觉问题，具有许多应用。现有方法通过2D卷积神经网络直接回归手网，这导致由于图像中的透视失真导致人工制品。为了解决现有方法的局限性，我们开发HandvoxNet ++，即基于体素的深网络，其3D和图形卷轴以完全监督的方式训练。对我们网络的输入是基于截短的符号距离函数（TSDF）的3D Voxelized-Depth-Map。 handvoxnet ++依赖于两只手形状表示。第一个是手工形状的3D体蛋白化网格，它不保留网状拓扑，这是最准确的表示。第二个表示是保留网状拓扑的手表面。我们通过用基于新的神经图卷曲的网格登记（GCN-Meshreg）或典型的段 - 明智的非刚性重力方法（NRGA ++）来将手表面与Voxelized手形状对齐，通过将手表面对准依靠培训数据。在三个公共基准的广泛评估中，即Synhand5M，基于深度的Hands19挑战和HO-3D，所提出的Handvoxnet ++实现了最先进的性能。在本杂志中，我们在CVPR 2020呈现的先前方法的延伸中，我们分别在Synhand5M和17分数据集上获得41.09％和13.7％的形状对准精度。我们的方法在2020年8月将结果提交到门户网站时，首先在Hands19挑战数据集（任务1：基于深度3D手姿势估计）上排名。

尽管近年来3D人姿势和形状估计方法的性能显着提高，但是现有方法通常在相机或以人为本的坐标系中定义的3D姿势。这使得难以估计使用移动相机捕获的视频的世界坐标系中的人的纯姿势和运动。为了解决这个问题，本文提出了一种用于预测世界坐标系中定义的3D人姿势和网格的相机运动不可知论方法。所提出的方法的核心思想是估计不变选择坐标系的两个相邻的全局姿势（即全局运动）之间的差异，而不是耦合到相机运动的全局姿势。为此，我们提出了一种基于双向门控复发单元（GRUS）的网络，该单元从局部姿势序列预测全局运动序列，由称为全局运动回归（GMR）的关节相对旋转组成。我们使用3DPW和合成数据集，该数据集在移动相机环境中构建，进行评估。我们进行广泛的实验，并经验证明了提出的方法的有效性。代码和数据集可在https://github.com/seonghyunkim1212/gmr获得

We propose an end-to-end deep learning architecture that produces a 3D shape in triangular mesh from a single color image. Limited by the nature of deep neural network, previous methods usually represent a 3D shape in volume or point cloud, and it is non-trivial to convert them to the more ready-to-use mesh model. Unlike the existing methods, our network represents 3D mesh in a graph-based convolutional neural network and produces correct geometry by progressively deforming an ellipsoid, leveraging perceptual features extracted from the input image. We adopt a coarse-to-fine strategy to make the whole deformation procedure stable, and define various of mesh related losses to capture properties of different levels to guarantee visually appealing and physically accurate 3D geometry. Extensive experiments show that our method not only qualitatively produces mesh model with better details, but also achieves higher 3D shape estimation accuracy compared to the state-of-the-art.

图像注册广泛用于医学图像分析中，以提供两个图像之间的空间对应关系。最近提出了利用卷积神经网络（CNN）的基于学习的方法来解决图像注册问题。基于学习的方法往往比基于传统优化的方法快得多，但是从复杂的CNN方法中获得的准确性提高是适度的。在这里，我们介绍了一个新的基于深神经的图像注册框架，名为\ textbf {mirnf}，该框架代表通过通过神经字段实现的连续函数的对应映射。 MIRNF输出的变形矢量或速度向量给定3D坐标为输入。为了确保映射是差异的，使用神经ODE求解器集成了MiRNF的速度矢量输出，以得出两个图像之间的对应关系。此外，我们提出了一个混合坐标采样器以及级联的体系结构，以实现高相似性映射性能和低距离变形场。我们对两个3D MR脑扫描数据集进行了实验，这表明我们提出的框架提供了最新的注册性能，同时保持了可比的优化时间。

传统上，使用漫长的图像处理技术（如FreeSurfer，Cat或civet）解决了磁共振成像的皮质表面重建问题。这些框架需要很长的时间来实时应用不可行，并且对于大规模研究而言是不可行的。最近，已经引入了监督的深度学习方法，以加快这项任务，从而将重建时间从小时到几秒钟。本文将最新的皮质流模型作为蓝图，提出了三个修改，以提高其与现有的表面分析工具的准确性和互操作性，同时又不牺牲其快速推理时间和较低的GPU记忆消耗。首先，我们采用更准确的ODE求解器来减少差异映射近似误差。其次，我们设计了一个例程来产生更平滑的模板网格，避免了由皮质流的基于凸形壳模板中尖锐边缘引起的网格伪像。最后，我们重新铸造表面预测为预测的白色表面的变形，从而导致白色和伴侣表面顶点之间的一对一映射。该映射对于许多现有的表面形态计量学的表面分析工具至关重要。我们将结果方法命名CorticalFlow $^{++} $。使用大规模数据集，我们证明了所提出的更改提供了更高的几何准确性和表面规律性，同时几乎保持了重建时间和GPU记忆要求几乎没有变化。

学习重建3D服装对于在不同的姿势中穿着不同形状的3D人体来说是重要的。以前的作品通常依赖于2D图像作为输入，但是遭受尺度和构成歧义。为了规避由2D图像引起的问题，我们提出了一个原则的框架，服装4D，它使用穿着人的3D点云序列来服装重建。 Garment4D有三个专用步骤：顺序服装登记，典型服装估算和摆动衣服重建。主要挑战是两倍：1）有效的3D特征学习精细细节，2）捕获由服装和人体之间的相互作用引起的服装动力学，特别是对于像裙子这样的松散服装。为了解开这些问题，我们介绍了一种新的提议引导的分层特征网络和迭代图卷积网络，其集成了高级语义特征和低级几何特征，以进行精细细节重建。此外，我们提出了一种用于平滑服装运动的时间变压器。与非参数方法不同，我们的方法的重建服装网格可与人体分离，并且具有很强的解释性，这对于下游任务是期望的。作为本任务的第一次尝试，通过广泛的实验定性和定量地说明了高质量的重建结果。代码在https://github.com/hongfz16/garment4d提供。

Estimating the pose of an object from a monocular image is an inverse problem fundamental in computer vision. The ill-posed nature of this problem requires incorporating deformation priors to solve it. In practice, many materials do not perceptibly shrink or extend when manipulated, constituting a powerful and well-known prior. Mathematically, this translates to the preservation of the Riemannian metric. Neural networks offer the perfect playground to solve the surface reconstruction problem as they can approximate surfaces with arbitrary precision and allow the computation of differential geometry quantities. This paper presents an approach to inferring continuous deformable surfaces from a sequence of images, which is benchmarked against several techniques and obtains state-of-the-art performance without the need for offline training.

Deep learning based 3D reconstruction techniques have recently achieved impressive results. However, while stateof-the-art methods are able to output complex 3D geometry, it is not clear how to extend these results to time-varying topologies. Approaches treating each time step individually lack continuity and exhibit slow inference, while traditional 4D reconstruction methods often utilize a template model or discretize the 4D space at fixed resolution. In this work, we present Occupancy Flow, a novel spatio-temporal representation of time-varying 3D geometry with implicit correspondences. Towards this goal, we learn a temporally and spatially continuous vector field which assigns a motion vector to every point in space and time. In order to perform dense 4D reconstruction from images or sparse point clouds, we combine our method with a continuous 3D representation. Implicitly, our model yields correspondences over time, thus enabling fast inference while providing a sound physical description of the temporal dynamics. We show that our method can be used for interpolation and reconstruction tasks, and demonstrate the accuracy of the learned correspondences. We believe that Occupancy Flow is a promising new 4D representation which will be useful for a variety of spatio-temporal reconstruction tasks.

我们提出了Cortexode，这是一种用于皮质表面重建的深度学习框架。 Cortexode利用神经普通微分方程（ODE）通过学习差异流来使输入表面变形为目标形状。表面上的点的轨迹将其建模为ODE，其中其坐标的衍生物通过可学习的Lipschitz-Conluble变形网络进行了参数化。这为预防自身干扰提供了理论保证。 Cortexode可以集成到基于自动学习的管道上，该管道可在不到5秒钟内有效地重建皮质表面。该管道利用3D U-NET来预测大脑磁共振成像（MRI）扫描的白质分割，并进一步生成代表初始表面的签名距离函数。引入快速拓扑校正以确保对球体的同构。遵循等曲面提取步骤，对两个Cortexode模型进行了训练，以分别将初始表面变形为白质和曲面。在包括新生儿（25-45周），年轻人（22-36岁）和老年受试者（55-90岁）（55-90岁）（55-90岁）的各个年龄段的大规模神经图像数据集上对拟议的管道进行评估。我们的实验表明，与常规处理管道相比，基于Cortexode的管道可以达到平均几何误差的平均几何误差小于0.2mm的平均几何误差。