光学相干断层扫描(OCT)是微尺度的体积成像方式,已成为眼科临床标准。 OCT仪器图像通过栅格扫描整个视网膜上的聚焦光点,从而获取顺序的横截面图像以生成体积数据。收购期间的患者眼动作带来了独特的挑战:可能会发生非刚性,不连续的扭曲,从而导致数据和扭曲的地形测量差距。我们提出了一种新的失真模型和相应的全自动,无参考优化策略,用于在正交栅格扫描,视网膜OCT量中进行计算运动校正。使用新型的,域特异性的时空参数化,可以首次连续校正眼睛运动。时间正则化的参数估计提高了先前空间方法的鲁棒性和准确性。我们在单个映射中在3D中单独校正每个A-SCAN,包括OCT血管造影协议中使用的重复采集。专业的3D前向图像扭曲将中位运行时间降低到<9 s,足够快地供临床使用。我们对18名具有眼病理学的受试者进行了定量评估,并在微扫描过程中证明了准确的校正。横向校正仅受眼震颤的限制,而亚微米可重复性是轴向可重复性的(中位数为0.51 UM中位数),这比以前的工作有了显着改善。这允许评估局灶性视网膜病理学的纵向变化,作为疾病进展或治疗反应的标志,并承诺能够使多种新功能(例如Suppersmplempled/Super-Supersmpled/Super-Super-Super-Super-Spemply/Super-Supertolution Reponstruction and Ransition and Anallys in Dealitaligy Eye the Neurologation疾病中发生的病理眼运动分析。
translated by 谷歌翻译
休息状态功能磁共振成像(FMRI)是一种强大的成像技术,用于研究UTETO脑功能的功能发展。然而,胎儿的不可预测和过度运动具有有限的临床应用,因为它导致可以系统地改变了功能连接模式的大量信号波动。以前的研究专注于在大胎儿头部运动的情况下的运动参数的准确估计,并在每个时间点使用3D单步插值方法来恢复无动态的FMRI图像。这并不保证重建的图像对应于给定获取的数据的FMRI时间序列的最小错误表示。在这里,我们提出了一种基于胎儿FMRI散射切片的四维迭代重建的新技术。在一组真正的临床FMRI胎儿上定量评估所提出的方法的准确性。结果表明与传统的3D插值方法相比,重建质量的改进。
translated by 谷歌翻译
从磁共振成像(MRI)数据(称为颅骨条状)中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富,但通常是针对具有特定采集特性的图像量身定制的,即近乎各向异性的分辨率和T1加权(T1W)MRI对比度,这些分辨率在研究环境中很普遍。结果,现有的工具倾向于适应其他图像类型,例如在诊所常见的快速旋转回声(FSE)MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力,但这些方法面临着类似的负担,因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身,我们引入了Synthstrip,这是一种快速,基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学,强度分布和远远超过现实医学图像范围的完全合成训练数据集,Synthstrip学会了成功推广到各种真实获得的大脑图像,从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效,从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。
translated by 谷歌翻译
在对肺癌患者的放疗治疗期间,需要最小化肿瘤周围健康组织的辐射,这由于呼吸运动和线性加速器系统的潜伏期很难。在拟议的研究中,我们首先使用Lucas-Kanade锥体光流算法来对四个肺癌患者的胸部计算机断层扫描图像进行可变形的图像登记。然后,我们根据先前计算的变形场跟踪靠近肺部肿瘤的三个内部点,并通过使用实时重复学习(RTRL)和梯度剪辑训练的复发神经网络(RNN)预测其位置。呼吸数据非常规规律,在约2.5Hz时采样,并在脊柱方向上包括人工漂移。轨道点的运动幅度范围为12.0mm至22.7mm。最后,我们提出了一种基于线性对应模型和Nadaraya-Watson非线性回归的最初肿瘤图像的恢复和预测3D肿瘤图像的简单方法。与测试集上RNN预测相对应的根平方误差,最大误差和抖动小于使用线性预测和最小平方(LMS)获得的相同性能度量。特别是,与RNN相关的最大预测误差等于1.51mm,比与线性预测和LMS相关的最大误差低16.1%和5.0%。 RTRL的平均预测时间等于119ms,小于400ms标记位置采样时间。预测图像中的肿瘤位置在视觉上似乎是正确的,这通过等于0.955的原始图像和预测图像之间的高平均互相关证实。
translated by 谷歌翻译
临床实践中使用的医学图像是异质的,与学术研究中研究的扫描质量不同。在解剖学,伪影或成像参数不寻常或方案不同的极端情况下,预处理会分解。最需要对这些变化的方法可靠。提出了一种新颖的深度学习方法,以将人脑快速分割为132个区域。提出的模型使用有效的U-NET型网络,并从不同视图和分层关系的交点上受益,以在端到端训练期间融合正交2D平面和脑标签。部署了弱监督的学习,以利用部分标记的数据来进行整个大脑分割和颅内体积(ICV)的估计。此外,数据增强用于通过生成具有较高的脑扫描的磁共振成像(MRI)数据来扩展模型训练,同时保持数据隐私。提出的方法可以应用于脑MRI数据,包括头骨或任何其他工件,而无需预处理图像或性能下降。与最新的一些实验相比,使用了不同的Atlases的几项实验,以评估受过训练模型的分割性能,并且与不同内部和不同内部和不同内部方法的现有方法相比,结果显示了较高的分割精度和鲁棒性。间域数据集。
translated by 谷歌翻译
We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.
translated by 谷歌翻译
来自光学相干断层造影血管造影(OctA)的en面部图像的变形缺陷区(FAZ)是基于该技术的最常见的测量之一。然而,它在诊所的使用受到正常对象的FAZ区域的高变化的限制,而FAZ的体积测量的计算受到Octa扫描表征的高噪音的限制。我们设计了一种算法,该算法利用EN面图像的较高信噪比,以便在单独的丛中的毛细管不重叠的情况下有效地识别3维度(3D)中的内视网膜的毛细管网络。然后通过形态学操作处理网络以识别内视网膜的边界分割内的3D FAZ。为430只眼的数据集计算了不同丛的FAZ音量和区域。然后,使用线性混合效果模型进行测量以识别三组眼睛之间的差异:健康,糖尿病,没有糖尿病视网膜病变(DR)和糖尿病患者。结果表明,不同组之间的FAZ体积差异显着差异,但不在面积测量中。这些结果表明,比平面FAZ,体积FAZ可能是一个更好的诊断探测器。我们介绍的有效方法可以允许在诊所的FAZ音量快速计算,以及提供内视网膜毛细管网络的3D分段。
translated by 谷歌翻译
This paper presents an accurate, highly efficient, and learning-free method for large-scale odometry estimation using spinning radar, empirically found to generalize well across very diverse environments -- outdoors, from urban to woodland, and indoors in warehouses and mines - without changing parameters. Our method integrates motion compensation within a sweep with one-to-many scan registration that minimizes distances between nearby oriented surface points and mitigates outliers with a robust loss function. Extending our previous approach CFEAR, we present an in-depth investigation on a wider range of data sets, quantifying the importance of filtering, resolution, registration cost and loss functions, keyframe history, and motion compensation. We present a new solving strategy and configuration that overcomes previous issues with sparsity and bias, and improves our state-of-the-art by 38%, thus, surprisingly, outperforming radar SLAM and approaching lidar SLAM. The most accurate configuration achieves 1.09% error at 5Hz on the Oxford benchmark, and the fastest achieves 1.79% error at 160Hz.
translated by 谷歌翻译
Coronary Computed Tomography Angiography (CCTA) provides information on the presence, extent, and severity of obstructive coronary artery disease. Large-scale clinical studies analyzing CCTA-derived metrics typically require ground-truth validation in the form of high-fidelity 3D intravascular imaging. However, manual rigid alignment of intravascular images to corresponding CCTA images is both time consuming and user-dependent. Moreover, intravascular modalities suffer from several non-rigid motion-induced distortions arising from distortions in the imaging catheter path. To address these issues, we here present a semi-automatic segmentation-based framework for both rigid and non-rigid matching of intravascular images to CCTA images. We formulate the problem in terms of finding the optimal \emph{virtual catheter path} that samples the CCTA data to recapitulate the coronary artery morphology found in the intravascular image. We validate our co-registration framework on a cohort of $n=40$ patients using bifurcation landmarks as ground truth for longitudinal and rotational registration. Our results indicate that our non-rigid registration significantly outperforms other co-registration approaches for luminal bifurcation alignment in both longitudinal (mean mismatch: 3.3 frames) and rotational directions (mean mismatch: 28.6 degrees). By providing a differentiable framework for automatic multi-modal intravascular data fusion, our developed co-registration modules significantly reduces the manual effort required to conduct large-scale multi-modal clinical studies while also providing a solid foundation for the development of machine learning-based co-registration approaches.
translated by 谷歌翻译
全身动态PET中的受试者运动引入了框架间的不匹配,并严重影响参数成像。传统的非刚性注册方法通常在计算上是强度且耗时的。深度学习方法在快速速度方面实现高精度方面是有希望的,但尚未考虑示踪剂分布变化或整体范围。在这项工作中,我们开发了一个无监督的自动深度学习框架,以纠正框架间的身体运动。运动估计网络是一个卷积神经网络,具有联合卷积长的短期记忆层,充分利用动态的时间特征和空间信息。我们的数据集在90分钟的FDG全身动态PET扫描中包含27个受试者。与传统和深度学习基线相比,具有9倍的交叉验证,我们证明了拟议的网络在增强的定性和定量空间对齐方面获得了卓越的性能在显着降低参数拟合误差中。我们还展示了拟议的运动校正方法的潜力来影响对估计参数图像的下游分析,从而提高了将恶性与良性多代谢区域区分开的能力。一旦受过培训,我们提出的网络的运动估计推理时间比常规注册基线快460倍,表明其潜力很容易应用于临床环境中。
translated by 谷歌翻译
这项工作调查了鲁棒优化运输(OT)的形状匹配。具体而言,我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记,以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后,我们为使用此框架进行形状匹配的主要困难提供解决方案。最后,我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能:部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果,并为挑战性的肺登记任务。我们还释放了PVT1010,这是一个新的公共数据集,1,010对肺血管树,具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明,强大的OT可以为各种注册模型进行快速预订和微调,从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供:https://github.com/uncbiag/robot。
translated by 谷歌翻译
通常,非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图,而其他部件在两个扫描之间堵塞,则重叠区域是两个扫描的子集。在最常规的设置中,没有给出先前的模板形状,并且没有可用的标记或显式特征点对应关系。因此,这种情况是局部匹配问题,其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。
translated by 谷歌翻译
迄今为止,迄今为止,众所周知,对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展,以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法,但优化,建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学:脑,腹部和胸部,方式:超声波,CT,MRI,群体:患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍,这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集,包括稳健性,准确性,合理性和速度,使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性,偏见和重要性,主要是基于深度学习的方法的优越性,并将新的研究方向开放到利用GPU加速的常规优化的混合方法。
translated by 谷歌翻译
通常需要对术前和术后大脑图像进行注册,以评估脑神经胶质瘤治疗的有效性。尽管最近基于深度学习的可变形注册方法在健康的大脑图像方面取得了显着的成功,但由于参考图像中缺乏对应关系,它们中的大多数人将无法与病理相处。在本文中,我们提出了一种基于深度学习的可变形登记方法,该方法共同估计缺乏对应关系和双向变形场的区域。前向后的一致性约束用于帮助从两个图像中缺乏对应关系的体素的切除和复发区域的定位。来自Brats-Reg挑战的3D临床数据的结果表明,与传统和深度学习的注册方法相比,我们的方法可以改善图像对齐方式,无论是否具有成本函数掩盖策略。源代码可在https://github.com/cwmok/dirac上获得。
translated by 谷歌翻译
目的:扫描间动作是$ r_1 $估计中的实质性源,可以预期在$ b_1 $字段更不均匀的地方增加7t。既定的校正方案不转化为7T,因为它需要体线圈参考。在这里,我们介绍了两种越优于既定方法的替代方案。由于它们计算它们不需要体内圈图像的相对敏感性。理论:所提出的方法使用线圈组合的幅度图像来获得相对线圈敏感性。第一方法通过简单的比率有效地计算相对敏感性;第二种通过拟合更复杂的生成模型。方法:使用变量翻转角度(VFA)方法计算$ R_1 $ MAP。在3T和7T中获取多个数据集,在VFA卷的获取之间,没有运动。 $ R_1 $ MAPS在没有修正的情况下,建议的校正和(在3T)与先前建立的校正方案。结果:在3T时,所提出的方法优于基线方法。扫描间运动人工制品也在7T下降。然而,如果还包含位置特定的发射现场效果,则再现性仅在没有运动条件的情况下融合。结论:提出的方法简化了$ R_1 $ MAPS的扫描间运动校正,并且适用于3T和7T,通常不可用。所有方法的开源代码都可公开可用。
translated by 谷歌翻译
We propose a deep learning method for three-dimensional reconstruction in low-dose helical cone-beam computed tomography. We reconstruct the volume directly, i.e., not from 2D slices, guaranteeing consistency along all axes. In a crucial step beyond prior work, we train our model in a self-supervised manner in the projection domain using noisy 2D projection data, without relying on 3D reference data or the output of a reference reconstruction method. This means the fidelity of our results is not limited by the quality and availability of such data. We evaluate our method on real helical cone-beam projections and simulated phantoms. Our reconstructions are sharper and less noisy than those of previous methods, and several decibels better in quantitative PSNR measurements. When applied to full-dose data, our method produces high-quality results orders of magnitude faster than iterative techniques.
translated by 谷歌翻译
Figure 1: Example output from our system, generated in real-time with a handheld Kinect depth camera and no other sensing infrastructure. Normal maps (colour) and Phong-shaded renderings (greyscale) from our dense reconstruction system are shown. On the left for comparison is an example of the live, incomplete, and noisy data from the Kinect sensor (used as input to our system).
translated by 谷歌翻译
机器人超声(US)成像已被视为克服美国自由手检查的局限性,即操作员互操作机构的局限性。 \修订{然而,机器人美国系统在扫描过程中无法对主体运动做出反应,这限制了他们的临床接受。}关于人类超声检查员,他们经常通过重新定位探针甚至重新启动摄取,尤其是因为扫描而对患者的运动做出反应。具有较长结构等肢体动脉的解剖学。为了实现这一特征,我们提出了一个基于视觉的系统来监视受试者的运动并自动更新扫描轨迹,从而无缝获得目标解剖结构的完整3D图像。使用RGB图像中的分段对象掩码开发运动监视模块。一旦受试者移动,机器人将通过使用迭代最接近点算法在移动前后获得的对象的表面点云来停止并重新计算合适的轨迹。之后,为了确保重新定位US探针后的最佳接触条件,使用基于置信的微调过程来避免探针和接触表面之间的潜在间隙。最后,整个系统在具有不均匀表面的人类臂幻象上进行了验证,而对象分割网络也在志愿者上得到验证。结果表明,提出的系统可以对对象运动做出反应,并可靠地提供准确的3D图像。
translated by 谷歌翻译
在这项工作中,我们考虑了成对的跨模式图像注册的任务,这可能会受益于仅利用培训时间可用的其他图像,而这些图像从与注册的图像不同。例如,我们专注于对准主体内的多参数磁共振(MPMR)图像,在T2加权(T2W)扫描和具有高B值(DWI $ _ {high-b} $)的T2加权(T2W)扫描和扩散加权扫描之间。为了在MPMR图像中应用局部性肿瘤,由于相应的功能的可用性,因此认为具有零B值(DWI $ _ {B = 0} $)的扩散扫描被认为更易于注册到T2W。我们使用仅训练成像模态DWI $ _ {b = 0} $从特权模式算法中提出了学习,以支持具有挑战性的多模式注册问题。我们根据356名前列腺癌患者的369组3D多参数MRI图像提出了实验结果图像对,与注册前7.96毫米相比。结果还表明,与经典的迭代算法和其他具有/没有其他方式的经典基于测试的基于学习的方法相比,提出的基于学习的注册网络具有可比或更高准确性的有效注册。这些比较的算法也未能在此具有挑战性的应用中产生DWI $ _ {High-B} $和T2W之间的任何明显改进的对齐。
translated by 谷歌翻译
在过去的十年中,卷积神经网络(Convnets)主导了医学图像分析领域。然而,发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点,在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者,因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中,我们呈现透射帧,一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形,具有两个散晶变体,确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型:患者间脑MRI注册和幻影到CT注册。定性和定量结果表明,传输和其变体导致基线方法的实质性改进,展示了用于医学图像配准的变压器的有效性。
translated by 谷歌翻译