Supervised machine learning-based medical image computing applications necessitate expert label curation, while unlabelled image data might be relatively abundant. Active learning methods aim to prioritise a subset of available image data for expert annotation, for label-efficient model training. We develop a controller neural network that measures priority of images in a sequence of batches, as in batch-mode active learning, for multi-class segmentation tasks. The controller is optimised by rewarding positive task-specific performance gain, within a Markov decision process (MDP) environment that also optimises the task predictor. In this work, the task predictor is a segmentation network. A meta-reinforcement learning algorithm is proposed with multiple MDPs, such that the pre-trained controller can be adapted to a new MDP that contains data from different institutes and/or requires segmentation of different organs or structures within the abdomen. We present experimental results using multiple CT datasets from more than one thousand patients, with segmentation tasks of nine different abdominal organs, to demonstrate the efficacy of the learnt prioritisation controller function and its cross-institute and cross-organ adaptability. We show that the proposed adaptable prioritisation metric yields converging segmentation accuracy for the novel class of kidney, unseen in training, using between approximately 40\% to 60\% of labels otherwise required with other heuristic or random prioritisation metrics. For clinical datasets of limited size, the proposed adaptable prioritisation offers a performance improvement of 22.6\% and 10.2\% in Dice score, for tasks of kidney and liver vessel segmentation, respectively, compared to random prioritisation and alternative active sampling strategies.

Three-dimensional (3D) freehand ultrasound (US) reconstruction without a tracker can be advantageous over its two-dimensional or tracked counterparts in many clinical applications. In this paper, we propose to estimate 3D spatial transformation between US frames from both past and future 2D images, using feed-forward and recurrent neural networks (RNNs). With the temporally available frames, a further multi-task learning algorithm is proposed to utilise a large number of auxiliary transformation-predicting tasks between them. Using more than 40,000 US frames acquired from 228 scans on 38 forearms of 19 volunteers in a volunteer study, the hold-out test performance is quantified by frame prediction accuracy, volume reconstruction overlap, accumulated tracking error and final drift, based on ground-truth from an optical tracker. The results show the importance of modelling the temporal-spatially correlated input frames as well as output transformations, with further improvement owing to additional past and/or future frames. The best performing model was associated with predicting transformation between moderately-spaced frames, with an interval of less than ten frames at 20 frames per second (fps). Little benefit was observed by adding frames more than one second away from the predicted transformation, with or without LSTM-based RNNs. Interestingly, with the proposed approach, explicit within-sequence loss that encourages consistency in composing transformations or minimises accumulated error may no longer be required. The implementation code and volunteer data will be made publicly available ensuring reproducibility and further research.

前列腺活检和图像引导的治疗程序通常是在与磁共振图像（MRI）的超声指导下进行的。准确的图像融合依赖于超声图像上前列腺的准确分割。然而，超声图像中降低的信噪比和工件（例如，斑点和阴影）限制了自动前列腺分割技术的性能，并将这些方法推广到新的图像域是本质上很难的。在这项研究中，我们通过引入一种新型的2.5D深神经网络来解决这些挑战，用于超声图像上的前列腺分割。我们的方法通过组合有监督的域适应技术和知识蒸馏损失，解决了转移学习和填充方法的局限性（即，在更新模型权重时，在更新模型权重时的性能下降）。知识蒸馏损失允许保留先前学习的知识，并在新数据集上的模型填充后降低性能下降。此外，我们的方法依赖于注意模块，该模块认为模型特征定位信息以提高分割精度。我们对一个机构的764名受试者进行了培训，并仅使用后续机构中的十个受试者对我们的模型进行了审核。我们分析了方法在三个大型数据集上的性能，其中包括来自三个不同机构的2067名受试者。我们的方法达到了平均骰子相似性系数（骰子）为$ 94.0 \ pm0.03 $，而Hausdorff距离（HD95）为2.28 $ mm $，在第一机构的独立受试者中。此外，我们的模型在其他两个机构的研究中都很好地概括了（骰子：$ 91.0 \ pm0.03 $; hd95：3.7 $ mm $ and Dice：$ 82.0 \ pm0.03 $; hd95 $; hd95：7.1 $ mm $）。

在这项工作中，我们考虑了成对的跨模式图像注册的任务，这可能会受益于仅利用培训时间可用的其他图像，而这些图像从与注册的图像不同。例如，我们专注于对准主体内的多参数磁共振（MPMR）图像，在T2加权（T2W）扫描和具有高B值（DWI $ _ {high-b} $）的T2加权（T2W）扫描和扩散加权扫描之间。为了在MPMR图像中应用局部性肿瘤，由于相应的功能的可用性，因此认为具有零B值（DWI $ _ {B = 0} $）的扩散扫描被认为更易于注册到T2W。我们使用仅训练成像模态DWI $ _ {b = 0} $从特权模式算法中提出了学习，以支持具有挑战性的多模式注册问题。我们根据356名前列腺癌患者的369组3D多参数MRI图像提出了实验结果图像对，与注册前7.96毫米相比。结果还表明，与经典的迭代算法和其他具有/没有其他方式的经典基于测试的基于学习的方法相比，提出的基于学习的注册网络具有可比或更高准确性的有效注册。这些比较的算法也未能在此具有挑战性的应用中产生DWI $ _ {High-B} $和T2W之间的任何明显改进的对齐。

通过学习，已经提出了神经网络进行医学图像注册，并具有大量的培训数据，以及图像对之间的最佳转换。这些训练有素的网络可以进一步优化一对测试图像 - 称为测试时间优化。这项工作将图像注册作为一种元学习算法。可以通过对齐训练图像对，同时提高测试时间优化功效来对此网络进行训练；以前被视为两个独立培训和优化过程的任务。假设所提出的元注册以最大化测试时间优化在网络的“外部”元优化中的效率和有效性。对于通常是时间关键但训练数据中限制的图像引导应用程序，将潜在的速度和准确性与经典注册算法，无元学习的注册网络以及没有测试时间优化数据的单对优化进行了比较。本文使用来自108名前列腺癌患者的临床超声超声图像数据进行了实验。这些实验证明了元注册方案的有效性，该方案相对于现有基于学习的方法而产生的性能显着提高。此外，由于其快速的测试时间优化过程，元注册在一小部分时间内与经典迭代方法相当。

自由点变压器（FPT）已被提出为使用深神经网络的数据驱动的，非刚性点设置的注册方法。由于fpt不基于点附近或对应关系假设约束，因此可以通过根据倒角距离最大程度地减少无监督的损失来简单训练它。这使得fpt可以适应现实世界中的医学成像应用，在这些应用程序中可能无法获得地面变形，或者在仅在要对齐的点集中只有不同程度的完整性的情况下。为了测试FPT及其对培训数据集的依赖性的对应关系的限制，这项工作探讨了FPT从良好策划的非医学数据集到医学成像数据集的普遍性。首先，我们在ModelNet40数据集上训练FPT，以证明其有效性和FPT的出色注册性能，而不是基于迭代和学习的点设置注册方法。其次，我们证明了缺少数据的刚性和非刚性注册和鲁棒性的卓越性能。最后，我们通过在没有额外的训练的情况下注册了重建的脊柱和通用脊柱模型的徒手超声扫描，强调了模型网训练的FPT的有趣概括性，从而在13位患者的情况下，对地面真相曲率的平均差异为1.3度。

如果可疑的术前磁共振（MR）图像在超声引导的活检手术过程中，在超声引导的活检程序中，在临床上具有重要意义的前列腺癌有更好的机会进行采样。但是，活检程序的诊断准确性受到操作员依赖性技能和取样目标的经验的限制，这是一个顺序决策过程，涉及导航超声探针并为潜在的多个目标放置一系列采样针。这项工作旨在学习强化学习（RL）政策，以优化2D超声视图和活检针相对于指导模板的连续定位的行为，以便可以有效地进行MR目标进行有效且充分的采样。我们首先将任务作为马尔可夫决策过程（MDP）制定，并构建一个环境，该环境可以根据其解剖结构和从MR图像得出的病变来实际上为个别患者执行靶向动作。因此，在每次活检程序之前，可以通过奖励MDP环境中的阳性采样来优化患者特定的政策。五十四名前列腺癌患者的实验结果表明，拟议的RL学习政策的平均命中率为93％，平均癌症核心长度为11 mm，与人类设计的两种替代基线策略相比，没有手工设计奖励直接最大化这些临床相关指标。也许更有趣的是，发现RL代理商学习了适应病变大小的策略，在该病变大小上，针对小病变的针头的扩散优先考虑。此类策略以前尚未在临床实践中报告或普遍采用，而是与直观设计的策略相比，导致了总体上的靶向性能。

在医学图像分析中需要进行几次学习的能力是对支持图像数据的有效利用，该数据被标记为对新类进行分类或细分新类，该任务否则需要更多的培训图像和专家注释。这项工作描述了一种完全3D原型的几种分段算法，因此，训练有素的网络可以有效地适应培训中缺乏的临床有趣结构，仅使用来自不同研究所的几个标记图像。首先，为了弥补机构在新型类别的情节适应中的广泛认识的空间变异性，新型的空间注册机制被整合到原型学习中，由分割头和空间对齐模块组成。其次，为了帮助训练观察到的不完美比对，提出了支持掩模调节模块，以进一步利用支持图像中可用的注释。使用589个骨盆T2加权MR图像的数据集分割了八个对介入计划的解剖结构的应用，该实验是针对介入八个机构的八个解剖结构的应用。结果证明了3D公式中的每种，空间登记和支持掩模条件的功效，所有这些条件都独立或集体地做出了积极的贡献。与先前提出的2D替代方案相比，不管支持数据来自相同还是不同的机构，都具有统计学意义的少量分割性能。

图像注册可用于量化前列腺癌患者纵向MR图像的形态变化。本文描述了改善基于学习的注册算法的发展，对于这种挑战性的临床应用程序通常具有高度可变但有限的培训数据。首先，我们报告说，潜在空间可以聚集到一个比在经过训练的注册网络深层瓶颈特征的瓶颈特征中通常发现的尺寸空间要低得多。基于此观察结果，我们提出了一种层次量化方法，使用具有约束大小的共同训练的词典来离散学习的特征向量，以改善注册网络的概括。此外，在潜在的量化空间中，独立优化了一种新颖的协作词典，以合并其他先验信息，例如对腺体或其他感兴趣的区域的分割。根据来自86名前列腺癌患者的216张真实临床图像，我们显示了这两个组件的功效。从腺体上的骰子和相应地标的目标登记误差方面，获得了统计学意义的提高注册精度，后者的实现了5.46毫米，而没有量化的基线提高了28.7 \％。实验结果还表明，在训练数据和测试数据之间，性能的差异确实被最小化了。

随着各种科学领域中数据的越来越多，生成模型在科学方法的每个步骤中都具有巨大的潜力来加速科学发现。他们最有价值的应用也许在于传统上提出假设最慢，最具挑战性的步骤。现在，正在从大量数据中学到强大的表示形式，以产生新的假设，这对从材料设计到药物发现的科学发现应用产生了重大影响。 GT4SD（https://github.com/gt4sd/gt4sd-core）是一个可扩展的开放源库，使科学家，开发人员和研究人员能够培训和使用科学发现中假设生成的最先进的生成模型。 GT4SD支持跨材料科学和药物发现的各种生成模型的用途，包括基于与目标蛋白，OMIC剖面，脚手架距离，结合能等性质的分子发现和设计。