Prostate cancer (PCa) is one of the most prevalent cancers in men and many people around the world die from clinically significant PCa (csPCa). Early diagnosis of csPCa in bi-parametric MRI (bpMRI), which is non-invasive, cost-effective, and more efficient compared to multiparametric MRI (mpMRI), can contribute to precision care for PCa. The rapid rise in artificial intelligence (AI) algorithms are enabling unprecedented improvements in providing decision support systems that can aid in csPCa diagnosis and understanding. However, existing state of the art AI algorithms which are based on deep learning technology are often limited to 2D images that fails to capture inter-slice correlations in 3D volumetric images. The use of 3D convolutional neural networks (CNNs) partly overcomes this limitation, but it does not adapt to the anisotropy of images, resulting in sub-optimal semantic representation and poor generalization. Furthermore, due to the limitation of the amount of labelled data of bpMRI and the difficulty of labelling, existing CNNs are built on relatively small datasets, leading to a poor performance. To address the limitations identified above, we propose a new Zonal-aware Self-supervised Mesh Network (Z-SSMNet) that adaptatively fuses multiple 2D, 2.5D and 3D CNNs to effectively balance representation for sparse inter-slice information and dense intra-slice information in bpMRI. A self-supervised learning (SSL) technique is further introduced to pre-train our network using unlabelled data to learn the generalizable image features. Furthermore, we constrained our network to understand the zonal specific domain knowledge to improve the diagnosis precision of csPCa. Experiments on the PI-CAI Challenge dataset demonstrate our proposed method achieves better performance for csPCa detection and diagnosis in bpMRI.

Outcome prediction is crucial for head and neck cancer patients as it can provide prognostic information for early treatment planning. Radiomics methods have been widely used for outcome prediction from medical images. However, these methods are limited by their reliance on intractable manual segmentation of tumor regions. Recently, deep learning methods have been proposed to perform end-to-end outcome prediction so as to remove the reliance on manual segmentation. Unfortunately, without segmentation masks, these methods will take the whole image as input, such that makes them difficult to focus on tumor regions and potentially unable to fully leverage the prognostic information within the tumor regions. In this study, we propose a radiomics-enhanced deep multi-task framework for outcome prediction from PET/CT images, in the context of HEad and neCK TumOR segmentation and outcome prediction challenge (HECKTOR 2022). In our framework, our novelty is to incorporate radiomics as an enhancement to our recently proposed Deep Multi-task Survival model (DeepMTS). The DeepMTS jointly learns to predict the survival risk scores of patients and the segmentation masks of tumor regions. Radiomics features are extracted from the predicted tumor regions and combined with the predicted survival risk scores for final outcome prediction, through which the prognostic information in tumor regions can be further leveraged. Our method achieved a C-index of 0.681 on the testing set, placing the 2nd on the leaderboard with only 0.00068 lower in C-index than the 1st place.

多模式性荧光脱氧葡萄糖（FDG）正电子发射断层扫描 /计算机断层扫描（PET / CT）已常规用于评估常见癌症，例如肺癌，淋巴瘤和黑色素瘤。这主要归因于以下事实：PET/CT结合了对PET肿瘤检测的高灵敏度和CT的解剖学信息。在PET/CT图像评估中，自动肿瘤分割是重要的一步，近年来，基于深度学习的方法已成为最新方法。不幸的是，现有的方法倾向于过度细分肿瘤区域，并包括正常摄取器官，炎症和其他感染等区域。在这项研究中，我们引入了一个假阳性还原网络以克服这一限制。我们首先引入了一个自制的预训练的全球分割模块，以使用自我监督的预训练的编码器粗糙地描绘候选肿瘤区域。然后，通过局部细化模块去除假阳性来完善候选肿瘤区域。我们对MICCAI 2022自动病变分割的实验在全身FDG-PET/CT（AUTOPET）挑战数据集中表明，我们的方法在初步测试数据中获得了0.9324的骰子得分，并在排行榜上排名第一。我们的方法在最终测试数据的前7位方法中也排名，最终排名将在2022 MICCAI AUTOPET研讨会期间宣布。我们的代码可在以下网址提供：https：//github.com/yigepeng/autopet_false_posisity_reduction。

可变形图像注册是医学图像分析中的关键步骤，用于在一对固定图像和移动图像之间找到非线性空间转换。基于卷积神经网络（CNN）的深度注册方法已被广泛使用，因为它们可以快速和端到端的方式执行图像注册。但是，这些方法通常对具有较大变形的图像对的性能有限。最近，迭代深度注册方法已被用来减轻这种限制，在这种限制中，转换以粗到精细的方式迭代学习。但是，迭代方法不可避免地会延长注册运行时，并倾向于学习每次迭代的单独图像特征，从而阻碍了功能的利用，以便在以后的迭代时促进注册。在这项研究中，我们提出了一个非详细的粗到十五个注册网络（NICE-NET），用于可变形图像注册。在Nice-Net中，我们提出：（i）单个深度累积学习（SDCL）解码器，可以在网络的单个通过（迭代）中累积地学习粗到5的转换，以及（ii）选择性地 - 传播功能学习（SFL）编码器，可以为整个粗到精细的注册过程学习通用图像功能，并根据需要选择性地传播功能。在3D脑磁共振成像（MRI）的六个公共数据集上进行了广泛的实验表明，我们提出的Nice-NET可以超越最新的迭代深度注册方法，而仅需要与非辅助方法类似的运行时间。

运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而，通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法，易于产生令人难以置信的估计，尤其是在大运动的情况下。在这项研究中，我们提供了一种新颖的稀疏密度（DSD）的运动估计框架，其包括两个阶段。在第一阶段，我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑，并丢弃对运动估计不必要的冗余信息。为此目的，我们介绍一个无监督的3D地标检测网络，以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段，我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后，我们通过将稀疏地标位移突出回致密图像域，呈现运动重建网络来构造运动场。此外，我们从我们的两级DSD框架中使用估计的运动场作为初始化，并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法，分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比，我们的方法产生了出色的运动估计精度。此外，广泛的实验结果表明，我们的解决方案可以提取良好代表性解剖标志，而无需手动注释。我们的代码在线公开提供。

鼻咽癌（NPC）是由鼻咽引起的恶性上皮癌。生存预测是NPC患者的主要关注点，因为它提供了早期的预后信息来计划治疗。最近，基于深度学习的深层生存模型已经证明了胜过基于传统放射素学的生存预测模型的潜力。深度存活模型通常使用覆盖整个目标区域的图像贴片（例如，NPC的鼻咽）或仅包含分段肿瘤区域作为输入。但是，使用整个目标区域的模型还将包括非相关的背景信息，而使用分段肿瘤区域的模型将无视原发性肿瘤不存在的潜在预后信息（例如，局部淋巴结转移和相邻的组织侵入）。在这项研究中，我们提出了一个3D端到端的深层多任务生存模型（DEEPMTS），用于从预处理PET/CT的晚期NPC中进行关节存活预测和肿瘤分割。我们的新颖性是引入硬分段分割主链，以指导与原发性肿瘤相关的局部特征的提取，从而减少了非相关背景信息的干扰。此外，我们还引入了一个级联的生存网络，以捕获原发性肿瘤中存在的预后信息，并进一步利用从分段主链中得出的全球肿瘤信息（例如，肿瘤的大小，形状和位置）。我们使用两个临床数据集进行的实验表明，我们的DEEPMT始终超过传统的基于放射线学的生存预测模型和现有的深层生存模型。

监督深度学习方法的最新进展是使用面部视频实现基于光电觉描绘的生理信号的远程测量。然而，这些监督方法的性能取决于大标记数据的可用性。作为自我监督方法的对比学习，最近通过最大化不同增强视图之间的互信息来实现学习代表数据特征的最先进的性能。然而，用于对比学学习的现有数据增强技术不是设计用于从视频中学习来自视频的生理信号，并且当存在复杂的噪声和微妙和微妙和周期性的颜色或视频帧之间的形状变化时，通常会失败。为了解决这些问题，我们为远程生理信号表示学习提供了一种新的自我监督的时空学习框架，其中缺乏标记的培训数据。首先，我们提出了一种基于地标的空间增强，其基于Shafer Dichromatic反射模型将面部分成几个信息部件，以表征微妙的肤色波动。我们还制定了一种基于稀疏的时间增强，利用奈奎斯特 - 香农采样定理来通过建模生理信号特征有效地捕获周期性的时间变化。此外，我们介绍了一个受限制的时空损失，为增强视频剪辑产生伪标签。它用于调节训练过程并处理复杂的噪声。我们在3个公共数据集中评估了我们的框架，并展示了比其他自我监督方法的卓越表现，并与最先进的监督方法相比实现了竞争精度。

黑色素瘤的鉴定涉及使用临床和Dermoscopy模式获得的皮肤病变图像的综合分析。 Dermospopic图像提供了补充宏观临床图像的地下视觉结构的详细视图。黑色素瘤诊断通常基于7点视觉类别清单（7PC）。 7PC包含可以帮助分类的类别之间的内在关系，例如共享特征，相关性以及类别对诊断的贡献。手动分类是主观的，容易出现和interobserver变异性。这为改善诊断的自动化方法提供了机会。目前的最先进方法侧重于单个图像模态并忽略另一个图像，或者不完全利用两种方式的互补信息。此外，没有一种方法来利用7PC中的interCategory关系。在这项研究中，我们通过提出具有两个模块的基于图形的InterCategory和帧间性网络（GIIN）来解决这些问题。基于图形的关系模​​块（GRM）利用基间关系，多语句关系，并通过在图形网络中编码类别表示来利用Dermicoctop的视觉结构细节。嵌入学习模块（CELM）的类别捕获每个类别专门的表示并支持GRM。我们表明我们的模块在使用Dermoscopy临床图像的公共数据集中增强分类性能，并表明我们的方法在分类7PC类别和诊断时表现出最先进的。

目的：基于深度学习的放射素学（DLR）在医学图像分析中取得了巨大的成功，并被认为是依赖手工特征的常规放射线学的替代。在这项研究中，我们旨在探索DLR使用预处理PET/CT预测鼻咽癌（NPC）中5年无进展生存期（PFS）的能力。方法：总共招募了257名患者（内部/外部队列中的170/87），具有晚期NPC（TNM III期或IVA）。我们开发了一个端到端的多模式DLR模型，其中优化了3D卷积神经网络以从预处理PET/CT图像中提取深度特征，并预测了5年PFS的概率。作为高级临床特征，TNM阶段可以集成到我们的DLR模型中，以进一步提高预后性能。为了比较常规放射素学和DLR，提取了1456个手工制作的特征，并从54种特征选择方法和9种分类方法的54个交叉组合中选择了最佳常规放射线方法。此外，使用临床特征，常规放射线学签名和DLR签名进行风险组分层。结果：我们使用PET和CT的多模式DLR模型比最佳常规放射线方法获得了更高的预后性能。此外，多模式DLR模型仅使用PET或仅CT优于单模式DLR模型。对于风险组分层，常规的放射线学签名和DLR签名使内部和外部队列中的高风险患者群体之间有显着差异，而外部队列中的临床特征则失败。结论：我们的研究确定了高级NPC中生存预测的潜在预后工具，表明DLR可以为当前TNM分期提供互补值。

可变形的图像注册对于许多医学图像分析是基础。准确图像注册的关键障碍在于图像外观变化，例如纹理，强度和噪声的变化。这些变化在医学图像中很明显，尤其是在经常使用注册的大脑图像中。最近，使用深神经网络的基于深度学习的注册方法（DLR）显示了计算效率，比基于传统优化的注册方法（ORS）快几个数量级。 DLR依靠一个全球优化的网络，该网络经过一组培训样本训练以实现更快的注册。但是，DLR倾向于无视ORS固有的目标对特异性优化，因此已经降低了对测试样品变化的适应性。这种限制对于注册出现较大的医学图像的限制是严重的，尤其是因为很少有现有的DLR明确考虑了外观的变化。在这项研究中，我们提出了一个外观调整网络（AAN），以增强DLR对外观变化的适应性。当我们集成到DLR中时，我们的AAN提供了外观转换，以减少注册过程中的外观变化。此外，我们提出了一个由解剖结构约束的损失函数，通过该函数，我们的AAN产生了解剖结构的转化。我们的AAN被目的设计为容易插入广泛的DLR中，并且可以以无监督和端到端的方式进行合作培训。我们用三个最先进的DLR评估了3D脑磁共振成像（MRI）的三个公共数据集（MRI）。结果表明，我们的AAN始终提高了现有的DLR，并且在注册精度上优于最先进的OR，同时向现有DLR增加了分数计算负载。