Objective: Thigh muscle group segmentation is important for assessment of muscle anatomy, metabolic disease and aging. Many efforts have been put into quantifying muscle tissues with magnetic resonance (MR) imaging including manual annotation of individual muscles. However, leveraging publicly available annotations in MR images to achieve muscle group segmentation on single slice computed tomography (CT) thigh images is challenging. Method: We propose an unsupervised domain adaptation pipeline with self-training to transfer labels from 3D MR to single CT slice. First, we transform the image appearance from MR to CT with CycleGAN and feed the synthesized CT images to a segmenter simultaneously. Single CT slices are divided into hard and easy cohorts based on the entropy of pseudo labels inferenced by the segmenter. After refining easy cohort pseudo labels based on anatomical assumption, self-training with easy and hard splits is applied to fine tune the segmenter. Results: On 152 withheld single CT thigh images, the proposed pipeline achieved a mean Dice of 0.888(0.041) across all muscle groups including sartorius, hamstrings, quadriceps femoris and gracilis. muscles Conclusion: To our best knowledge, this is the first pipeline to achieve thigh imaging domain adaptation from MR to CT. The proposed pipeline is effective and robust in extracting muscle groups on 2D single slice CT thigh images.The container is available for public use at https://github.com/MASILab/DA_CT_muscle_seg

2D低剂量单板腹部计算机断层扫描（CT）切片可直接测量身体成分，这对于对衰老的健康关系进行定量表征至关重要。然而，由于不同年内获得的纵向切片之间的位置方差，使用2D腹部切片对人体成分变化的纵向分析具有挑战性。为了减少位置差异，我们将条件生成模型扩展到我们的C-斜肌，该模型在腹部区域进行任意轴向切片作为条件，并通过估计潜在空间的结构变化来生成定义的椎骨水平切片。对来自内部数据集的1170名受试者的实验和BTCV Miccai挑战赛的50名受试者的实验表明，我们的模型可以从现实主义和相似性方面产生高质量的图像。来自巴尔的摩纵向研究（BLSA）数据集的20名受试者的外部实验，其中包含纵向单腹部切片验证了我们的方法可以在肌肉和内脏脂肪面积方面与切片的位置方差进行协调。我们的方法提供了一个有希望的方向，将切片从不同的椎骨水平映射到目标切片，以减少单个切片纵向分析的位置差异。源代码可在以下网址获得：https：//github.com/masilab/c-slicegen。

Transformer-based models, capable of learning better global dependencies, have recently demonstrated exceptional representation learning capabilities in computer vision and medical image analysis. Transformer reformats the image into separate patches and realize global communication via the self-attention mechanism. However, positional information between patches is hard to preserve in such 1D sequences, and loss of it can lead to sub-optimal performance when dealing with large amounts of heterogeneous tissues of various sizes in 3D medical image segmentation. Additionally, current methods are not robust and efficient for heavy-duty medical segmentation tasks such as predicting a large number of tissue classes or modeling globally inter-connected tissues structures. Inspired by the nested hierarchical structures in vision transformer, we proposed a novel 3D medical image segmentation method (UNesT), employing a simplified and faster-converging transformer encoder design that achieves local communication among spatially adjacent patch sequences by aggregating them hierarchically. We extensively validate our method on multiple challenging datasets, consisting anatomies of 133 structures in brain, 14 organs in abdomen, 4 hierarchical components in kidney, and inter-connected kidney tumors). We show that UNesT consistently achieves state-of-the-art performance and evaluate its generalizability and data efficiency. Particularly, the model achieves whole brain segmentation task complete ROI with 133 tissue classes in single network, outperforms prior state-of-the-art method SLANT27 ensembled with 27 network tiles, our model performance increases the mean DSC score of the publicly available Colin and CANDI dataset from 0.7264 to 0.7444 and from 0.6968 to 0.7025, respectively.

随着自我监督学习的快速发展（例如，对比度学习），在医学图像分析中广泛认识到具有大规模图像（即使没有注释）来训练更具概括的AI模型的重要性。但是，大规模收集大规模任务的未注释数据对于单个实验室来说可能具有挑战性。现有的在线资源（例如数字书籍，出版物和搜索引擎）为获取大型图像提供了新的资源。然而，在医疗保健中发布的图像（例如放射学和病理学）由大量的带有子图的复合图组成。为了提取和分离化合物形象为下游学习的可用单个图像，我们提出了一个简单的复合图分离（SIMCFS）框架，而无需使用传统所需的检测边界框注释，并具有新的损失函数和硬案例模拟。我们的技术贡献是四倍：（1）我们引入了一个基于模拟的培训框架，该框架最小化了对资源广泛的边界框注释的需求； （2）我们提出了一种新的侧损失，可针对复合人物分离进行优化； （3）我们提出了一种阶层内图像增强方法来模拟硬病例； （4）据我们所知，这是第一项评估利用复合图像分离的自我监督学习功效的研究。从结果来看，提出的SIMCF在ImageClef 2016复合人物分离数据库上实现了最先进的性能。使用大规模开采数字的预审预革的学习模型通过对比度学习算法提高了下游图像分类任务的准确性。 SIMCF的源代码可在https://github.com/hrlblab/imageseperation上公开获得。

多实施学习（MIL）被广泛用于对病理整体幻灯片图像（WSIS）的计算机辅助解释，以解决缺乏像素或贴片的注释。通常，这种方法直接应用“自然图像驱动”的MIL算法，该算法忽略了WSIS的多尺度（即金字塔）性质。现成的MIL算法通常部署在单个WSIS（例如20x放大倍率）上，而人类病理学家通常以多尺度的方式汇总全球和局部模式（例如，通过放大不同大型）。在这项研究中，我们提出了一种新型的跨尺度注意机制，以明确地将尺度间相互作用汇总到单个MIL网络的克罗恩病（CD）（CD），这是炎症性肠病的一种形式。本文的贡献是两个方面：（1）提出了一种跨尺度注意机制，以从不同分辨率的多尺度相互作用汇总特征； （2）生成差异多尺度注意的可视化，以定位可解释的病变模式。通过训练来自20名CD患者的约250,000 H＆E染色的上升结肠（AC）斑块，在不同尺度上训练30个健康对照样品，我们的方法在曲线下（AUC）得分为0.8924，与基线模型相比达到0.8924。官方实施可在https://github.com/hrlblab/cs-mil上公开获得。

肺部以外的视野（FOV）组织截断在常规的肺筛查计算机断层扫描（CT）中很常见。这对机会性CT的身体组成（BC）评估构成了局限性，因为缺少关键的解剖结构。传统上，扩展CT的FOV被认为是使用有限数据的CT重建问题。但是，这种方法依赖于应用程序中可能无法使用的投影域数据。在这项工作中，我们从语义图像扩展角度提出问题，该角度仅需要图像数据作为输入。提出的两阶段方法根据完整体的估计范围识别新的FOV边框，并在截短区域中渗出了缺失的组织。使用在FOV中具有完整主体的CT切片对训练样品进行模拟，从而使模型开发自制。我们使用有限FOV的肺筛选CT评估了所提出的方法在自动BC评估中的有效性。提出的方法有效地恢复了缺失的组织并减少了FOV组织截断引入的BC评估误差。在大规模肺部筛查CT数据集的BC评估中，这种校正既可以提高受试者内的一致性和与人体测量近似值的相关性。已开发的方法可在https://github.com/masilab/s-efov上获得。

由于物体的异质尺度，肾脏病理图像的全面语义分割具有挑战性。例如，在整个幻灯片图像（WSI）上，肾小球的横截面区域的距离可能比周围毛细管的64倍，这使得以相同尺度上的同一贴片对两个对象进行分割是不切实际的。为了解决这个缩放问题，先前的研究通常已经训练了多个分割网络，以匹配异质组织类型的最佳像素分辨率。这种多网络解决方案是资源密集型的，无法对组织类型之间的空间关系进行建模。在本文中，我们提出了Omni-Seg+网络，这是一种通过单个神经网络实现多对象（六种组织类型）和多尺度（5倍至40倍尺度）的多尺度（5倍至40倍尺度）的动态神经网络。本文的贡献是三个方面的：（1）提出了一种新型的量表感知控制器，以将动态神经网络从单尺度到多尺度推广； （2）引入了伪标签的半监督一致性正规化，以建模未经注释的组织类型的尺度相关性成单个端到端的学习范式； （3）直接将在人类肾脏图像训练的模型中直接应用于小鼠肾脏图像，而无需再培训，就可以证明高尺度感知的概括。通过从三种不同分辨率下从六种组织类型中学习的约150,000个人类病理图像斑块，我们的方法根据人类的视觉评估和图像词的评估（即空间转录组学）获得了卓越的分割性能。官方实施可在https://github.com/ddrrnn123/omni-seg上获得。

整合跨部门多模式数据（例如，放射学，病理学，基因组和临床数据）无处不在，在脑癌诊断和存活预测中无处不在。迄今为止，这种整合通常是由人类医师（以及专家小组）进行的，可以是主观的和半定量的。然而，多模式深度学习的最新进展已为利用这种过程以更加客观和定量的方式打开了一扇门。不幸的是，先前在脑癌生存预测上使用四种模式的艺术受到“完整模式”设置的限制（即，所有可用方式）。因此，关于如何有效预测脑癌生存的问题仍然存在开放性问题，从放射学，病理学，基因组和人口统计学数据中（例如，可能无法为患者收集一种或多种方式）。例如，我们是否应该同时使用完整和不完整的数据，更重要的是，如何使用这些数据？为了回答前面的问题，我们将跨部门多模式数据的多模式学习推广到缺失的数据设置。我们的贡献是三个方面：1）我们引入了最佳的多模式学习，其中缺少数据（MMD）管道具有优化的硬件消耗和计算效率； 2）我们将有关放射学，病理，基因组和人口统计学数据的多模式学习扩展到缺失的数据情景； 3）收集了一个大规模的公共数据集（有962名患者），以系统地评估胶质瘤肿瘤存活预测。所提出的方法将生存预测的C索引从0.7624提高到0.8053。

微卫星不稳定性（MSI）和微卫星稳定性（MSS）的预测对于预测胃肠癌的治疗响应和预后至关重要。在临床实践中，建议使用通用MSI测试，但这种测试的可访问性是有限的。因此，希望更具成本效益和广泛可接近的工具来覆盖传统上未经测试的患者。在过去的几年中，已经提出了基于深度学习的算法，以预测MSI直接从血红素蛋白和曙红（H＆E） - 染色的整个幻灯片图像（WSIS）。这种算法可以概括为（1）修补程序级MSI / MSS预测，以及（2）患者级聚合。与为第一阶段采用的高级深度学习方法相比，在第二阶段仅采用NA \“IVE一阶统计（例如，平均和计数）。在本文中，我们提出了一个简单而广泛概括的患者级MSI聚合（MAG）方法，以有效地集成贵重补丁级信息。简而言之，第一阶段的整个概率分布被建模为基于直方图的特征，以融合为机器学习的最终结果（例如， SVM）。所提出的MAG方法可以轻松地以即插即用方式使用，这些方法已经在五个广泛使用的深度神经网络上进行了评估：Reset，MobileNetv2，WeparessNet，DPN和ResNext。从结果，所提出的MAG方法始终如一地提高了两个公共数据集的患者级别聚合的准确性。我们希望提出的方法可能会利用基于低成本的H＆E的MSI检测方法。代码o F我们的工作已在HTTPS://github.com/calvin-pang/mag公开提供。

关于Giga-Pixel病理学图像的计算机辅助定量分析提供了精密药物的新大道。该创新主要集中在癌症病理学（即，肿瘤分割和表征）上。在非癌症病理学中，可以要求学习算法同时检查更全面的组织类型，作为多标签设置。现有技术通常需要训练多个分段网络，以匹配非均相组织类型的域特异性知识（例如，肾小球簇，肾小球单元，近端管，远端管，梗塞和动脉）。在本文中，我们提出了一种动态单分割网络（OMNI-SEG），该网络（OMNI-SEG）学习使用部分标记的图像（即，仅针对每个训练图像标记一个组织类型）进行多种组织类型进行肾脏病理学。通过从六种组织类型学习〜150,000的Patch-Wise病理图像，与先前的多网络和多头设计相比，所提出的Omni-SEG网络实现了卓越的分割精度和更少的资源消耗。在测试阶段，所提出的方法仅使用“部分标记”训练图像获得“完全标记的”组织分割结果。源代码可在https://github.com/ddrrnn123/omni-seg中获得。