Human organs constantly undergo anatomical changes due to a complex mix of short-term (e.g., heartbeat) and long-term (e.g., aging) factors. Evidently, prior knowledge of these factors will be beneficial when modeling their future state, i.e., via image generation. However, most of the medical image generation tasks only rely on the input from a single image, thus ignoring the sequential dependency even when longitudinal data is available. Sequence-aware deep generative models, where model input is a sequence of ordered and timestamped images, are still underexplored in the medical imaging domain that is featured by several unique challenges: 1) Sequences with various lengths; 2) Missing data or frame, and 3) High dimensionality. To this end, we propose a sequence-aware diffusion model (SADM) for the generation of longitudinal medical images. Recently, diffusion models have shown promising results on high-fidelity image generation. Our method extends this new technique by introducing a sequence-aware transformer as the conditional module in a diffusion model. The novel design enables learning longitudinal dependency even with missing data during training and allows autoregressive generation of a sequence of images during inference. Our extensive experiments on 3D longitudinal medical images demonstrate the effectiveness of SADM compared with baselines and alternative methods.

U-shaped networks are widely used in various medical image tasks, such as segmentation, restoration and reconstruction, but most of them usually rely on centralized learning and thus ignore privacy issues. To address the privacy concerns, federated learning (FL) and split learning (SL) have attracted increasing attention. However, it is hard for both FL and SL to balance the local computational cost, model privacy and parallel training simultaneously. To achieve this goal, in this paper, we propose Robust Split Federated Learning (RoS-FL) for U-shaped medical image networks, which is a novel hybrid learning paradigm of FL and SL. Previous works cannot preserve the data privacy, including the input, model parameters, label and output simultaneously. To effectively deal with all of them, we design a novel splitting method for U-shaped medical image networks, which splits the network into three parts hosted by different parties. Besides, the distributed learning methods usually suffer from a drift between local and global models caused by data heterogeneity. Based on this consideration, we propose a dynamic weight correction strategy (\textbf{DWCS}) to stabilize the training process and avoid model drift. Specifically, a weight correction loss is designed to quantify the drift between the models from two adjacent communication rounds. By minimizing this loss, a correction model is obtained. Then we treat the weighted sum of correction model and final round models as the result. The effectiveness of the proposed RoS-FL is supported by extensive experimental results on different tasks. Related codes will be released at https://github.com/Zi-YuanYang/RoS-FL.

高性能深度学习方法通​​常依赖于大型注释培训数据集，由于医疗图像标签的高成本，在许多临床应用中很难获得。现有的数据评估方法通常需要事先了解标签，而这些标签是不可行的，以实现“知道要标记的数据”的目标。为此，我们制定并提出了一种新颖有效的数据评估策略，指数边缘奇异值（检查）得分，以根据通过自我求助的学习（SSL）网络提取的有用的潜在表示，对未标记的医学图像数据进行排名。 。由SSL嵌入空间的理论含义激励，我们利用蒙版的自动编码器进行特征提取。此外，在排除数据集中的数据点之后，我们根据最大奇异值的边际变化评估数据质量。我们对病理数据集进行了广泛的实验。我们的结果表明，我们提出的方法选择最有价值的数据的有效性和效率。

现有的可解释人工智能（XAI）算法的界限仅限于技术用户对解释性的需求所基于的问题。这项研究范式不成比例地忽略了XAI的非技术最终用户的较大群体，他们没有技术知识，但需要在其AI-ASS辅助批判性决定中进行解释。缺乏以解释性为重点的功能支持可能会阻碍在医疗保健，刑事司法，金融和自动驾驶系统等高风险领域中对AI的安全和负责任的使用。在这项工作中，我们探讨了如何设计为最终用户的关键任务量身定制的XAI如何激发新技术问题的框架。为了引起用户对XAI算法的解释和要求，我们首先将八个解释表格确定为AI研究人员和最终用户之间的通信工具，例如使用功能，示例或规则来解释。然后，我们在实现不同的解释目标（例如验证AI决策并改善用户的预测结果）的背景下，使用32名外行参与者进行用户研究。基于用户研究结果，我们确定并提出新颖的XAI技术问题，并根据用户的解释目标提出评估度量验证能力。我们的工作表明，在最终用户使用XAI中解决技术问题可以激发新的研究问题。这样的最终用户启发的研究问题有可能通过使人工智能民主化并确保在关键领域中对AI负责使用，从而促进社会利益。

联合学习（FL）是一种趋势培训范式，用于利用分散培训数据。 FL允许客户端在本地更新几个时期的模型参数，然后将它们共享到全局模型以进行聚合。在聚集之前，该训练范式具有多本地步骤更新，使对抗性攻击暴露了独特的漏洞。对手训练是一种流行而有效的方法，可以提高网络对抗者的鲁棒性。在这项工作中，我们制定了一种一般形式的联邦对抗学习（FAL），该形式是从集中式环境中的对抗性学习改编而成的。在FL培训的客户端，FAL具有一个内部循环，可以生成对抗性样本进行对抗训练和外循环以更新本地模型参数。在服务器端，FAL汇总了本地模型更新并广播聚合的模型。我们设计了全球强大的训练损失，并将FAL培训作为最小最大优化问题。与依赖梯度方向的经典集中式培训中的收敛分析不同，由于三个原因，很难在FAL中分析FAL的收敛性：1）Min-Max优化的复杂性，2）模型未在梯度方向上更新聚合之前的客户端和3）客户间异质性的多局部更新。我们通过使用适当的梯度近似和耦合技术来应对这些挑战，并在过度参数化的制度中介绍收敛分析。从理论上讲，我们的主要结果表明，我们的算法下的最小损失可以收敛到$ \ epsilon $ Small，并具有所选的学习率和交流回合。值得注意的是，我们的分析对于非IID客户是可行的。

图像恢复算法（例如超级分辨率（SR））是低质量图像中对象检测的必不可少的预处理模块。这些算法中的大多数假定降解是固定的，并且已知先验。但是，实际上，实际降解或最佳的上采样率是未知或与假设不同的，导致预处理模块和随之而来的高级任务（例如对象检测）的性能恶化。在这里，我们提出了一个新颖的自我监督框架，以检测低分辨率图像降解的对象。我们利用下采样降解作为一种自我监督信号的一种转换，以探索针对各种分辨率和其他退化条件的模棱两可的表示。自我设计（AERIS）框架中的自动编码分辨率可以进一步利用高级SR体系结构，并使用任意分辨率恢复解码器，以从退化的输入图像中重建原始对应关系。表示学习和对象检测均以端到端的培训方式共同优化。通用AERIS框架可以在具有不同骨架的各种主流对象检测架构上实现。广泛的实验表明，与现有方法相比，我们的方法在面对变化降解情况时取得了卓越的性能。代码将在https://github.com/cuiziteng/eccv_aeris上发布。

胃肠道内窥镜手术（GES）对仪器的大小和远端灵巧性有很高的要求，因为内窥镜通道狭窄和曲折的人类胃肠道。本文利用镍钛（NITI）电线来开发微型3-DOF（俯仰 - 翻译）柔性平行机器人手腕（FPRW）。此外，我们在手腕的连接界面上组装了一把电刀，然后对其进行了毛细管，以在猪胃中进行内窥镜粘膜下清扫术（ESD）。每个ESD工作流程中的有效性能证明了设计的FPRW具有足够的工作空间，高远端灵量和高定位精度。

基于深度学习的图像合成技术已在医疗研究中应用，用于生成医学图像以支持开放研究。培训生成的对抗神经网络（GAN）通常需要大量的培训数据。联合学习（FL）提供了一种使用来自不同医疗机构的分布式数据培训中心模型的方法，同时在本地保留原始数据。但是，FL容易受到后门攻击的攻击，这是通过中毒训练数据的对抗性攻击，因为中央服务器无法直接访问原始数据。大多数后门攻击策略都集中在分类模型和集中域。在这项研究中，我们提出了一种通过在后门攻击分类模型中使用常用的数据中毒策略来治疗歧视者来攻击联邦GAN（FEDGAN）的方法。我们证明，添加一个小扳机，其大小少于原始图像尺寸的0.5％会破坏FL-GAN模型。根据拟议的攻击，我们提供了两种有效的防御策略：全球恶意检测和当地培训正规化。我们表明，将两种防御策略结合起来会产生强大的医疗形象。

人的大脑位于复杂的神经生物学系统的核心，神经元，电路和子系统以神秘的方式相互作用。长期以来，了解大脑的结构和功能机制一直是神经科学研究和临床障碍疗法的引人入胜的追求。将人脑作为网络的连接映射是神经科学中最普遍的范例之一。图神经网络（GNN）最近已成为建模复杂网络数据的潜在方法。另一方面，深层模型的可解释性低，从而阻止了他们在医疗保健等决策环境中的使用。为了弥合这一差距，我们提出了一个可解释的框架，以分析特定的利益区域（ROI）和突出的联系。提出的框架由两个模块组成：疾病预测的面向脑网络的主链模型和全球共享的解释发生器，该模型突出了包括疾病特异性的生物标志物，包括显着的ROI和重要连接。我们在三个现实世界中的脑疾病数据集上进行实验。结果证明了我们的框架可以获得出色的性能并确定有意义的生物标志物。这项工作的所有代码均可在https://github.com/hennyjie/ibgnn.git上获得。

尽管最近在半监督联合学习（FL）进行医学图像诊断方面取得了进展，但未确定未标记的客户之间的类别分布不平衡的问题仍未解决。在本文中，我们研究了类不平衡的半监督FL（IMFED-SEMI）的实用但具有挑战性的问题，该问题使所有客户端仅具有未标记的数据，而服务器只有少量标记的数据。新型动态银行学习计划解决了这个IMFED-SEMI问题，该计划通过利用班级比例信息来改善客户培训。该方案由两个部分组成，即，为每个本地客户端提取各种类比例的动态银行构建，以及分类分类，以强加本地模型以学习不同的类比例。我们评估了两个公共现实世界中医学数据集的方法，包括25,000 CT切片的颅内出血诊断和10,015个皮肤镜图像的皮肤病变诊断。与第二好的精度以及全面的分析研究相比，我们的方法的有效性已得到了显着改善（7.61％和4.69％）的验证（7.61％和4.69％）。代码可在https://github.com/med-air/imfedsemi上找到。