由于稀疏神经网络通常包含许多零权重，因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此，设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中，我们提出了一种新的自动修剪方法 - 稀疏连接学习（SCL）。具体地，重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此，由二进制掩模完全描述网络连接，其由单位步进函数调制。理论上，从理论上证明了使用直通估计器（STE）进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的，确保掩模变量在其最小值处收敛。在找到泄漏的Relu后，SoftPlus和Identity Stes可以满足这个原理，我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡，因此，我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码，我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数，因此在更大的假设空间中探讨了网络，以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明，SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性，精度和减少脚波特的SOTA人类设计和自动修剪方法训练。

我们提出了一种参数模型，将自由视图图像映射到编码面部形状，表达和外观的矢量空间，即使用神经辐射场，即可变的面部nerf。具体地，MoFanerf将编码的面部形状，表达和外观以及空间坐标和视图方向作为输入，作为输入到MLP，并输出光学逼真图像合成的空间点的辐射。与传统的3D可变模型（3DMM）相比，MoFanerf在直接综合光学逼真的面部细节方面表现出优势，即使是眼睛，嘴巴和胡须也是如此。而且，通过插入输入形状，表达和外观码，可以容易地实现连续的面部。通过引入特定于特定于特定的调制和纹理编码器，我们的模型合成精确的光度测量细节并显示出强的表示能力。我们的模型显示了多种应用的强大能力，包括基于图像的拟合，随机产生，面部索具，面部编辑和新颖的视图合成。实验表明，我们的方法比以前的参数模型实现更高的表示能力，并在几种应用中实现了竞争性能。据我们所知，我们的作品是基于神经辐射场上的第一款，可用于配合，发电和操作。我们的代码和型号在https://github.com/zhuhao-nju/mofanerf中发布。

Point-of-care ultrasound (POCUS) is one of the most commonly applied tools for cardiac function imaging in the clinical routine of the emergency department and pediatric intensive care unit. The prior studies demonstrate that AI-assisted software can guide nurses or novices without prior sonography experience to acquire POCUS by recognizing the interest region, assessing image quality, and providing instructions. However, these AI algorithms cannot simply replace the role of skilled sonographers in acquiring diagnostic-quality POCUS. Unlike chest X-ray, CT, and MRI, which have standardized imaging protocols, POCUS can be acquired with high inter-observer variability. Though being with variability, they are usually all clinically acceptable and interpretable. In challenging clinical environments, sonographers employ novel heuristics to acquire POCUS in complex scenarios. To help novice learners to expedite the training process while reducing the dependency on experienced sonographers in the curriculum implementation, We will develop a framework to perform real-time AI-assisted quality assessment and probe position guidance to provide training process for novice learners with less manual intervention.

The ubiquity of edge devices has led to a growing amount of unlabeled data produced at the edge. Deep learning models deployed on edge devices are required to learn from these unlabeled data to continuously improve accuracy. Self-supervised representation learning has achieved promising performances using centralized unlabeled data. However, the increasing awareness of privacy protection limits centralizing the distributed unlabeled image data on edge devices. While federated learning has been widely adopted to enable distributed machine learning with privacy preservation, without a data selection method to efficiently select streaming data, the traditional federated learning framework fails to handle these huge amounts of decentralized unlabeled data with limited storage resources on edge. To address these challenges, we propose a Federated on-device Contrastive learning framework with Coreset selection, which we call FedCoCo, to automatically select a coreset that consists of the most representative samples into the replay buffer on each device. It preserves data privacy as each client does not share raw data while learning good visual representations. Experiments demonstrate the effectiveness and significance of the proposed method in visual representation learning.

与仅对面部进行建模的早期方法相比，最近的3D面部重建方法重建了整个头部。尽管这些方法准确地重建了面部特征，但它们并未明确调节头部的上部。由于头发的闭塞程度不同，提取有关头部这一部分的信息具有挑战性。我们提出了一种新颖的方法，可以通过去除遮挡头发并重建皮肤，从而揭示有关头部形状的信息来建模上头。我们介绍了三个目标：1）骰子一致性损失，该骰子一致性损失在源的整体形状和渲染图像之间强制相似，2）刻度一致性损失，以确保即使头部的上部不是头部，也可以准确地复制头部形状可见，3）使用移动平均损耗功能训练的71个地标探测器，以检测头部的其他地标。这些目标用于以无监督的方式训练编码器，以从野外输入图像中回归火焰参数。我们无监督的3MM模型可在流行的基准上实现最新的结果，可用于推断动画或阿凡达创建中直接使用的头部形状，面部特征和纹理。

在皮肤病学诊断中，移动皮肤病学助理收集的私人数据存在于患者的分布式移动设备上。联合学习（FL）可以使用分散数据来训练模型，同时保持数据本地化。现有的FL方法假设所有数据都有标签。但是，由于高标签成本，医疗数据通常没有完整的标签。自我监督的学习（SSL）方法，对比度学习（CL）和蒙版自动编码器（MAE）可以利用未标记的数据来预先培训模型，然后用有限的标签进行微调。但是，组合SSL和FL有独特的挑战。例如，CL需要不同的数据，但每个设备仅具有有限的数据。对于MAE而言，尽管基于视觉变压器（VIT）的MAE在集中学习中具有更高的准确性，但尚未研究MAE在未标记数据的FL中的性能。此外，服务器和客户端之间的VIT同步与传统CNN不同。因此，需要设计特殊的同步方法。在这项工作中，我们提出了两个联邦自制的学习框架，用于具有有限标签的皮肤病学诊断。第一个具有较低的计算成本，适用于移动设备。第二个具有高精度，适合高性能服务器。根据CL，我们提出了与功能共享（FedClf）的联合对比度学习。共享功能可用于不同的对比信息，而无需共享原始数据以获得隐私。根据MAE，我们提出了Fedmae。知识拆分将所学的全球知识与每个客户分开。只有全球知识才能汇总为更高的概括性能。关于皮肤病学数据集的实验表明，所提出的框架的精度优于最先进的框架。

皮肤病学疾病对全球健康构成了重大威胁，影响了世界上近三分之一的人口。各种研究表明，早期诊断和干预通常对预后和预后至关重要。为此，在过去的十年中，基于深度学习的智能手机应用程序的快速发展，该应用程序使用户可以方便，及时地识别出围绕皮肤出现的问题。为了收集深度学习所需的足够数据，同时保护患者的隐私，经常使用联合学习，在该数据集合数据集本地的同时汇总了全球模型。但是，现有的联合学习框架主要旨在优化整体性能，而常见的皮肤病学数据集则严重不平衡。在将联合学习应用于此类数据集时，可能会出现明显的诊断准确性差异。为了解决这样的公平问题，本文提出了一个公平意识的联邦学习框架，用于皮肤病学诊断。该框架分为两个阶段：在第一个FL阶段，具有不同皮肤类型的客户在联合学习过程中接受了训练，以构建所有皮肤类型的全球模型。在此过程中，使用自动重量聚合器将更高的权重分配给损失较高的客户，并且聚合器的强度取决于损失之间的差异水平。在后一个FL阶段，每个客户根据FL阶段的全球模型微调了其个性化模型。为了获得更好的公平性，为每个客户选择了来自不同时期的模型，以在0.05内保持不同皮肤类型的准确性差异。实验表明，与最先进的框架相比，我们提出的框架有效地提高了公平性和准确性。

有监督的深度学习需要大量标记的数据才能实现高性能。但是，在医学成像分析中，每个站点可能只有有限的数据和标签，这使得学习无效。联合学习（FL）可以从分散数据中学习共享模型。但是传统的FL需要全标签的数据进行培训，这非常昂贵。自我监督的对比学习（CL）可以从未标记的数据中学习进行预训练，然后进行微调，以有限的注释。但是，在FL中采用CL时，每个站点上的数据多样性有限，使联合对比度学习（FCL）无效。在这项工作中，我们提出了两个联合自制的学习框架，用于体积医学图像分割，并有限注释。第一个具有高精度，并适合高性能服务器，并具有高速连接。第二个具有较低的通信成本，适用于移动设备。在第一个框架中，在FCL期间交换了功能，以向每个站点提供各种对比度数据，以使本地CL保持原始数据的私密性。全局结构匹配将不同站点之间的统一特征空间保持一致。在第二个框架中，为了降低功能交换的通信成本，我们提出了一种优化的方法FCLOPT，该方法不依赖于负样本。为了减少模型下载的通信，我们提出了预测目标网络参数的预测目标网络更新（PTNU）。基于PTNU，我们建议距离预测（DP）以删除目标网络的大多数上传。在心脏MRI数据集上的实验表明，与最先进的技术相比，提出的两个框架显着改善了分割和泛化性能。

变异量子算法（VQA）在NISQ时代表现出巨大的潜力。在VQA的工作流程中，Ansatz的参数迭代更新以近似所需的量子状态。我们已经看到了各种努力，以较少的大门起草更好的安萨兹。在量子计算机中，栅极Ansatz最终将转换为控制信号，例如TransMons上的微波脉冲。并且对照脉冲需要精心校准，以最大程度地减少误差（例如过度旋转和旋转）。在VQA的情况下，此过程将引入冗余，但是VQAS的变异性能自然可以通过更新幅度和频率参数来处理过度旋转和重组的问题。因此，我们提出了PAN，这是一种用于VQA的天然脉冲ANSATZ GENTARATOR框架。我们生成具有可训练参数用于振幅和频率的天然脉冲ansatz。在我们提出的锅中，我们正在调整参数脉冲，这些脉冲在NISQ计算机上得到了内在支持。考虑到本机 - 脉冲ANSATZ不符合参数迁移规则，我们需要部署非级别优化器。为了限制发送到优化器的参数数量，我们采用了一种生成本机 - 脉冲ANSATZ的渐进式方式。实验是在模拟器和量子设备上进行的，以验证我们的方法。当在NISQ机器上采用时，PAN获得的延迟平均提高了86％。 PAN在H2和HEH+上的VQE任务分别能够达到99.336％和96.482％的精度，即使NISQ机器中有很大的噪声。

这项工作提出了一个新颖的框架CISFA（对比图像合成和自我监督的特征适应），该框架建立在图像域翻译和无监督的特征适应性上，以进行跨模式生物医学图像分割。与现有作品不同，我们使用单方面的生成模型，并在输入图像的采样贴片和相应的合成图像之间添加加权贴片对比度损失，该图像用作形状约束。此外，我们注意到生成的图像和输入图像共享相似的结构信息，但具有不同的方式。因此，我们在生成的图像和输入图像上强制实施对比损失，以训练分割模型的编码器，以最大程度地减少学到的嵌入空间中成对图像之间的差异。与依靠对抗性学习进行特征适应的现有作品相比，这种方法使编码器能够以更明确的方式学习独立于域的功能。我们对包含腹腔和全心的CT和MRI图像的分割任务进行了广泛评估。实验结果表明，所提出的框架不仅输出了较小的器官形状变形的合成图像，而且还超过了最先进的域适应方法的较大边缘。