Recently, deep learning approaches have been extensively studied for various problems in chemistry, such as property prediction, virtual screening, de novo molecule design, etc. Despite the impressive successes, separately designed networks for specific tasks are usually required for end-to-end training, so it is often difficult to acquire a unified principle to synergistically combine existing models and training datasets for novel tasks. To address this, here we present a novel multimodal chemical foundation model that can be used for various downstream tasks that require a simultaneous understanding of structure and property. Specifically, inspired by recent advances in pre-trained multi-modal foundation models such as Vision-Language Pretrained models (VLP), we proposed a novel structure-property multi-modal (SPMM) foundation model using the dual-stream transformer with X-shape attention, so that it can align the molecule structure and the chemical properties in a common embedding space. Thanks to the outstanding structure-property unimodal representation, experimental results confirm that SPMM can simultaneously perform molecule generation, property prediction, classification, reaction prediction, etc., which was previously not possible with a single architecture.

由于其高质量的重建以及将现有迭代求解器结合起来的易于性，因此最近将扩散模型作为强大的生成反问题解决器研究。但是，大多数工作都专注于在无噪声设置中解决简单的线性逆问题，这显着不足以使实际问题的复杂性不足。在这项工作中，我们将扩散求解器扩展求解器，以通过后采样的拉普拉斯近似有效地处理一般噪声（非）线性反问题。有趣的是，所得的后验采样方案是扩散采样的混合版本，具有歧管约束梯度，而没有严格的测量一致性投影步骤，与先前的研究相比，在嘈杂的设置中产生了更可取的生成路径。我们的方法表明，扩散模型可以结合各种测量噪声统计量，例如高斯和泊松，并且还有效处理嘈杂的非线性反问题，例如傅立叶相检索和不均匀的脱毛。

扩散模型是强大的生成模型，可使用得分函数模拟扩散过程的反面，以合成噪声数据。扩散模型的采样过程可以解释为求解反向随机微分方程（SDE）或扩散过程的普通微分方程（ODE），通常需要多达数千个离散步骤来生成单个图像。这引发了人们对开发反向S/ODE的有效整合技术的极大兴趣。在这里，我们提出了一种基于得分的采样的正交方法：Denoising MCMC（DMCMC）。 DMCMC首先使用MCMC在数据和方差（或扩散时间）的产品空间中生产样品。然后，使用反向S/ODE积分器来定义MCMC样品。由于MCMC越过数据歧管接近数据，因此为DMCMC生产干净样品的计算成本远小于从噪声中产生干净样品的计算成本。为了验证拟议的概念，我们表明denoing langevin Gibbs（DLG）是DMCMC实例，成功地加速了有关CIFAR10和Celeba-HQ-HQ-256图像生成的这项工作中考虑的所有六个反向S/ODE集成器。值得注意的是，结合了Karras等人的集成商。 （2022）和Song等人的预训练分数模型。 （2021b），DLG达到SOTA结果。在CIFAR10上有限数量的分数功能评估（NFE）设置中，我们有$ 3.86 $ fid，$ \ \ \ \ \ $ \ $ \ $ 2.63 $ fid，$ \ \ \ \ \ \ 20 $ nfe。在Celeba-HQ-256上，我们有$ 6.99 $ fid，$ \ $ \ 160 $ nfe，击败了Kim等人的当前最佳记录。 （2022）在基于分数的型号中，$ 7.16 $ FID，$ 4000 $ NFE。代码：https：//github.com/1202KBS/DMCMC

医学图像中的血管分割是诊断血管疾病和治疗计划的重要任务之一。尽管已经对基于学习的细分方法进行了广泛的研究，但在有监督的方法中需要大量的基础真实标签，并且令人困惑的背景结构使神经网络难以以无监督的方式分割血管。为了解决这个问题，在这里，我们介绍了一种新型的扩散对抗表示学习（DARL）模型，该模型利用具有对抗性学习的降解扩散概率模型，并将其应用于血管分割。特别是，对于自我监管的血管分割，Darl使用扩散模块学习背景图像分布，该模块使生成模块有效地提供了容器表示。同样，通过基于提议的可切换在空间自适应的否定规范化的对抗学习，我们的模型估计了合成的假船只图像以及船舶分割掩码，这进一步使模型捕获了辅助血管的语义信息。一旦训练了提出的模型，该模型就会生成一个步骤，并可以应用于冠状动脉血管造影和视网膜图像的一般血管结构分割。各种数据集的实验结果表明，我们的方法在船舶分割中的现有无监督和自我监督方法的表现显着胜过。

要了解深层relu网络的动态，我们通过将其分解为级级$ w（t）$ and Angle $ \ phi（t）：= \ pi- \ theta，研究了梯度流量$ W（t）$的动态系统（t）$组件。特别是，对于具有球形对称数据分布和平方损耗函数的多层单晶元神经元，我们为大小和角度成分提供上限和下限，以描述梯度流动的动力学。使用获得的边界，我们得出结论，小规模初始化会导致深单重质神经元的缓慢收敛速度。最后，通过利用梯度流和梯度下降的关系，我们将结果扩展到梯度下降方法。所有理论结果均通过实验验证。

视觉预训练的最新进展表明，在不同的视觉任务中表现出惊人的表现，阐明了对人工智能研究中对视觉和文本概念的全面理解的长期问题。但是，在医学领域的视觉预训练的应用方面取得了有限数量和多样性阻碍了对联合视觉语言概念的成功学习。在这项研究中，我们介绍了Max-VL，这是一种针对医疗领域中有效视觉预训练的模型。我们在实验上证明，预先训练的MAX-VL模型在各种视觉任务中都优于当前最新视觉语言模型。我们还提出了用于诊断新出现疾病和人为错误检测的临床实用性，并显示了该模型在不同领域数据中的广泛适用性。

扩散模型已显示出令人印象深刻的图像产生性能，并已用于各种计算机视觉任务。不幸的是，使用扩散模型的图像生成非常耗时，因为它需要数千个采样步骤。为了解决这个问题，我们在这里提出了一种新型的金字塔扩散模型，以使用训练有位置嵌入的单个分数函数从更粗的分辨率图像开始生成高分辨率图像。这使图像生成的时间效率抽样可以解决，并在资源有限的训练时也可以解决低批量的大小问题。此外，我们表明，使用单个分数函数可以有效地用于多尺度的超分辨率问题。

低剂量和高剂量CT图像的采集条件通常是不同的，因此CT数字的变化经常发生。因此，学习目标图像分布的无监督深度学习方法通常会引入CT数字扭曲，并在诊断性能中造成不利影响。为了解决这个问题，我们在这里提出了一种新颖的无监督学习方法，用于使用贴剂深度度量学习进行低水平CT重建。关键的想法是通过拉动具有相同解剖结构的图像贴片的正面对来学习嵌入空间，并推动具有相同噪声水平的负对。因此，该网络经过训练以抑制噪声水平，同时即使在图像翻译后仍保留原始的全局CT数字分布。实验结果证实，我们的深度度量学习在产生没有CT数字的高质量DeNocied图像中起着至关重要的作用。

具有3D+T（4D）信息的时间体积图像通常用于医学成像中，以统计分析时间动力学或捕获疾病进展。尽管已经对自然图像的基于深度学习的生成模型进行了广泛的研究，但时间医学图像生成（例如4D心脏量数据）的方法受到限制。在这项工作中，我们提出了一个新颖的深度学习模型，该模型在源和目标体积之间产生了中间时间的体积。具体而言，我们通过调整最近对现实图像产生的非转化扩散概率模型来提出扩散可变形模型（DDM）。我们提出的DDM由扩散和变形模块组成，因此DDM可以在源和目标量之间学习空间变形信息，并提供潜在的代码，用于沿着测量路径生成中间帧。一旦训练了我们的模型，从扩散模块估算的潜在代码将简单地插入并馈入变形模块，该模块使DDM能够沿着连续轨迹生成时间帧，同时保留源图像的拓扑。我们证明了每个受试者舒张期和收缩期之间的4D心脏MR图像产生的提议方法。与现有的变形方法相比，我们的DDM在时间体积生成上实现了高性能。

胃内窥镜筛查是在早期决定适当的胃癌（GC）治疗的有效方法，从而降低了与GC相关的死亡率。尽管人工智能（AI）带来了一个巨大的希望，可以帮助病理学家筛选数字化整个幻灯片图像，但现有的AI系统受到细粒癌症亚赛的限制，在计划癌症治疗方面几乎没有可用性。我们提出了一个实用的AI系统，该系统可以实现五个GC病理的亚分类，可以直接与一般的GC治疗指南相匹配。 AI系统旨在通过模仿人类病理学家理解组织学的方式，通过使用2阶段混合视觉变压器（VIT）网络通过多尺度的自我注意力转换器（VIT）网络通过多尺度的自我发项机制来有效区分多级GC。 AI系统通过在多中心队列中达到1,212张幻灯片，通过达到高于0.85的类平均灵敏度来显示可靠的诊断性能。此外，与人类病理学家相比，AI辅助病理学家显示出12％的诊断敏感性显着提高了12％。我们的结果表明，在实际临床环境中，AI辅助胃内窥镜筛查具有提供假定的病理学意见和适当的胃癌癌症治疗的巨大潜力。