在这项工作中，我们介绍了亲和力-VAE：基于其相似性在多维图像数据中自动聚类和对象分类的框架。该方法扩展了$ \ beta $ -vaes的概念，其基于亲和力矩阵驱动的知情相似性损失组件。与标准的$ \ beta $ -VAE相比，该亲和力VAE能够在潜在表示中创建旋转不变的，形态上均匀的簇，并具有改进的群集分离。我们探讨了2D和3D图像数据上潜在空间的潜在分离和连续性的程度，包括模拟的生物电子冷冻术（Cryo-ET）体积，作为科学应用的一个例子。

用冷冻电子显微镜（Cryo-EM）溶液中生物分子高分辨率成像的近期突破已经解锁了用于重建分子体积的新门，从而有望在其他人之间进一步进一步进展。尽管有很大的入脚，但Cryo-EM数据分析中的巨大挑战仍然是军团和错综复杂的自然间学科，需要物理学家，结构生物学家，计算机科学家，统计学家和应用数学家的见解。同时，最近的下一代卷重建算法与端到端无监督的深度学习技术相结合的生成建模已经显示了对模拟数据的有希望的结果，但在应用于实验Cryo-EM图像时仍然面临相当大的障碍。鉴于此类方法的增殖并鉴于任务的跨学科性质，我们提出了对高分辨率低分辨率建模领域的最近进步的批判性审查。目前的审查旨在（i）比较和对比这些新方法，而（ii）将它们从透视和使用科学家熟悉的术语呈现出来，在任何五个上述领域中没有Cryo-Em中没有具体的背景。审查始于引言介绍低温 - EM批量重建的深度生成模型的数学和计算挑战，同时概述了这类算法中共享的基线方法。通过这些不同的模型建立了常见的线程编织，我们提供了这些最先进的算法的实际比较，突出了它们的相对优势和劣势以及它们依赖的假设。这使我们能够识别当前方法和途径的瓶颈，以便将来的研究。

Deep learning (DL) methods where interpretability is intrinsically considered as part of the model are required to better understand the relationship of clinical and imaging-based attributes with DL outcomes, thus facilitating their use in the reasoning behind medical decisions. Latent space representations built with variational autoencoders (VAE) do not ensure individual control of data attributes. Attribute-based methods enforcing attribute disentanglement have been proposed in the literature for classical computer vision tasks in benchmark data. In this paper, we propose a VAE approach, the Attri-VAE, that includes an attribute regularization term to associate clinical and medical imaging attributes with different regularized dimensions in the generated latent space, enabling a better-disentangled interpretation of the attributes. Furthermore, the generated attention maps explained the attribute encoding in the regularized latent space dimensions. Using the Attri-VAE approach we analyzed healthy and myocardial infarction patients with clinical, cardiac morphology, and radiomics attributes. The proposed model provided an excellent trade-off between reconstruction fidelity, disentanglement, and interpretability, outperforming state-of-the-art VAE approaches according to several quantitative metrics. The resulting latent space allowed the generation of realistic synthetic data in the trajectory between two distinct input samples or along a specific attribute dimension to better interpret changes between different cardiac conditions.

模棱两可的神经网络，其隐藏的特征根据G组作用于数据的表示，表现出训练效率和提高的概括性能。在这项工作中，我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略，其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是，网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件，并提出了对任何G（离散且连续的）有效的构造。我们明确描述了我们的旋转，翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。

以无监督的方式从高维领域提取生成参数的能力是计算物理学中的非常理想尚未实现的目标。这项工作探讨了用于非线性尺寸降低的变形Autiachoders（VAES），其特定目的是{\ EM解散}的特定目标，以识别生成数据的独立物理参数。解除戒开的分解是可解释的，并且可以转移到包括生成建模，设计优化和概率减少阶级型建模的各种任务。这项工作的重大重点是使用VAE来表征解剖学，同时最小地修改经典的VAE损失功能（即证据下限）以保持高重建精度。损耗景观的特点是过度正常的局部最小值，其环绕所需的解决方案。我们通过在模型多孔流量问题中并列在模拟潜在分布和真正的生成因子中，说明了分解和纠缠符号之间的比较。展示了等级前瞻，促进了解除不诚实的表现的学习。在用旋转不变的前沿训练时，正则化损失不受潜在的旋转影响，从而学习非旋转不变的前锋有助于捕获生成因子的性质，改善解剖学。最后，表明通过标记少量样本（$ O（1 \％）$）来实现半监督学习 - 导致可以一致地学习的准确脱屑潜在的潜在表示。

在医学中，精心策划的图像数据集经常采用离散标签来描述所谓的健康状况与病理状况的连续光谱，例如阿尔茨海默氏病连续体或图像在诊断中起关键点的其他领域。我们提出了一个基于条件变异自动编码器的图像分层的体系结构。我们的框架VAESIM利用连续的潜在空间来表示疾病的连续体并在训练过程中找到簇，然后可以将其用于图像/患者分层。该方法的核心学习一组原型向量，每个向量与群集关联。首先，我们将每个数据样本的软分配给群集。然后，我们根据样品嵌入和簇的原型向量之间的相似性度量重建样品。为了更新原型嵌入，我们使用批处理大小中实际原型和样品之间最相似表示的指数移动平均值。我们在MNIST手写数字数据集和名为Pneumoniamnist的医疗基准数据集上测试了我们的方法。我们证明，我们的方法在两个数据集中针对标准VAE的分类任务（性能提高了15％）的KNN准确性优于基准，并且还以完全监督的方式培训的分类模型同等。我们还展示了我们的模型如何优于无监督分层的当前，端到端模型。

带有变异自动编码器（VAE）的学习分解表示通常归因于损失的正则化部分。在这项工作中，我们强调了数据与损失的重建项之间的相互作用，这是VAE中解散的主要贡献者。我们注意到，标准化的基准数据集的构建方式有利于学习似乎是分解的表示形式。我们设计了一个直观的对抗数据集，该数据集利用这种机制破坏了现有的最新分解框架。最后，我们提供了一种解决方案，可以通过修改重建损失来实现分离，从而影响VAES如何感知数据点之间的距离。

变异自动编码器（VAE）是最常用的无监督机器学习模型之一。但是，尽管对先前和后验的高斯分布的默认选择通常代表了数学方便的分布通常会导致竞争结果，但我们表明该参数化无法用潜在的超球体结构对数据进行建模。为了解决这个问题，我们建议使用von Mises-fisher（VMF）分布，从而导致超级潜在空间。通过一系列实验，我们展示了这种超球vae或$ \ mathcal {s} $ - vae如何更适合于用超球形结构捕获数据，同时胜过正常的，$ \ mathcal {n} $ - vae-，在其他数据类型的低维度中。http://github.com/nicola-decao/s-vae-tf和https://github.com/nicola-decao/nicola-decao/s-vae-pytorch

了解生物分子的动力学和热力学概况是为了了解其在机制驱动药物发现中具有重大影响的功能作用。分子动力学模拟已经常规地用于了解生物分子的构象动态和分子识别。来自分子动力学模拟产生的高维时空数据的统计分析需要识别几个低维变量，这可以描述系统的基本动态，而无需显着损失信息。在物理化学中，这些低维变量通常称为集体变量。集体变量用于产生可减少的自由能表面的表示，并计算不同亚稳态盆地之间的过渡概率。然而，复杂系统的集体变量的选择并不琐碎。集体变量范围从几何标准等距离，Dihedral角度到抽象的标准，例如诸如多个几何变量的加权线性组合的抽象线性组合。机器学习算法的出现导致越来越多地利用抽象集体变量来代表生物分子动态。在本次审查中，我将突出几个常用的集体变量的几个细微差别，范围从几何到抽象的变量。此外，我将提出一些情况，其中基于机器学习的集体变量来描述原则上的简单系统可以由几何可以描述。最后，我将提出我对人工综合情报的思考以及如何用于发现和预测来自分子动力学模拟产生的时空数据的集体变量。

保留数据中相似性的自动编码器模型是表示学习中的流行工具。在本文中，我们介绍了几种自动编码器模型，这些模型在从数据空间到潜在空间的映射时可以保留本地距离。我们使用局部距离保留损失，该损失基于连续的K-Nearthiend邻居图，该图已知可以同时捕获所有尺度的拓扑特征。为了提高培训绩效，我们将学习作为约束优化问题，并保存本地距离，作为主要目标和重建精度作为约束。我们将这种方法推广到分层变分自动编码器，从而学习具有几何一致的潜在和数据空间的生成模型。我们的方法在几个标准数据集和评估指标上提供了最先进的性能。

为化疗中的许多重要任务收集标记数据是耗时的，需要昂贵的实验。近年来，机器学习已被用来使用大规模未标记的分子数据集学习分子的丰富表示，并转移知识，以解决有限数据集的更具挑战性的任务。变形AutoEncoders是已经提出用于进行化学性质预测和分子产生任务的转移的工具之一。在这项工作中，我们提出了一种简单的方法，可以通过在变形自身偏析者学习的表示中包含关于相关分子描述符的附加信息来改善机器学习模型的化学性质预测性能。我们验证了三个属性预测的方法询问。我们探讨了合并的描述符的数量，描述符和目标属性之间的相关性，数据集等的尺寸的影响。最后，我们显示了性能预测模型的性能与属性预测数据集之间的距离和更大的未标记之间的关系。 DataSet在表示空间中。

Proteins play a central role in biology from immune recognition to brain activity. While major advances in machine learning have improved our ability to predict protein structure from sequence, determining protein function from structure remains a major challenge. Here, we introduce Holographic Convolutional Neural Network (H-CNN) for proteins, which is a physically motivated machine learning approach to model amino acid preferences in protein structures. H-CNN reflects physical interactions in a protein structure and recapitulates the functional information stored in evolutionary data. H-CNN accurately predicts the impact of mutations on protein function, including stability and binding of protein complexes. Our interpretable computational model for protein structure-function maps could guide design of novel proteins with desired function.

被动射频（RF）感测和对老年护理房屋的人类日常活动监测是一个新兴的话题。微多普勒雷达是一种吸引人的解决方案，考虑到它们的非侵入性，深渗透和高距离范围。尽管在真实情景中未标记或较差的活动的情况下，但是使用多普勒雷达数据的无监督活动识别尚未得到注意。本研究提出了使用多普勒流的人类活动监测的两个无监督特征提取方法。这些包括基于局部离散余弦变换（DCT）的特征提取方法和基于局部熵的特征提取方法。此外，对于多普勒雷达数据，首次采用了卷积变分性自动化器（CVAE）特征提取的新应用。将三种特征提取架构与先前使用的卷积AutoEncoder（CAE）和基于主成分分析（PCA）和2DPCA的线性特征提取进行比较。使用K-Means和K-METOIDS进行无监督的聚类。结果表明，与CAE，PCA和2DPCA相比，基于DCT的方法，基于熵的方法和CVAE特征的优越性，具有超过5 \％-20 \％的平均精度。关于计算时间，两个提出的方法明显比现有的CVAE快得多。此外，对于高维数据可视化，考虑了三种歧管学习技术。比较方法，以对原始数据的投影以及编码的CVAE特征进行比较。当应用于编码的CVAE特征时，所有三种方法都显示出改善的可视化能力。

近年来，拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注，产生了一个新开发的聚类范式，QZ。深度聚类（DC）。通常，DC型号大写AutoEncoders，以了解促进聚类过程的内在特征。如今，一个名为变变AualEncoder（VAE）的生成模型在DC研究中得到了广泛的认可。然而，平原VAE不足以察觉到综合潜在特征，导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地，生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder（FAE）的新的AutoEncoder，以辨别出更多的辨别性表示，从而使下游聚类任务受益。此外，FAE通过深度剩余网络架构实施，进一步提高了表示学习能力。最后，将FAE的潜在空间转变为由深密神经网络的嵌入空间，用于彼此从彼此拉出不同的簇，并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。

我们采用变化性AutoEncoders从单粒子Anderson杂质模型谱函数的数据集中提取物理洞察。培训AutoEncoders以查找低维，潜在的空间表示，其忠实地表征培训集的每个元素，通过重建误差测量。变形式自动化器，标准自动化器的概率概括，进一步条件促进了高度可解释的特征。在我们的研究中，我们发现学习的潜在变量与众所周知的众所周知，但非活动的参数强烈关联，这些参数表征了安德森杂质模型中的紧急行为。特别地，一种潜在的可变变量与粒子孔不对称相关，而另一个潜在的变量与杂质模型中动态产生的低能量尺度接近一对一的对应关系。使用符号回归，我们将此变量模拟了该变量作为已知的裸物理输入参数和“重新发现”的kondo温度的非扰动公式。我们开发的机器学习管道表明了一种通用方法，它开启了发现其他物理系统中的新领域知识的机会。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

高通量药物筛查测定法的最新出现引发了机器学习方法的密集开发，包括预测癌细胞系对抗癌药物的敏感性的模型，以及用于生成潜在药物候选者的方法。然而，尚未全面探索具有特定特性的化合物产生具有特定特性和同时建模其功效的概念。为了满足这一需求，我们提出了Vadeers，这是一种基于各种自动编码器的药物功效估算推荐系统。化合物的产生是由具有半监视的高斯混合模型（GMM）的新型自动编码器进行的。先验定义了在潜在空间中的聚类，其中簇与特定的药物特性相关联。此外，Vadeers配备了单元线自动编码器和灵敏度预测网络。该模型结合了抗癌药物的微笑弦表示的数据，它们对蛋白激酶的抑制作用，细胞系生物学特征以及细胞系对药物的敏感性的测量。评估的Vadeers变体在真实和预测的药物敏感性估计之间达到了较高的R = 0.87 Pearson相关性。我们以一种方式训练GMM先验，使潜在空间中的簇通过其抑制作用对应于药物的预计聚类。我们表明，学到的潜在表示和新生成的数据点准确地反映了给定的聚类。总而言之，Vadeers提供了一种全面的药物和细胞系特性模型及其之间的关系，以及引导的新型化合物。

神经网络在许多科学学科中发挥着越来越大的作用，包括物理学。变形AutoEncoders（VAE）是能够表示在低维潜空间中的高维数据的基本信息，该神经网络具有概率解释。特别是所谓的编码器网络，VAE的第一部分，其将其输入到潜伏空间中的位置，另外在该位置的方差方面提供不确定性信息。在这项工作中，介绍了对AutoEncoder架构的扩展，渔民。在该架构中，借助于Fisher信息度量，不使用编码器中的附加信息信道生成潜在空间不确定性，而是从解码器导出。这种架构具有来自理论观点的优点，因为它提供了从模型的直接不确定性量化，并且还考虑不确定的交叉相关。我们可以通过实验表明，渔民生产比可比较的VAE更准确的数据重建，并且其学习性能也明显较好地缩放了潜伏空间尺寸的数量。

随着脑成像技术和机器学习工具的出现，很多努力都致力于构建计算模型来捕获人脑中的视觉信息的编码。最具挑战性的大脑解码任务之一是通过功能磁共振成像（FMRI）测量的脑活动的感知自然图像的精确重建。在这项工作中，我们调查了来自FMRI的自然图像重建的最新学习方法。我们在架构设计，基准数据集和评估指标方面检查这些方法，并在标准化评估指标上呈现公平的性能评估。最后，我们讨论了现有研究的优势和局限，并提出了潜在的未来方向。

解决视觉推理测试的计算学习方法，例如Raven的渐进式矩阵（RPM），非常取决于识别测试中使用的视觉概念（即表示）以及基于这些概念（即，推理）。然而，学习表示和推理是一项具有挑战性且不足的任务，经常以舞台的方式（首先表示，然后推理）接近。在这项工作中，我们提出了一个端到端的联合代表性学习框架，该框架利用了弱的归纳偏见形式来共同改善这两项任务。具体而言，我们引入了RPMS，GM-RPM的一般生成图形模型，并将其应用于解决推理测试。我们使用基于GM-RPM原理的基于基于的抽象推理网络（DAREN）的新型学习框架来完成此操作。我们对Daren进行了多个基准数据集的经验评估。 Daren在推理和分离任务上都表现出对最先进的模型（SOTA）模型的一致改进。这证明了分离的潜在表示与解决抽象视觉推理任务的能力之间的密切相关性。