建模从场景辐照度到图像强度的映射对于许多计算机视觉任务至关重要。这样的映射称为相机响应。大多数数码相机都使用非线性函数来映射辐照度，该传感器测量到用于记录照片的图像强度。反应的建模对于非线性校准是必需的。在本文中，提出了一种使用单个潜在变量且完全连接的神经网络的新的高性能摄像头响应模型。该模型是使用无监督的学习与现实世界（示例）摄像头响应上的自动编码器一起生产的。然后，使用神经体系结构搜索来找到最佳的神经网络体系结构。引入了一种潜在的分布学习方法来限制潜在分布。所提出的模型在许多基准测试中实现了最新的CRF表示精度，但由于简单但有效的模型表示，在执行相机响应校准期间执行最大似然估计时，几乎是最佳当前模型的两倍。 。

相对色彩恒定是许多科学成像应用的重要要求。然而，大多数数码相机在其图像形成和本机传感器输出中的不同通常无法访问，例如，在智能手机相机应用中。这使得难以在一系列设备上实现一致的颜色评估，并且破坏了计算机视觉算法的性能。若要解决此问题，我们提出了一种颜色对齐模型，将相机映像形成为黑盒，并将颜色对准作为三步处理：相机响应校准，响应线性和颜色匹配。所提出的模型采用非标准颜色参考，即，通过利用新颖的线性距离特征，在不知道真实颜色值的情况下，颜色斑块。它相当于通过无监督过程确定相机参数。它还适用于跨图像的最小相应颜色块，以进行颜色，以提供适用的处理。在各种照明和曝光条件下由多个摄像机收集的两个具有挑战性的图像数据集用于评估模型。性能基准证明，与其他流行和最先进的方法相比，我们的模型实现了卓越的性能。

由于指定了所需的目标性能分布，逆方法在空气动力学设计中计算得高效。但是，它具有一些重要的限制，防止其实现全面效率。首先，只要指定的目标分布更改，应重复迭代程序。可以执行目标分布优化以阐明指定该分布的歧义，但在该过程中出现了几个额外问题，例如由于分布的分布参数化而导致的表示容量丢失，对逼真分布的过度约束，感兴趣的数量的不准确性为了理论/经验预测，明确地施加几何限制的不可能性。为了处理这些问题，提出了一种具有两步深度学习方法的新型逆设计优化框架。变形AutoEncoder和多层的Perceptron用于生成现实的目标分布，并分别预测来自生成的分布的感兴趣的数量和形状参数。然后，执行目标分发优化作为逆设计优化。所提出的框架应用主动学习和转移学习技术，以提高准确性和效率。最后，通过风力涡轮机翼型的空气动力学优化验证该框架。它们的结果表明，该框架准确，高效，灵活地应用于其他逆设计工程应用。

近年来，拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注，产生了一个新开发的聚类范式，QZ。深度聚类（DC）。通常，DC型号大写AutoEncoders，以了解促进聚类过程的内在特征。如今，一个名为变变AualEncoder（VAE）的生成模型在DC研究中得到了广泛的认可。然而，平原VAE不足以察觉到综合潜在特征，导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地，生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder（FAE）的新的AutoEncoder，以辨别出更多的辨别性表示，从而使下游聚类任务受益。此外，FAE通过深度剩余网络架构实施，进一步提高了表示学习能力。最后，将FAE的潜在空间转变为由深密神经网络的嵌入空间，用于彼此从彼此拉出不同的簇，并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

异常检测是指识别偏离正常模式的观察，这是各个领域的活跃研究区域。最近，数据量表越来越多，复杂性和维度将传统的表示和基于统计的异常检测方法变得具有挑战性。在本文中，我们利用了高光谱图像异常检测的生成模型。 GIST是模拟正常数据的分布，而分布外样品可以被视为异常值。首先，研究了基于变分的基于异常的检测方法。理论上和经验地发现它们由于距离强烈的概念（$ F $ -divergence）作为正则化而不稳定。其次，本文介绍了切片的Wasserstein距离，与F分歧相比，这是一种较弱的分布措施。然而，随机切片的数量难以估计真正的距离。最后，我们提出了一个投影的切片Wasserstein（PSW）基于AutoEncoder的异常筛选方法。特别是，我们利用计算友好的特征分解方法来找到切片高维数据的主成分。此外，我们所提出的距离可以用闭合形式计算，即使是先前的分布也不是高斯。在各种现实世界高光谱异常检测基准上进行的综合实验证明了我们提出的方法的卓越性能。

In neural architecture search (NAS) methods based on latent space optimization (LSO), a deep generative model is trained to embed discrete neural architectures into a continuous latent space. In this case, different optimization algorithms that operate in the continuous space can be implemented to search neural architectures. However, the optimization of latent variables is challenging for gradient-based LSO since the mapping from the latent space to the architecture performance is generally non-convex. To tackle this problem, this paper develops a convexity regularized latent space optimization (CR-LSO) method, which aims to regularize the learning process of latent space in order to obtain a convex architecture performance mapping. Specifically, CR-LSO trains a graph variational autoencoder (G-VAE) to learn the continuous representations of discrete architectures. Simultaneously, the learning process of latent space is regularized by the guaranteed convexity of input convex neural networks (ICNNs). In this way, the G-VAE is forced to learn a convex mapping from the architecture representation to the architecture performance. Hereafter, the CR-LSO approximates the performance mapping using the ICNN and leverages the estimated gradient to optimize neural architecture representations. Experimental results on three popular NAS benchmarks show that CR-LSO achieves competitive evaluation results in terms of both computational complexity and architecture performance.

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

概率生成模型对科学建模具有吸引力，因为它们的推论参数可用于生成假设和设计实验。这要求学习的模型提供了对输入数据的准确表示，并产生一个潜在空间，该空间有效地预测了与科学问题相关的结果。监督的变异自动编码器（SVAE）以前已用于此目的，在此目的中，精心设计的解码器可以用作可解释的生成模型，而监督目标可确保预测性潜在表示。不幸的是，监督的目标迫使编码器学习与生成后验分布有偏见的近似，这在科学模型中使用时使生成参数不可靠。由于通常用于评估模型性能的重建损失，因此该问题仍未被发现。我们通过开发一个二阶监督框架（SOS-VAE）来解决这个以前未报告的问题，该框架影响解码器诱导预测潜在的代表。这样可以确保关联的编码器保持可靠的生成解释。我们扩展了此技术，以使用户能够在生成参数中折叠以提高预测性能，并充当SVAE和我们的新SOS-VAE之间的中间选择。我们还使用这种方法来解决在组合来自多个科学实验的录音时经常出现的缺失数据问题。我们使用合成数据和电生理记录来证明这些发展的有效性，重点是如何使用我们学到的表示形式来设计科学实验。

近年来，由于其对复杂分布进行建模的能力，深层生成模型引起了越来越多的兴趣。在这些模型中，变异自动编码器已被证明是计算有效的，并且在多个领域中产生了令人印象深刻的结果。在这一突破之后，为了改善原始出版物而进行了广泛的研究，从而导致各种不同的VAE模型响应不同的任务。在本文中，我们介绍了Pythae，这是一个多功能的开源Python库，既可以提供统一的实现和专用框架，允许直接，可重现且可靠地使用生成自动编码器模型。然后，我们建议使用此库来执行案例研究基准测试标准，在其中我们介绍并比较了19个生成自动编码器模型，代表了下游任务的一些主要改进，例如图像重建，生成，分类，聚类，聚类和插值。可以在https://github.com/clementchadebec/benchmark_vae上找到开源库。

这项工作提出了基于差异自动编码器卷积编码器产生的特征的概率分类器的内核选择方法。特别是，开发的方法允许选择最相关的潜在变量子集。在拟议的实现中，每个潜在变量都是从与最后一个编码器的卷积层的单个内核相关的分布中取样的，因为为每个内核创建了个体分布。因此，在采样的潜在变量上选择相关功能使得可以执行内核选择，从而过滤非信息性特征和内核。这样的导致模型参数数量减少。评估包装器和过滤器方法以进行特征选择。第二个特别相关，因为它仅基于内核的分布。通过测量所有分布之间的kullback-leibler差异来评估，假设其分布更相似的内核可以被丢弃。该假设得到了证实，因为观察到最相似的内核不会传达相关信息，并且可以去除。结果，所提出的方法适用于开发用于资源约束设备的应用程序。

纵向生物医学数据通常是稀疏时间网格和个体特定发展模式的特征。具体而言，在流行病学队列研究和临床登记处，我们面临的问题是在研究早期阶段中可以从数据中学到的问题，只有基线表征和一个后续测量。灵感来自最近的进步，允许将深度学习与动态建模相结合，我们调查这些方法是否可用于揭示复杂结构，特别是对于每个单独的两个观察时间点的极端小数据设置。然后，通过利用个体的相似性，可以使用不规则间距来获得有关个体动态的更多信息。我们简要概述了变形的自动化器（VAES）如何作为深度学习方法，可以与普通微分方程（ODES）相关联用于动态建模，然后具体研究这种方法的可行性，即提供个人特定的潜在轨迹的方法通过包括规律性假设和个人的相似性。我们还提供了对这种深度学习方法的描述作为过滤任务，以提供统计的视角。使用模拟数据，我们展示了方法可以在多大程度上从多大程度上恢复具有两个和四个未知参数的颂歌系统的单个轨迹，以及使用具有类似轨迹的个体群体，以及其崩溃的地方。结果表明，即使在极端的小数据设置中，这种动态深度学习方法也可能是有用的，但需要仔细调整。

高维数据的歧管假设假设数据是通过改变从低维潜在空间获得的一组参数而生成的。深层生成模型（DGM）被广泛用于以无监督的方式学习数据表示。 DGM使用瓶颈体系结构（例如变异自动编码器（VAE））参数化数据空间中的基础低维歧管。 VAE的瓶颈尺寸被视为取决于数据集的超参数，并在广泛调整后在设计时间固定。由于大多数实际数据集的内在维度尚不清楚，因此固有维度与选择为超参数的潜在维度之间存在不匹配。这种不匹配可能会对表示形式学习和样本生成任务的模型性能产生负面影响。本文提出了相关性编码网络（RENS）：一种新型的基于VAE的概率VAE框架，该框架在潜在空间中使用自动相关性确定（ARD）来学习数据特定的瓶颈维度。每个潜在维度的相关性是直接从数据以及使用随机梯度下降的其他模型参数以及适合非高斯先验的重新聚集技巧的其他模型参数中学到的。我们利用深处的概念来捕获数据和潜在空间中的置换统计属性，以确定相关性。所提出的框架是一般且灵活的，可用于最先进的VAE模型，该模型利用正规化器在潜在空间中施加特定特征（例如，脱离）。通过对合成和公共图像数据集进行了广泛的实验，我们表明，所提出的模型了解了相关的潜在瓶颈维度，而不会损害样品的表示和发电质量。

We present the development of a semi-supervised regression method using variational autoencoders (VAE), which is customized for use in soft sensing applications. We motivate the use of semi-supervised learning considering the fact that process quality variables are not collected at the same frequency as other process variables leading to many unlabelled records in operational datasets. These unlabelled records are not possible to use for training quality variable predictions based on supervised learning methods. Use of VAEs for unsupervised learning is well established and recently they were used for regression applications based on variational inference procedures. We extend this approach of supervised VAEs for regression (SVAER) to make it learn from unlabelled data leading to semi-supervised VAEs for regression (SSVAER), then we make further modifications to their architecture using additional regularization components to make SSVAER well suited for learning from both labelled and unlabelled process data. The probabilistic regressor resulting from the variational approach makes it possible to estimate the variance of the predictions simultaneously, which provides an uncertainty quantification along with the generated predictions. We provide an extensive comparative study of SSVAER with other publicly available semi-supervised and supervised learning methods on two benchmark problems using fixed-size datasets, where we vary the percentage of labelled data available for training. In these experiments, SSVAER achieves the lowest test errors in 11 of the 20 studied cases, compared to other methods where the second best gets 4 lowest test errors out of the 20.

随机过程提供了数学上优雅的方式模型复杂数据。从理论上讲，它们为可以编码广泛有趣的假设的功能类提供了灵活的先验。但是，实际上，难以通过优化或边缘化来有效推断，这一问题进一步加剧了大数据和高维输入空间。我们提出了一种新颖的变性自动编码器（VAE），称为先前的编码变量自动编码器（$ \ pi $ vae）。 $ \ pi $ vae是有限的交换且Kolmogorov一致的，因此是一个连续的随机过程。我们使用$ \ pi $ vae学习功能类的低维嵌入。我们表明，我们的框架可以准确地学习表达功能类，例如高斯流程，也可以学习函数的属性以启用统计推断（例如log高斯过程的积分）。对于流行的任务，例如空间插值，$ \ pi $ vae在准确性和计算效率方面都达到了最先进的性能。也许最有用的是，我们证明了所学的低维独立分布的潜在空间表示提供了一种优雅，可扩展的方法，可以在概率编程语言（例如Stan）中对随机过程进行贝叶斯推断。

人脑解剖图像的专家解释是神经放射学的中心部分。已经提出了几种基于机器学习的技术来协助分析过程。但是，通常需要对ML模型进行培训以执行特定的任务，例如脑肿瘤分割或分类。相应的培训数据不仅需要费力的手动注释，而且人脑MRI中可以存在多种异常 - 甚至同时发生，这使得所有可能的异常情况都非常具有挑战性。因此，可能的解决方案是一种无监督的异常检测（UAD）系统，可以从健康受试者的未标记数据集中学习数据分布，然后应用以检测​​分布样本。然后，这种技术可用于检测异常 - 病变或异常，例如脑肿瘤，而无需明确训练该特定病理的模型。过去已经为此任务提出了几种基于变异的自动编码器（VAE）技术。即使它们在人为模拟的异常情况下表现良好，但其中许多在检测临床数据中的异常情况下表现较差。这项研究提出了“上下文编码” VAE（CEVAE）模型的紧凑版本，并结合了预处理和后处理步骤，创建了UAD管道（Strega）（Strega），该步骤对临床数据更强大，并显示其在检测到其检测方面的适用性脑MRI中的肿瘤等异常。 The proposed pipeline achieved a Dice score of 0.642$\pm$0.101 while detecting tumours in T2w images of the BraTS dataset and 0.859$\pm$0.112 while detecting artificially induced anomalies, while the best performing baseline achieved 0.522$\pm$0.135 and 0.783$\ PM分别为0.111美元。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

光学成像通常用于行业和学术界的科学和技术应用。在图像传感中，通过数字化图像的计算分析来执行一个测量，例如对象的位置。新兴的图像感应范例通过设计光学组件来执行不进行成像而是编码，从而打破了数据收集和分析之间的描述。通过将图像光学地编码为适合有效分析后的压缩，低维的潜在空间，这些图像传感器可以以更少的像素和更少的光子来工作，从而可以允许更高的直通量，较低的延迟操作。光学神经网络（ONNS）提供了一个平台，用于处理模拟，光学域中的数据。然而，基于ONN的传感器仅限于线性处理，但是非线性是深度的先决条件，而多层NNS在许多任务上的表现都大大优于浅色。在这里，我们使用商业图像增强器作为平行光电子，光学到光学非线性激活函数，实现用于图像传感的多层预处理器。我们证明，非线性ONN前处理器可以达到高达800：1的压缩率，同时仍然可以在几个代表性的计算机视觉任务中高精度，包括机器视觉基准测试，流程度图像分类以及对对象中对象的识别，场景。在所有情况下，我们都会发现ONN的非线性和深度使其能够胜过纯线性ONN编码器。尽管我们的实验专门用于ONN传感器的光线图像，但替代ONN平台应促进一系列ONN传感器。这些ONN传感器可能通过在空间，时间和/或光谱尺寸中预处处理的光学信息来超越常规传感器，并可能具有相干和量子质量，所有这些都在光学域中。

在没有监督信号的情况下学习简洁的数据表示是机器学习的基本挑战。实现此目标的一种突出方法是基于可能性的模型，例如变异自动编码器（VAE），以基于元元素来学习潜在表示，这是对下游任务有益的一般前提（例如，disentanglement）。但是，这种方法通常偏离原始的可能性体系结构，以应用引入的元优势，从而导致他们的培训不良变化。在本文中，我们提出了一种新颖的表示学习方法，Gromov-Wasserstein自动编码器（GWAE），该方法与潜在和数据分布直接匹配。 GWAE模型不是基于可能性的目标，而是通过最小化Gromov-Wasserstein（GW）度量的训练优化。 GW度量测量了在无与伦比的空间上支持的分布之间的面向结构的差异，例如具有不同的维度。通过限制可训练的先验的家庭，我们可以介绍元主题来控制下游任务的潜在表示。与现有基于VAE的方法的经验比较表明，GWAE模型可以通过更改先前的家族而无需进一步修改GW目标来基于元家庭学习表示。