我们提出了一种基于生成的对冲网络（GANS）的扩展缺失数据载体方法的条件载荷GaN。激励用例是学习 - 排名，现代搜索，推荐系统和信息检索应用的基石。经验排名数据集并不总是遵循标准高斯分布或完全缺少随机（MCAR）机制，这是经典缺失数据载销方法的标准假设。我们的方法提供了一种简单的解决方案，可提供兼容的估算保证，同时放松缺失机制的假设和近似顽固的分布以提高估算质量。我们证明，对于随机（EMAR）的延伸缺失，实现了最佳的GaN载荷，并且在无随机（OAMAR）机制之外，延伸总是缺少的，超出天真MCAR。我们的方法展示了与最先进的基准和各种特征分布相比的开源Microsoft研究排名（MSR）数据集和合成排名数据集的最高估算质量。使用专有的Amazon搜索排名数据集，我们还展示了与地面真实数据相比训练的对GaN illuted数据训练的排名模型的可比排名质量指标。

在大多数现实世界问题中存在缺失数据，需要仔细处理，以保留下游分析中的预测精度和统计一致性。作为处理缺失数据的金标准，提出了多个归纳（MI）方法来解释归纳不确定性并提供适当的统计推断。在这项工作中，我们通过生成的对抗网络（MI-GAN）提出多种归责，基于深度学习（基于GAN的）多重归名方法，可以在具有理论支持的随机（MAR）机制下缺失工作。Mi-GaN利用最近在有条件的生成对抗性神经作业中的进展，并在归责误差方面表现出对高维数据集的现有最先进的估算方法的强大性能。特别是，MI-GaN在统计推理和计算速度的意义上显着优于其他估算方法。

时间序列数据在现实世界应用中无处不在。但是，最常见的问题之一是，时间序列数据可能会通过数据收集过程的固有性质丢失值。因此，必须从多元（相关）时间序列数据中推出缺失值，这对于改善预测性能的同时做出准确的数据驱动决策至关重要。插补的常规工作简单地删除缺失值或基于平均/零填充它们。尽管基于深层神经网络的最新作品显示出了显着的结果，但它们仍然有一个限制来捕获多元时间序列的复杂生成过程。在本文中，我们提出了一种用于多变量时间序列数据的新型插补方法，称为sting（使用GAN基于自我注意的时间序列插补网络）。我们利用生成的对抗网络和双向复发性神经网络来学习时间序列的潜在表示。此外，我们引入了一种新型的注意机制，以捕获整个序列的加权相关性，并避免无关序列带来的潜在偏见。三个现实世界数据集的实验结果表明，刺痛在插补精度以及具有估算值的下游任务方面优于现有的最新方法。

考虑在数据集中插入缺失值的问题。一方面，使用迭代插补的一方面，传统的方法可以直接从学习条件分布的简单性和可定制性中受益，但遭受了对每个变量的适当模型规范的实际要求。另一方面，使用深层生成建模的最新方法受益于神经网络功能近似器的学习能力和效率，但通常很难优化和依赖更强大的数据假设。在这项工作中，我们研究了一种嫁给两者优势的方法：我们提出了 *Hyperibute *，这是一种适应性和自动配置列型模型及其超级参数的广义迭代插补框架。实际上，我们为开箱即用的学习者，优化者，模拟器和可扩展的接口提供具体的实现。从经验上讲，我们通过在各种公共数据集上通过全面的实验和敏感性调查了该框架，并证明了其相对于强大基准测试套件而产生准确的归精的能力。与最近的工作相反，我们认为我们的发现构成了对迭代归档范式的强烈辩护。

In data-driven systems, data exploration is imperative for making real-time decisions. However, big data is stored in massive databases that are difficult to retrieve. Approximate Query Processing (AQP) is a technique for providing approximate answers to aggregate queries based on a summary of the data (synopsis) that closely replicates the behavior of the actual data, which can be useful where an approximate answer to the queries would be acceptable in a fraction of the real execution time. In this paper, we discuss the use of Generative Adversarial Networks (GANs) for generating tabular data that can be employed in AQP for synopsis construction. We first discuss the challenges associated with constructing synopses in relational databases and then introduce solutions to those challenges. Following that, we organized statistical metrics to evaluate the quality of the generated synopses. We conclude that tabular data complexity makes it difficult for algorithms to understand relational database semantics during training, and improved versions of tabular GANs are capable of constructing synopses to revolutionize data-driven decision-making systems.

缺失数据的归责是在许多工程和科学应用中发挥着重要作用的任务。通常，这种缺失的数据来自传感器的限制或后处理转换误差的实验观察中。其他时间从计算机模拟中的数值和算法约束产生。本文的一个这样的实例和应用重点是风暴浪涌的数值模拟。模拟数据对应于感兴趣的地理领域内的多个保存点的时间序列浪涌预测，创建了浪涌点在空间且时间上大量相关的时空呈现问题，并且缺失的值区域在结构上分布随机的。最近，已经开发了机器学习技术，例如神经网络方法，并用于缺少数据归档任务。生成的对抗网（GAN）和基于GAN的技术是特别引起了无监督机器学习方法的关注。在这项研究中，通过应用卷积神经网络而不是完全连接的层来改善生成的对抗性归纳网（增益）性能，以更好地捕获数据的相关性并从相邻的浪涌点促进学习。对所研究的数据所需的方法的另一调整是考虑点作为附加特征的点的坐标，以通过卷积层提供更多信息。我们将所提出的方法称为卷积生成的对抗性普通网（CONV-GAIL）。通过考虑风暴浪涌数据所需的改进和适应来评估和与原始增益和其他一些技术进行评估，提出的方法的表现。结果表明，CONV增益比研究数据上的替代方法具有更好的性能。

数据估算已被广泛探索以解决缺失的数据问题。显着增加的不完整数据量使得归纳模型在许多现实生活中的计算上不可行。在本文中，我们提出了一个名为SCI的有效可扩展的估算系统，以显着加速在大规模不完整数据的准确性保证下进行可分解的生成对抗性归档模型的培训。 SCI包括两个模块，可差异的拒绝建模（DIM）和样本量估计（SSE）。 Dim利用新的遮蔽沉降角分歧功能，使任意生成的逆势归零模型可微分，而对于这种可分辨动的载体模型，SSE可以估计适当的样本大小，以确保用户指定的最终模型的借调准确性。在几个现实生活中的大规模数据集上进行了广泛的实验证明，我们的提出系统可以通过7.1倍加速生成的对抗性模型培训。使用大约7.6％的样本，SCIS在计算时间较短的情况下，使用最先进的估算方法产生竞争精度。

Electronic Health Records (EHRs) are a valuable asset to facilitate clinical research and point of care applications; however, many challenges such as data privacy concerns impede its optimal utilization. Deep generative models, particularly, Generative Adversarial Networks (GANs) show great promise in generating synthetic EHR data by learning underlying data distributions while achieving excellent performance and addressing these challenges. This work aims to review the major developments in various applications of GANs for EHRs and provides an overview of the proposed methodologies. For this purpose, we combine perspectives from healthcare applications and machine learning techniques in terms of source datasets and the fidelity and privacy evaluation of the generated synthetic datasets. We also compile a list of the metrics and datasets used by the reviewed works, which can be utilized as benchmarks for future research in the field. We conclude by discussing challenges in GANs for EHRs development and proposing recommended practices. We hope that this work motivates novel research development directions in the intersection of healthcare and machine learning.

Missing data are ubiquitous in real world applications and, if not adequately handled, may lead to the loss of information and biased findings in downstream analysis. Particularly, high-dimensional incomplete data with a moderate sample size, such as analysis of multi-omics data, present daunting challenges. Imputation is arguably the most popular method for handling missing data, though existing imputation methods have a number of limitations. Single imputation methods such as matrix completion methods do not adequately account for imputation uncertainty and hence would yield improper statistical inference. In contrast, multiple imputation (MI) methods allow for proper inference but existing methods do not perform well in high-dimensional settings. Our work aims to address these significant methodological gaps, leveraging recent advances in neural network Gaussian process (NNGP) from a Bayesian viewpoint. We propose two NNGP-based MI methods, namely MI-NNGP, that can apply multiple imputations for missing values from a joint (posterior predictive) distribution. The MI-NNGP methods are shown to significantly outperform existing state-of-the-art methods on synthetic and real datasets, in terms of imputation error, statistical inference, robustness to missing rates, and computation costs, under three missing data mechanisms, MCAR, MAR, and MNAR.

缺少数据是机器学习实践中的一个重要问题。从估算方法应保留数据的因果结构的前提下，我们开发了一个正则化方案，鼓励任何基线估算方法与底层数据产生机制发生因果关系。我们的提议是一个因果感知估算算法（奇迹）。奇迹通过同时建模缺失产生机制，令人振奋的归咎与数据的因果结构一致，迭代地改进基线的归纳。我们对综合和各种公开可用数据集进行了广泛的实验，以表明奇迹能够在所有三个缺失场景中始终如一地改善对各种基准方法的归力：随机，完全随意，而不是随机。

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

对于许多应用科学来说，高维数据中缺少值的存在是无处不在的问题。许多可用的数据挖掘和机器学习方法的严重限制是它们无法处理部分缺失的值，因此结合插补和模型估计的集成方法对于下游分析至关重要。引入了一种称为EMFLOW的计算快速算法，该算法通过使用归一化流量（NF）模型，通过在线版本的期望最大化（EM）算法在潜在空间中执行插补，该模型将数据空间映射到潜在空间。提出的EMFLOW算法是迭代的，涉及更新在线EM和NF的参数。就算法收敛的预测准确性和速度而言，提供了高维多元和图像数据集的广泛实验结果，以说明EMFLOW的出色性能。我们为所有实验提供代码。

尽管电子健康记录是生物医学研究的丰富数据来源，但这些系统并未在医疗环境中统一地实施，并且由于医疗保健碎片化和孤立的电子健康记录之间缺乏互操作性，可能缺少大量数据。考虑到缺少数据的案例的删除可能会在随后的分析中引起严重的偏见，因此，一些作者更喜欢采用多重插补策略来恢复缺失的信息。不幸的是，尽管几项文献作品已经通过使用现在可以自由研究的任何不同的多个归档算法记录了有希望的结果，但尚无共识，MI算法效果最好。除了选择MI策略之外，归纳算法及其应用程序设置的选择也至关重要且具有挑战性。在本文中，受鲁宾和范布伦的开创性作品的启发，我们提出了一个方法学框架，可以应用于评估和比较多种多个插补技术，旨在选择用于计算临床研究工作中最有效的推断。我们的框架已被应用于验证和扩展较大的队列，这是我们在先前的文献研究中提出的结果，我们在其中评估了关键患者的描述符和Covid-19的影响在2型糖尿病患者中的影响，其数据为2型糖尿病，其数据为2型糖尿病由国家共同队列合作飞地提供。

在不完整的数据集中对样本进行分类是机器学习从业人员的普遍目的，但并非平凡。在大多数现实世界数据集中发现缺失的数据，这些缺失值通常是使用已建立的方法估算的，然后进行分类现在完成，估算的样本。然后，机器学习研究人员的重点是优化下游分类性能。在这项研究中，我们强调必须考虑插补的质量。我们展示了如何评估质量的常用措施有缺陷，并提出了一类新的差异评分，这些分数着重于该方法重新创建数据的整体分布的程度。总而言之，我们强调了使用不良数据训练的分类器模型的可解释性损害。

我们研究了GaN调理问题，其目标是使用标记数据将普雷雷尼的无条件GaN转换为条件GaN。我们首先识别并分析这一问题的三种方法 - 从头开始​​，微调和输入重新编程的条件GaN培训。我们的分析表明，当标记数据的数量很小时，输入重新编程执行最佳。通过稀缺标记数据的现实世界情景，我们专注于输入重编程方法，并仔细分析现有算法。在识别出先前输入重新编程方法的一些关键问题之后，我们提出了一种名为INREP +的新算法。我们的算法INREP +解决了现有问题，具有可逆性神经网络的新颖用途和正面未标记（PU）学习。通过广泛的实验，我们表明Inrep +优于所有现有方法，特别是当标签信息稀缺，嘈杂和/或不平衡时。例如，对于用1％标记数据调节CiFar10 GaN的任务，Inrep +实现了82.13的平均峰值，而第二个最佳方法达到114.51。

近年来提出了各种本地特征归因方法，后续工作提出了几种评估策略。为了评估不同归因技术的归因质量，在图像域中这些评估策略中最流行的是使用像素扰动。但是，最近的进步发现，不同的评估策略会产生归因方法的冲突排名，并且计算的昂贵。在这项工作中，我们介绍了基于像素扰动的评估策略的信息理论分析。我们的发现表明，与其实际值相比，通过删除像素的形状而不是信息泄漏的结果。使用我们的理论见解，我们提出了一个新的评估框架，称为“删除和Debias”（ROAD），该框架提供了两种贡献：首先，它减轻了混杂因素的影响，这需要在评估策略之间更高的一致性。其次，与最先进的时间相比，道路不需要计算昂贵的重新训练步骤，并节省了高达99％的计算成本。我们在https://github.com/tleemann/road_evaluation上发布源代码。

Modeling lies at the core of both the financial and the insurance industry for a wide variety of tasks. The rise and development of machine learning and deep learning models have created many opportunities to improve our modeling toolbox. Breakthroughs in these fields often come with the requirement of large amounts of data. Such large datasets are often not publicly available in finance and insurance, mainly due to privacy and ethics concerns. This lack of data is currently one of the main hurdles in developing better models. One possible option to alleviating this issue is generative modeling. Generative models are capable of simulating fake but realistic-looking data, also referred to as synthetic data, that can be shared more freely. Generative Adversarial Networks (GANs) is such a model that increases our capacity to fit very high-dimensional distributions of data. While research on GANs is an active topic in fields like computer vision, they have found limited adoption within the human sciences, like economics and insurance. Reason for this is that in these fields, most questions are inherently about identification of causal effects, while to this day neural networks, which are at the center of the GAN framework, focus mostly on high-dimensional correlations. In this paper we study the causal preservation capabilities of GANs and whether the produced synthetic data can reliably be used to answer causal questions. This is done by performing causal analyses on the synthetic data, produced by a GAN, with increasingly more lenient assumptions. We consider the cross-sectional case, the time series case and the case with a complete structural model. It is shown that in the simple cross-sectional scenario where correlation equals causation the GAN preserves causality, but that challenges arise for more advanced analyses.

本文提出了有条件生成对抗性网络（CGANS）的两个重要贡献，以改善利用此架构的各种应用。第一个主要贡献是对CGANS的分析表明它们没有明确条件。特别地，将显示鉴别者和随后的Cgan不会自动学习输入之间的条件。第二种贡献是一种新方法，称为逆时针，该方法通过新颖的逆损失明确地模拟了对抗架构的两部分的条件，涉及培训鉴别者学习无条件（不利）示例。这导致了用于GANS（逆学习）的新型数据增强方法，其允许使用不利示例将发电机的搜索空间限制为条件输出。通过提出概率分布分析，进行广泛的实验以评估判别符的条件。与不同应用的CGAN架构的比较显示了众所周知的数据集的性能的显着改进，包括使用不同度量的不同度量的语义图像合成，图像分割，单眼深度预测和“单个标签” - 图像（FID） ），平均联盟（Miou）交叉口，根均线误差日志（RMSE日志）和统计上不同的箱数（NDB）。

近几十年来，技术进步使得可以收集大数据集。在这种情况下，基于模型的群集是一种非常流行的，灵活和可解释的方法，用于在明确定义的统计框架中进行数据探索。大型数据集的增加之一是缺失值更频繁。但是，传统方式（由于丢弃具有缺失的值或估算方法的观察）不是为聚类目的而设计的。此外，它们很少适用于常规情况，虽然在实践中频繁地缺失，但是当缺失取决于未观察到的数据值时，缺失就缺失（mnar）值，而且可能在观察到的数据值上。本文的目标是通过直接在基于模型的聚类算法内嵌入MNAR数据来提出一种新的方法。我们为数据和缺失数据指示器的联合分布进行了选择模型。它对应于数据分布的混合模型和缺失数据机制的一般Mnar模型，其可以取决于底层类（未知）和/或缺失变量本身的值。导出大量有意义的MNAR子模型，对每个子模型研究了参数的可识别性，这通常是任何MNAR提案的关键问题。考虑EM和随机EM算法估计。最后，我们对合成数据的提议子模型进行了实证评估，我们说明了我们的方法对医疗寄存器的方法，创伤者（R）数据集。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。