DeeProb-kit is a unified library written in Python consisting of a collection of deep probabilistic models (DPMs) that are tractable and exact representations for the modelled probability distributions. The availability of a representative selection of DPMs in a single library makes it possible to combine them in a straightforward manner, a common practice in deep learning research nowadays. In addition, it includes efficiently implemented learning techniques, inference routines, statistical algorithms, and provides high-quality fully-documented APIs. The development of DeeProb-kit will help the community to accelerate research on DPMs as well as to standardise their evaluation and better understand how they are related based on their expressivity.

基于连续的潜在空间（例如变异自动编码器）的概率模型可以理解为无数混合模型，其中组件连续取决于潜在代码。它们具有用于生成和概率建模的表达性工具，但与可牵引的概率推断不符，即计算代表概率分布的边际和条件。同时，可以将概率模型（例如概率电路（PC））理解为层次离散混合模型，从而使它们可以执行精确的推断，但是与连续的潜在空间模型相比，它们通常显示出低于标准的性能。在本文中，我们研究了一种混合方法，即具有较小潜在尺寸的可拖动模型的连续混合物。尽管这些模型在分析上是棘手的，但基于一组有限的集成点，它们非常适合数值集成方案。有足够数量的集成点，近似值变得精确。此外，使用一组有限的集成点，可以将近似方法编译成PC中，以“在近似模型中的精确推断”执行。在实验中，我们表明这种简单的方案被证明非常有效，因为PC在许多标准密度估计基准上以这种方式为可拖动模型设定了新的最新模型。

尽管在图像生成方面广泛进展，但在应用于无损压缩时，深度生成模型是次优。例如，由于其潜在变量，诸如VAE的模型遭受压缩成本开销，其潜在的变量只能被部分地消除，这些方案诸如位编码，导致单个样本压缩率不良。为了克服这些问题，我们建立了一类新的易旧的无损压缩模型，允许有效的编码和解码：概率电路（PC）。这些是一类神经网络，涉及$ | $ COWS $ COMPUTIONATION单位，支持高效的$ D $特征尺寸的任意子集，从而实现有效的算术编码。我们推出了有效的编码和解码方案，即有时间复杂度$ \ mathcal {o}（\ log（d）\ cdot | p | p |）$，其中天真的方案在$ d $和$ | p | $ ，使方法高度可扩展。经验，我们的PC基（DE）压缩算法比实现类似比特率的神经压缩算法更快地运行5-20倍。通过缩放传统的PC结构学习管道，我们在诸如MNIST之类的图像数据集上实现了最先进的结果。此外，PC可以自然地与现有的神经压缩算法集成，以改善在自然图像数据集上的这些基础模型的性能。我们的结果突出了非标准学习架构可能对神经数据压缩的潜在影响。

我们将反应性消息传递（RMP）作为框架，用于在概率模型的因子图表示中执行基于时间表，鲁棒和可扩展的消息通过的基于消息传递的推断。 RMP基于反应性编程风格，该样式仅描述因子图中的节点如何对连接节点中的更改作出反应。没有固定消息传递计划提高推理过程的稳健性，可伸缩性和执行时间。我们还存在ReactiveMp.jl，这是一个Julia包，用于通过最小化约束的自由能实现RMP。通过用户定义的本地表单和分解约束对变分后部分布的结构，ReastiveMp.jl执行混合消息传递算法，包括信仰传播，变分消息通过，期望传播和期望最大化更新规则。实验结果表明，与其他概率模型的贝叶斯推断的其他朱莉娅封装相比，基于Reactivemp的RMP的性能提高。特别是，我们表明RMP框架能够为大型概率状态空间模型运行贝叶斯人推断，并在标准膝上型计算机上具有数十万个随机变量。

上下文：差分测试是一种有用的方法，它使用相同算法的不同实现，并比较软件测试的结果。近年来，这种方法已成功用于深度学习框架的测试活动。目的：对超出深度学习的差异测试的应用几乎没有知识。在本文中，我们要缩小此差距以进行分类算法。方法：我们使用Scikit-Learn，Weka，Spark Mllib和Caret进行了案例研究，在其中我们通过考虑哪些算法在多个框架中可用，通过识别应识别的算法对应表现出相同的算法来确定差异测试的潜力。行为，以及通过执行确定对的测试并分析偏差来实现的有效性。结果：尽管我们发现流行算法的潜力很大，但可行性似乎有限，因为通常无法确定其他框架中相同的配置。可行测试的执行表明，分数和类别存在很大的偏差。只有基于班级统计意义的宽松方法不会导致大量的测试失败。结论：超出深度学习的差异测试的潜力似乎有限用于研究机器学习库的质量。如果从业人员对实施有深入的了解，则可能仍然使用该方法，尤其是如果仅考虑班级显着差异的粗糙甲骨文就足够了。

近年来，机器学习已显示出广泛的增长，现在通常应用于敏感区域。为了在部署前进行适当的预测模型验证，模型必须是确定性的。但是，主要的机器学习库默认用于基于原子操作的非确定性算法的使用。仅修复所有随机种子不足以确定性机器学习。为了克服这一缺点，各种机器学习库发布了与非确定性算法的确定性对应物。我们评估了这些算法对确定性和运行时的影响。基于这些结果，我们为确定性机器学习制定了一系列要求，并开发了新的软件解决方案MLF核心生态系统，该解决方案有助于机器学习项目以满足并保持这些要求。我们应用了MLF核心在各种生物医学领域开发确定性模型，包括带有张量的单细胞自动编码器，基于Pytorch的CT扫描中的基于Pytorch的U-NET模型，以及基于XGBoost的基因表达谱的肝癌分割和基于肝癌的肝癌分类器。

Stable-Baselines3 provides open-source implementations of deep reinforcement learning (RL) algorithms in Python. The implementations have been benchmarked against reference codebases, and automated unit tests cover 95% of the code. The algorithms follow a consistent interface and are accompanied by extensive documentation, making it simple to train and compare different RL algorithms. Our documentation, examples, and source-code are available at https://github.com/DLR-RM/stable-baselines3.

图表学习方法为解决图形所代表的复杂的现实世界问题打开了新的可能性。但是，这些应用程序中使用的许多图包括数百万节点和数十亿个边缘，并且超出了当前方法和软件实现的功能。我们提供葡萄，这是一种用于图形处理和表示学习的软件资源，能够通过使用专业和智能数据结构，算法和快速并行实现来通过大图扩展。与最先进的软件资源相比，葡萄显示出经验空间和时间复杂性的数量级的改善，以及边缘预测和节点标签预测性能的实质和统计学上的显着改善。此外，葡萄提供了来自文献和其他来源的80,000多种图，标准化界面允许直接整合第三方库，61个节点嵌入方法，25个推理模型和3个模块化管道，以允许公平且可重复的方法比较以及用于图形处理和嵌入的库。

Pyro is a probabilistic programming language built on Python as a platform for developing advanced probabilistic models in AI research. To scale to large datasets and high-dimensional models, Pyro uses stochastic variational inference algorithms and probability distributions built on top of PyTorch, a modern GPU-accelerated deep learning framework. To accommodate complex or model-specific algorithmic behavior, Pyro leverages Poutine, a library of composable building blocks for modifying the behavior of probabilistic programs.

The ever-increasing size of modern data sets combined with the difficulty of obtaining label information has made semi-supervised learning one of the problems of significant practical importance in modern data analysis. We revisit the approach to semi-supervised learning with generative models and develop new models that allow for effective generalisation from small labelled data sets to large unlabelled ones. Generative approaches have thus far been either inflexible, inefficient or non-scalable. We show that deep generative models and approximate Bayesian inference exploiting recent advances in variational methods can be used to provide significant improvements, making generative approaches highly competitive for semi-supervised learning.

异构表格数据是最常用的数据形式，对于众多关键和计算要求的应用程序至关重要。在同质数据集上，深度神经网络反复显示出卓越的性能，因此被广泛采用。但是，它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展，这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组：数据转换，专业体系结构和正则化模型。对于每个小组，我们的工作提供了主要方法的全面概述。此外，我们讨论了生成表格数据的深度学习方法，并且还提供了有关解释对表格数据的深层模型的策略的概述。因此，我们的第一个贡献是解决上述领域中的主要研究流和现有方法，同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较，并在五个流行的现实世界中的十种深度学习方法中，具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明，基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型，这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知，这是对表格数据深度学习方法的第一个深入概述。因此，这项工作可以成为有价值的起点，以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。

Derivatives, mostly in the form of gradients and Hessians, are ubiquitous in machine learning. Automatic differentiation (AD), also called algorithmic differentiation or simply "autodiff", is a family of techniques similar to but more general than backpropagation for efficiently and accurately evaluating derivatives of numeric functions expressed as computer programs. AD is a small but established field with applications in areas including computational fluid dynamics, atmospheric sciences, and engineering design optimization. Until very recently, the fields of machine learning and AD have largely been unaware of each other and, in some cases, have independently discovered each other's results. Despite its relevance, general-purpose AD has been missing from the machine learning toolbox, a situation slowly changing with its ongoing adoption under the names "dynamic computational graphs" and "differentiable programming". We survey the intersection of AD and machine learning, cover applications where AD has direct relevance, and address the main implementation techniques. By precisely defining the main differentiation techniques and their interrelationships, we aim to bring clarity to the usage of the terms "autodiff", "automatic differentiation", and "symbolic differentiation" as these are encountered more and more in machine learning settings.

Machine learning applications have become ubiquitous. Their applications range from embedded control in production machines over process optimization in diverse areas (e.g., traffic, finance, sciences) to direct user interactions like advertising and recommendations. This has led to an increased effort of making machine learning trustworthy. Explainable and fair AI have already matured. They address the knowledgeable user and the application engineer. However, there are users that want to deploy a learned model in a similar way as their washing machine. These stakeholders do not want to spend time in understanding the model, but want to rely on guaranteed properties. What are the relevant properties? How can they be expressed to the stakeholder without presupposing machine learning knowledge? How can they be guaranteed for a certain implementation of a machine learning model? These questions move far beyond the current state of the art and we want to address them here. We propose a unified framework that certifies learning methods via care labels. They are easy to understand and draw inspiration from well-known certificates like textile labels or property cards of electronic devices. Our framework considers both, the machine learning theory and a given implementation. We test the implementation's compliance with theoretical properties and bounds.

随着机器学习系统的计算要求以及机器学习框架的规模和复杂性的增加，基本框架创新变得具有挑战性。尽管计算需求驱动了最近的编译器，网络和硬件的进步，但通过机器学习工具对这些进步的利用却以较慢的速度发生。这部分是由于与现有框架原型制作新的计算范式有关的困难。大型框架将机器学习研究人员和从业人员作为最终用户的优先级优先，并且很少关注能够向前推动框架的系统研究人员 - 我们认为两者都是同等重要的利益相关者。我们介绍了手电筒，这是一个开源库，旨在通过优先考虑开放式，模块化，可定制的内部设备以及最新的，可用于研究的模型和培训设置，以刺激机器学习工具和系统的创新。手电筒使系统研究人员能够快速原型并尝试机器学习计算中的新思想，并且开销低，与其他流行的机器学习框架竞争并经常超过其他流行的机器学习框架。我们将手电筒视为一种工具，可以使可以使广泛使用的图书馆受益，并使机器学习和系统研究人员更加紧密地结合在一起。手电筒可从https://github.com/flashlight/flashlight获得。

负责将数据从存储转移到GPU的同时，在培训机器学习模型的同时，数据加载器可能会大大提高培训工作的绩效。最近的进步不仅通过大大减少训练时间，而且还提供了新功能，例如从远程存储（如S3）加载数据，这表明了希望。在本文中，我们是第一个将数据加载器区分为深度学习（DL）工作流程中的单独组件并概述其结构和功能的组件。最后，我们提供了可用的不同数据库，其功能，可用性和性能方面的权衡以及从中获得的见解的全面比较。

The framework of normalizing flows provides a general strategy for flexible variational inference of posteriors over latent variables. We propose a new type of normalizing flow, inverse autoregressive flow (IAF), that, in contrast to earlier published flows, scales well to high-dimensional latent spaces. The proposed flow consists of a chain of invertible transformations, where each transformation is based on an autoregressive neural network. In experiments, we show that IAF significantly improves upon diagonal Gaussian approximate posteriors. In addition, we demonstrate that a novel type of variational autoencoder, coupled with IAF, is competitive with neural autoregressive models in terms of attained log-likelihood on natural images, while allowing significantly faster synthesis.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

基于树的合奏以其出色的性能而闻名，其分类和回归问题以特征向量为特征，这些特征向量由来自各个范围和域的混合型变量表示。但是，考虑回归问题，它们主要旨在提供确定性的响应，或者用高斯分布来建模输出的不确定性。在这项工作中，我们介绍了TreeFlow，这是基于树的方法，结合了使用树形合奏和使用标准化流量的灵活概率分布进行建模的功能的好处。该解决方案的主要思想是将基于树的模型用作特征提取器，并将其与标准化流量的条件变体组合。因此，我们的方法能够为回归输出建模复杂分布。我们评估了针对具有不同体积，特征特征和目标维度的挑战回归基准的提议方法。与基于树的回归基线相比，我们在具有非高斯目标分布的数据集上获得了SOTA结果。

数值验证是机器学习研究的核心，因为它允许评估新方法的实际影响，并确认理论和实践之间的一致性。然而，该领域的快速发展构成了一些挑战：研究人员面临着大量的方法来比较，有限的透明度和最佳实践的共识以及乏味的重新实施工作。结果，验证通常是非常部分的，这可能会导致错误的结论，从而减慢研究的进展。我们提出了Benchopt，这是一个协作框架，旨在在跨编程语言和硬件体系结构的机器学习中自动化，复制和发布优化基准。 Benchopt通过提供用于运行，共享和扩展实验的现成工具来简化社区的基准测试。为了展示其广泛的可用性，我们在三个标准学习任务上展示基准：$ \ ell_2 $ regulaine的逻辑回归，套索和RESNET18用于图像分类的培训。这些基准强调了关键的实际发现，这些发现对这些问题的最新问题更加细微，这表明在实际评估中，魔鬼在细节上。我们希望Benchopt能在社区中促进合作工作，从而改善研究结果的可重复性。

Recent advances in deep learning (dl) have led to the release of several dl software libraries such as pytorch, Caffe, and TensorFlow, in order to assist machine learning (ml) practitioners in developing and deploying state-of-the-art deep neural networks (DNN), but they are not able to properly cope with limitations in the dl libraries such as testing or data processing. In this paper, we present a qualitative and quantitative analysis of the most frequent dl libraries combination, the distribution of dl library dependencies across the ml workflow, and formulate a set of recommendations to (i) hardware builders for more optimized accelerators and (ii) library builder for more refined future releases. Our study is based on 1,484 open-source dl projects with 46,110 contributors selected based on their reputation. First, we found an increasing trend in the usage of deep learning libraries. Second, we highlight several usage patterns of deep learning libraries. In addition, we identify dependencies between dl libraries and the most frequent combination where we discover that pytorch and Scikit-learn and, Keras and TensorFlow are the most frequent combination in 18% and 14% of the projects. The developer uses two or three dl libraries in the same projects and tends to use different multiple dl libraries in both the same function and the same files. The developer shows patterns in using various deep-learning libraries and prefers simple functions with fewer arguments and straightforward goals. Finally, we present the implications of our findings for researchers, library maintainers, and hardware vendors.