Missing values are a common problem in data science and machine learning. Removing instances with missing values can adversely affect the quality of further data analysis. This is exacerbated when there are relatively many more features than instances, and thus the proportion of affected instances is high. Such a scenario is common in many important domains, for example, single nucleotide polymorphism (SNP) datasets provide a large number of features over a genome for a relatively small number of individuals. To preserve as much information as possible prior to modeling, a rigorous imputation scheme is acutely needed. While Denoising Autoencoders is a state-of-the-art method for imputation in high-dimensional data, they still require enough complete cases to be trained on which is often not available in real-world problems. In this paper, we consider missing value imputation as a multi-label classification problem and propose Chains of Autoreplicative Random Forests. Using multi-label Random Forests instead of neural networks works well for low-sampled data as there are fewer parameters to optimize. Experiments on several SNP datasets show that our algorithm effectively imputes missing values based only on information from the dataset and exhibits better performance than standard algorithms that do not require any additional information. In this paper, the algorithm is implemented specifically for SNP data, but it can easily be adapted for other cases of missing value imputation.

包括机器学习在内的计算分析方法对基因组学和医学领域具有重大影响。高通量基因表达分析方法，例如微阵列技术和RNA测序产生大量数据。传统上，统计方法用于基因表达数据的比较分析。但是，针对样品观察分类或发现特征基因的分类的更复杂的分析需要复杂的计算方法。在这篇综述中，我们编译了用于分析表达微阵列数据的各种统计和计算工具。即使在表达微阵列的背景下讨论了这些方法，也可以将它们应用于RNA测序和定量蛋白质组学数据集的分析。我们讨论缺失价值的类型以及其插补中通常采用的方法和方法。我们还讨论了数据归一化，特征选择和特征提取的方法。最后，详细描述了分类和类发现方法及其评估参数。我们认为，这项详细的审查将帮助用户根据预期结果选择适当的方法来预处理和分析其数据。

尽管电子健康记录是生物医学研究的丰富数据来源，但这些系统并未在医疗环境中统一地实施，并且由于医疗保健碎片化和孤立的电子健康记录之间缺乏互操作性，可能缺少大量数据。考虑到缺少数据的案例的删除可能会在随后的分析中引起严重的偏见，因此，一些作者更喜欢采用多重插补策略来恢复缺失的信息。不幸的是，尽管几项文献作品已经通过使用现在可以自由研究的任何不同的多个归档算法记录了有希望的结果，但尚无共识，MI算法效果最好。除了选择MI策略之外，归纳算法及其应用程序设置的选择也至关重要且具有挑战性。在本文中，受鲁宾和范布伦的开创性作品的启发，我们提出了一个方法学框架，可以应用于评估和比较多种多个插补技术，旨在选择用于计算临床研究工作中最有效的推断。我们的框架已被应用于验证和扩展较大的队列，这是我们在先前的文献研究中提出的结果，我们在其中评估了关键患者的描述符和Covid-19的影响在2型糖尿病患者中的影响，其数据为2型糖尿病，其数据为2型糖尿病由国家共同队列合作飞地提供。

在实践中，缺少数据是一个通常发生的问题。已经开发了许多插补方法来填写缺失的条目。但是，并非所有这些都可以扩展到高维数据，尤其是多个插补技术。同时，如今的数据趋于高维。因此，在这项工作中，我们提出了主要成分分析插补（PCAI），这是一个基于主成分分析（PCA）的简单但多才多艺的框架，以加快插补过程并减轻许多可用的插补技术的记忆问题，而无需牺牲插补质量质量在MSE任期。此外，即使某些或全部缺少的功能是分类的，或者缺少功能的数量很大，框架也可以使用。接下来，我们介绍PCA插补 - 分类（PIC），这是PCAI在分类问题中的应用，并进行了一些调整。我们通过对各种情况进行实验来验证我们的方法，这表明PCAI和PIC可以使用各种插入算法（包括最先进的算法），并显着提高插补速度，同时在获得竞争性的均方误差/分类精度相比，指导插补（即直接将其插入丢失的数据）。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

我们介绍了数据科学预测生命周期中各个阶段开发和采用自动化的技术和文化挑战的说明概述，从而将重点限制为使用结构化数据集的监督学习。此外，我们回顾了流行的开源Python工具，这些工具实施了针对自动化挑战的通用解决方案模式，并突出了我们认为进步仍然需要的差距。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

在不完整的数据集中对样本进行分类是机器学习从业人员的普遍目的，但并非平凡。在大多数现实世界数据集中发现缺失的数据，这些缺失值通常是使用已建立的方法估算的，然后进行分类现在完成，估算的样本。然后，机器学习研究人员的重点是优化下游分类性能。在这项研究中，我们强调必须考虑插补的质量。我们展示了如何评估质量的常用措施有缺陷，并提出了一类新的差异评分，这些分数着重于该方法重新创建数据的整体分布的程度。总而言之，我们强调了使用不良数据训练的分类器模型的可解释性损害。

在机器学习的许多应用中，不可避免的值是不可避免的，并且在培训和测试时都提出了挑战。当反复出现的模式中缺少变量时，已经提出了单独的图案子模型作为解决方案。但是，独立模型并不能有效利用所有可用数据。相反，将共享模型拟合到完整数据集通常取决于插补，而当丢失度取决于未观察到的因素时，这可能是次优的。我们提出了一种替代方法，称为共享模式子模型，该方法做出了a）在测试时对缺失值的强大预测，b）维持或提高模式子模型的预测能力，c）有一个简短的描述，可改善可解释性。我们确定共享是最佳的情况，即使缺失本身具有预测性以及预测目标取决于未观察到的变量。关于合成数据和两个医疗保健数据集的分类和回归实验表明，我们的模型在模式专业化和信息共享之间实现了良好的权衡。

本文调查了股票回购，特别是分享回购公告。它解决了如何识别此类公告，股票回购的超额回报以及股票回购公告后的回报的预测。我们说明了两种NLP方法，用于自动检测股票回购公告。即使有少量的培训数据，我们也可以达到高达90％的准确性。该论文利用这些NLP方法生成一个由57,155个股票回购公告组成的大数据集。通过分析该数据集，本论文的目的是表明大多数宣布回购的公司的大多数公司都表现不佳。但是，少数公司的表现极大地超过了MSCI世界。当查看所有公司的平均值时，这种重要的表现过高会导致净收益。如果根据公司的规模调整了基准指数，则平均表现过高，并且大多数表现不佳。但是，发现宣布股票回购的公司至少占其市值的1％，即使使用调整后的基准，也平均交付了显着的表现。还发现，在危机时期宣布股票回购的公司比整个市场更好。此外，生成的数据集用于训练72个机器学习模型。通过此，它能够找到许多可以达到高达77％并产生大量超额回报的策略。可以在六个不同的时间范围内改善各种性能指标，并确定明显的表现。这是通过训练多个模型的不同任务和时间范围以及结合这些不同模型的方法来实现的，从而通过融合弱学习者来产生重大改进，以创造一个强大的学习者。

分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是，该方法需要标签的固定静态顺序。虽然理论上，任何顺序都足够了，实际上，该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法，可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的，因为它需要训练一系列分类器，以满足标签的每种可能置换。为了有效地解决这个问题，我们提出了一种基于随机决策树的新方法，该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择，通过在否则不变的随机决策树模型下使用静态排序。 ％和实验环境。此外，我们还展示了基于极端梯度提升树的替代方法，其允许更具目标的动态分级链训练。我们的结果表明，该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是，动态选择策略允许大大加速培训和预测。

Missing data is a common concern in health datasets, and its impact on good decision-making processes is well documented. Our study's contribution is a methodology for tackling missing data problems using a combination of synthetic dataset generation, missing data imputation and deep learning methods to resolve missing data challenges. Specifically, we conducted a series of experiments with these objectives; $a)$ generating a realistic synthetic dataset, $b)$ simulating data missingness, $c)$ recovering the missing data, and $d)$ analyzing imputation performance. Our methodology used a gaussian mixture model whose parameters were learned from a cleaned subset of a real demographic and health dataset to generate the synthetic data. We simulated various missingness degrees ranging from $10 \%$, $20 \%$, $30 \%$, and $40\%$ under the missing completely at random scheme MCAR. We used an integrated performance analysis framework involving clustering, classification and direct imputation analysis. Our results show that models trained on synthetic and imputed datasets could make predictions with an accuracy of $83 \%$ and $80 \%$ on $a) $ an unseen real dataset and $b)$ an unseen reserved synthetic test dataset, respectively. Moreover, the models that used the DAE method for imputed yielded the lowest log loss an indication of good performance, even though the accuracy measures were slightly lower. In conclusion, our work demonstrates that using our methodology, one can reverse engineer a solution to resolve missingness on an unseen dataset with missingness. Moreover, though we used a health dataset, our methodology can be utilized in other contexts.

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

考虑在数据集中插入缺失值的问题。一方面，使用迭代插补的一方面，传统的方法可以直接从学习条件分布的简单性和可定制性中受益，但遭受了对每个变量的适当模型规范的实际要求。另一方面，使用深层生成建模的最新方法受益于神经网络功能近似器的学习能力和效率，但通常很难优化和依赖更强大的数据假设。在这项工作中，我们研究了一种嫁给两者优势的方法：我们提出了 *Hyperibute *，这是一种适应性和自动配置列型模型及其超级参数的广义迭代插补框架。实际上，我们为开箱即用的学习者，优化者，模拟器和可扩展的接口提供具体的实现。从经验上讲，我们通过在各种公共数据集上通过全面的实验和敏感性调查了该框架，并证明了其相对于强大基准测试套件而产生准确的归精的能力。与最近的工作相反，我们认为我们的发现构成了对迭代归档范式的强烈辩护。

机器学习渗透到许多行业，这为公司带来了新的利益来源。然而，在人寿保险行业中，机器学习在实践中并未被广泛使用，因为在过去几年中，统计模型表明了它们的风险评估效率。因此，保险公司可能面临评估人工智能价值的困难。随着时间的流逝，专注于人寿保险行业的修改突出了将机器学习用于保险公司的利益以及通过释放数据价值带来的利益。本文回顾了传统的生存建模方法论，并通过机器学习技术扩展了它们。它指出了与常规机器学习模型的差异，并强调了特定实现在与机器学习模型家族中面对审查数据的重要性。在本文的补充中，已经开发了Python库。已经调整了不同的开源机器学习算法，以适应人寿保险数据的特殊性，即检查和截断。此类模型可以轻松地从该SCOR库中应用，以准确地模拟人寿保险风险。

数据插补是处理缺失数据的有效方法，这在实际应用中很常见。在这项研究中，我们提出并测试一个实现两个重要目标的新型数据归合过程：（1）保留观测值之间的行相似性和功能矩阵中特征之间的列背景关系，以及（2）量身定制插补。处理特定下游标签预测任务。所提出的插补过程使用变压器网络和图形结构学习来迭代地完善观察值之间特征和相似性之间的上下文关系。此外，它使用一个元学习框架来选择对下游预测任务影响的功能。我们对现实世界中的大数据集进行实验，并表明所提出的插补过程始终在各种基准方法上改善插补和标签预测性能。

In the present work we propose an unsupervised ensemble method consisting of oblique trees that can address the task of auto-encoding, namely Oblique Forest AutoEncoders (briefly OF-AE). Our method is a natural extension of the eForest encoder introduced in [1]. More precisely, by employing oblique splits consisting in multivariate linear combination of features instead of the axis-parallel ones, we will devise an auto-encoder method through the computation of a sparse solution of a set of linear inequalities consisting of feature values constraints. The code for reproducing our results is available at https://github.com/CDAlecsa/Oblique-Forest-AutoEncoders.

在多标签学习中，单个数据点与多个目标标签相关联的多任务学习的特定情况，在文献中广泛假定，为了获得最佳准确性，应明确建模标签之间的依赖性。这个前提导致提供的方法的扩散，以学习和预测标签，例如，一个标签的预测会影响对其他标签的预测。即使现在人们承认，在许多情况下，最佳性能并不需要一种依赖模型，但此类模型在某些情况下继续超越独立模型，这暗示了其对其性能的替代解释以外的标签依赖性，而文献仅是文献才是最近开始解开。利用并扩展了最近的发现，我们将多标签学习的原始前提转移到其头上，并在任务标签之间没有任何可衡量的依赖性的情况下特别处理联合模型的问题；例如，当任务标签来自单独的问题域时。我们将洞察力从这项研究转移到建立转移学习方法，该方法挑战了长期以来的假设，即任务的可转移性来自源和目标域或模型之间相似性的测量。这使我们能够设计和测试一种传输学习方法，该方法是模型驱动的，而不是纯粹的数据驱动，并且它是黑匣子和模型不合时式（可以考虑任何基本模型类）。我们表明，从本质上讲，我们可以根据源模型容量创建任务依赖性。我们获得的结果具有重要的含义，并在多标签和转移学习领域为将来的工作提供了明确的方向。

缺少价值是传感器中非常普遍且不可避免的问题，研究人员已经进行了许多尝试丢失价值的尝试，尤其是在深度学习模型中。但是，对于实际传感器数据，很少考虑特定的数据分布和数据周期，因此很难为不同传感器选择适当的评估索引和模型。为了解决这个问题，本研究提出了一个基于深度学习的多阶段插补框架，并适应缺失价值插补。该模型提出了数据分布的低阶和高阶统计数据的混合测量指数，以及对数据插补性能指标的新观点，该指标比传统的平均平方误差更适应性和有效。多阶段的归档策略和动态数据长度被引入数据周期的插补过程中。对不同类型的传感器数据的实验结果表明，多阶段的归合策略和混合指数是优越的，并且缺失价值插补的效果在一定程度上得到了改善，尤其是对于大段插补问题。代码和实验结果已上传到GitHub。

缺少数据是机器学习实践中的一个重要问题。从估算方法应保留数据的因果结构的前提下，我们开发了一个正则化方案，鼓励任何基线估算方法与底层数据产生机制发生因果关系。我们的提议是一个因果感知估算算法（奇迹）。奇迹通过同时建模缺失产生机制，令人振奋的归咎与数据的因果结构一致，迭代地改进基线的归纳。我们对综合和各种公开可用数据集进行了广泛的实验，以表明奇迹能够在所有三个缺失场景中始终如一地改善对各种基准方法的归力：随机，完全随意，而不是随机。