This paper computationally demonstrates a sharp improvement in predictive performance for $k$ nearest neighbors thanks to an efficient forward selection of the predictor variables. We show both simulated and real-world data that this novel repeatedly approaches outperformance regression models under stepwise selection

KNN分类是一种即兴的学习模式，其中仅当预测测试数据设置适当的K值并从整个训练样本空间搜索K最近邻居时，将它们引用到KNN分类的惰性部分。这一懒散的部分是应用KNN分类的瓶颈问题，因为完全搜索了K最近邻居。在本文中，提出了一步计算来取代KNN分类的惰性部分。一步计算实际上将惰性部分转换为矩阵计算，如下所示。考虑到测试数据，首先应用训练样本以将测试数据与最小二乘损耗功能拟合。然后，通过根据它们对测试数据的影响来加权所有训练样本来生成关系矩阵。最后，采用一个组套索来对关系矩阵进行稀疏学习。以这种方式，设置k值和搜索k最近邻居都集成到统一的计算。此外，提出了一种新的分类规则来改善单步核武器分类的性能。提出的方法是通过实验评估的，并证明了一步核武器分类是有效和有前途的

洪水是大自然最灾难性的灾难之一，对人类生活，农业，基础设施和社会经济系统造成了不可逆转和巨大的破坏。已经进行了几项有关洪水灾难管理和洪水预测系统的研究。实时对洪水的发作和进展的准确预测是具有挑战性的。为了估计大面积的水位和速度，有必要将数据与计算要求的洪水传播模型相结合。本文旨在减少这种自然灾害的极端风险，并通过使用不同的机器学习模型为洪水提供预测来促进政策建议。这项研究将使用二进制逻辑回归，K-Nearest邻居（KNN），支持向量分类器（SVC）和决策树分类器来提供准确的预测。通过结果，将进行比较分析，以了解哪种模型具有更好的准确性。

估计变量的重要性是现代机器学习的重要任务。这有助于评估给定模型中功能的优点。在过去的十年中，已经开发了几种估计变量重要性的技术。在本文中，我们提出了对可变重要性估计的新兴方法的计算和理论探索，即：绝对收缩和选择操作员（LASSO），支持向量机（SVM），预测误差函数（Perf），随机森林（随机森林）（ RF）和极端梯度提升（XGBOOST）在不同类型的现实生活和模拟数据上进行了测试。所有这些方法都可以无缝处理回归和分类任务，但是在处理包含丢失值的数据时都失败了。该实现表明，在高度相关数据的情况下，PURD具有最佳性能，紧随其后的是RF。 perf和xgboost是“渴望数据”的方法，它们在小数据尺寸上的性能最差，但在执行时间方面它们是最快的。当数据集中许多冗余功能时，SVM是最合适的。 perf的盈余是其自然截止量的零截止，有助于将正面和负分数分开，所有正分数表明基本和重要的特征，而负面分数表示无用的特征。 RF和Lasso的通用性非常多，尽管它们没有给予最佳效果，但它们几乎可以在所有情况下使用。

机器学习的回归分支纯粹集中于连续值的预测。监督学习分支具有许多基于回归的方法，具有参数和非参数学习模型。在本文中，我们旨在针对与基于距离的回归模型相关的非常微妙的点。所使用的基于距离的模型是K-Nearest邻居回归器，它是一种监督的非参数方法。我们要证明的观点是模型的k参数的效果及其影响指标的波动。我们使用的指标是根平方误差和R平方拟合的优点，其值相对于K值的值表示。

多类概率估计是估计属于类协变量信息的数据点的条件概率的问题。它在统计分析和数据科学中有广泛的应用。最近，已经开发了一类加权支持矢量机（WSVM），以通过$ k $ class问题的合奏学习来估计类概率（Wu，Zhang and Liu，2010； Wang，Zhang和Wu，2019年），其中$ K $是类的数量。估计器具有强大的概率估计，并实现了高精度，但是它们的学习是通过成对耦合实施的，这需要$ k $中的多项式时间。在本文中，我们提出了两种新的学习方案，即基线学习和一vs-all（OVA）学习，以进一步提高计算效率和估计准确性的WSVM。特别是，基线学习具有最佳的计算复杂性，因为它在$ k $中是线性的。尽管在计算方面不是最有效的，但OVA在比较的所有程序中提供了最佳的估计准确性。最终的估计器是无分布的，并且显示出一致的。我们进一步进行广泛的数值实验以证明有限的样本性能。

Machine learning is the study of computer algorithms that can automatically improve based on data and experience. Machine learning algorithms build a model from sample data, called training data, to make predictions or judgments without being explicitly programmed to do so. A variety of wellknown machine learning algorithms have been developed for use in the field of computer science to analyze data. This paper introduced a new machine learning algorithm called impact learning. Impact learning is a supervised learning algorithm that can be consolidated in both classification and regression problems. It can furthermore manifest its superiority in analyzing competitive data. This algorithm is remarkable for learning from the competitive situation and the competition comes from the effects of autonomous features. It is prepared by the impacts of the highlights from the intrinsic rate of natural increase (RNI). We, moreover, manifest the prevalence of the impact learning over the conventional machine learning algorithm.

在医疗保健系统中，需要患者使用可穿戴设备进行远程数据收集和对健康数据的实时监控以及健康状况的状态。可穿戴设备的这种采用导致收集和传输的数据量显着增加。由于设备由较小的电池电源运行，因此由于设备的高处理要求以进行数据收集和传输，因此可以快速减少它们。鉴于医疗数据的重要性，必须所有传输数据遵守严格的完整性和可用性要求。减少医疗保健数据的量和传输频率将通过使用推理算法改善设备电池寿命。有一个以准确性和效率改善传输指标的问题，彼此之间的权衡，例如提高准确性会降低效率。本文表明，机器学习可用于分析复杂的健康数据指标，例如数据传输的准确性和效率，以使用Levenberg-Marquardt算法来克服权衡问题，从而增强这两个指标，从而通过少较少的样本来传输，同时保持维护准确性。使用标准心率数据集测试该算法以比较指标。结果表明，LMA最好以3.33倍的效率进行样本数据尺寸和79.17％的精度，在7种不同的采样案例中具有相似的准确性，用于测试，但表明效率提高。与具有高效率的现有方法相比，这些提出的方法使用机器学习可以显着改善两个指标，而无需牺牲其他指标。

Machine-learning classifiers can be leveraged as a two-sample statistical test. Suppose each sample is assigned a different label and that a classifier can obtain a better-than-chance result discriminating them. In this case, we can infer that both samples originate from different populations. However, many types of models, such as neural networks, behave as a black-box for the user: they can reject that both samples originate from the same population, but they do not offer insight into how both samples differ. Self-Organizing Maps are a dimensionality reduction initially devised as a data visualization tool that displays emergent properties, being also useful for classification tasks. Since they can be used as classifiers, they can be used also as a two-sample statistical test. But since their original purpose is visualization, they can also offer insights.

冠状质量弹出（CME）是最地理化的空间天气现象，与大型地磁风暴有关，有可能引起电信，卫星网络中断，电网损失和故障的干扰。因此，考虑到这些风暴对人类活动的潜在影响，对CME的地理效果的准确预测至关重要。这项工作着重于在接近太阳CME的白光冠状动脉数据集中训练的不同机器学习方法，以估计这种新爆发的弹出是否有可能诱导地磁活动。我们使用逻辑回归，k-nearest邻居，支持向量机，向前的人工神经网络以及整体模型开发了二进制分类模型。目前，我们限制了我们的预测专门使用太阳能发作参数，以确保延长警告时间。我们讨论了这项任务的主要挑战，即我们数据集中的地理填充和无效事件的数量以及它们的众多相似之处以及可用变量数量有限的极端失衡。我们表明，即使在这种情况下，这些模型也可以达到足够的命中率。

Bagging predictors is a method for generating multiple versions of a predictor and using these to get an aggregated predictor. The aggregation averages over the versions when predicting a numerical outcome and does a plurality vote when predicting a class. The multiple versions are formed by making bootstrap replicates of the learning set and using these as new learning sets. Tests on real and simulated data sets using classification and regression trees and subset selection in linear regression show that bagging can give substantial gains in accuracy. The vital element is the instability of the prediction method. If perturbing the learning set can cause significant changes in the predictor constructed, then bagging can improve accuracy.

我们引入了一种新颖的方式，将增强功能与高斯工艺和混合效应模型相结合。首先，在高斯过程中先前的平均函数的零或线性假设可以放松，并以灵活的非参数方式分组随机效应模型，其次，第二个在大多数增强算法中做出的独立性假设。前者有利于预测准确性和避免模型错误。后者对于有效学习固定效应预测函数和获得概率预测很重要。我们提出的算法也是用于处理培养树木中高心电图分类变量的新颖解决方案。此外，我们提出了一个扩展名，该扩展是使用维奇亚近似为高斯工艺模型缩放到大数据的，该模型依靠新的结果进行协方差参数推断。与几个模拟和现实世界数据集的现有方法相比，我们获得了提高的预测准确性。

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

痴呆症是一种神经精神脑障碍，通常会在一个或多个脑细胞停止部分或根本停止工作时发生。在疾病的早期阶段诊断这种疾病是从不良后果中挽救生命并为他们提供更好的医疗保健的至关重要的任务。事实证明，机器学习方法在预测疾病早期痴呆症方面是准确的。痴呆的预测在很大程度上取决于通常从归一化的全脑体积（NWBV）和地图集缩放系数（ASF）收集的收集数据类型，这些数据通常测量并从磁共振成像（MRIS）中进行校正。年龄和性别等其他生物学特征也可以帮助诊断痴呆症。尽管许多研究使用机器学习来预测痴呆症，但我们无法就这些方法的稳定性得出结论，而这些方法在不同的实验条件下更准确。因此，本文研究了有关痴呆预测的机器学习算法的性能的结论稳定性。为此，使用7种机器学习算法和两种功能还原算法，即信息增益（IG）和主成分分析（PCA）进行大量实验。为了检查这些算法的稳定性，IG的特征选择阈值从20％更改为100％，PCA尺寸从2到8。这导致了7x9 + 7x7 = 112实验。在每个实验中，都记录了各种分类评估数据。获得的结果表明，在七种算法中，支持向量机和天真的贝叶斯是最稳定的算法，同时更改选择阈值。同样，发现使用IG似乎比使用PCA预测痴呆症更有效。

Many different machine learning algorithms exist; taking into account each algorithm's hyperparameters, there is a staggeringly large number of possible alternatives overall. We consider the problem of simultaneously selecting a learning algorithm and setting its hyperparameters, going beyond previous work that addresses these issues in isolation. We show that this problem can be addressed by a fully automated approach, leveraging recent innovations in Bayesian optimization. Specifically, we consider a wide range of feature selection techniques (combining 3 search and 8 evaluator methods) and all classification approaches implemented in WEKA, spanning 2 ensemble methods, 10 meta-methods, 27 base classifiers, and hyperparameter settings for each classifier. On each of 21 popular datasets from the UCI repository, the KDD Cup 09, variants of the MNIST dataset and CIFAR-10, we show classification performance often much better than using standard selection/hyperparameter optimization methods. We hope that our approach will help non-expert users to more effectively identify machine learning algorithms and hyperparameter settings appropriate to their applications, and hence to achieve improved performance.

我们提供了有关如何仅使用其空间表示形式对轨迹进行分类的首次综合研究，该研究以5个现实世界数据集进行了测量。我们的比较考虑了20个不同的分类器，它们是流行距离的KNN分类器，或使用每个轨迹的矢量化表示形式作为更通用的分类器。我们还开发了如何通过数据驱动的方法矢量化轨迹以选择相关地标的新方法，这些方法证明是我们研究中最有效的方法之一。这些矢量化方法简单而有效，并且还可以在已建立的运输模式分类任务上提供最先进的准确性。总的来说，这项研究为如何对轨迹进行分类设定了标准，包括引入新的简单技术来实现这些结果，并为不可避免的未来对该主题的研究设定了严格的标准。

2019年12月底，首先在武汉中国首次确定了新型冠状病毒（SARS-COV-2）和所得疾病Covid-19。该疾病通过遏制措施滑落，其中一个已知的案例在美国在2020年1月20日被确定。在本文中，我们利用来自大学间财团的调查数据进行政治和社会研究，并应用几种统计和机器学习模型和技术，如决策树，多项式物流回归，天真贝叶斯，k-intele邻居，支持向量机，神经网络，随机森林，梯度树提升，Xgboost，Catboost，LightGBM，合成少数群体过采样和Chi-Squared测试分析Covid-19大流行对美国前线工人心理健康的影响。通过对适用于心理健康调查数据的许多模型的解释，我们已经得出结论，预测前线工人心理健康衰退的最重要因素是个人所在的医疗保健角色（护士，急诊室工作人员，外科医生， ），其次是个人在上周睡眠量，Covid-19相关新闻的数量在一天，工人的年龄和酒精和大麻的使用量平均消耗。

基于用法的保险已成为车辆保险的新标准；因此，找到使用保险人的驾驶数据的有效方法很重要。在车辆的行程摘要中应用异常检测，我们开发了一种方法，允许为每辆车辆得出“常规”和“特殊性”异常轮廓。为此，使用每辆车辆进行的每次旅行的异常检测算法来计算常规和特殊性异常得分。与相关车辆进行的其他旅行相比，前者测量了旅行的异常程度，而后者则与任何车辆进行的旅行相比，衡量了其异常程度。所得的异常得分向量用作常规和特殊性曲线。然后从这些配置文件中提取功能，我们为其研究索赔分类框架中的预测能力。使用真实数据，我们发现从车辆的特殊性概况提取的功能改善了分类。

血浆定义为物质的第四个状态，在高电场下可以在大气压下产生非热血浆。现在众所周知，血浆激活液体（PAL）的强和广谱抗菌作用。机器学习（ML）在医疗领域的可靠适用性也鼓励其在等离子体医学领域的应用。因此，在PALS上的ML应用可以提出一种新的观点，以更好地了解各种参数对其抗菌作用的影响。在本文中，通过使用先前获得的数据来定性预测PAL的体外抗菌活性，从而介绍了比较监督的ML模型。进行了文献搜索，并从33个相关文章中收集了数据。在所需的预处理步骤之后，将两种监督的ML方法（即分类和回归）应用于数据以获得微生物灭活（MI）预测。对于分类，MI分为四类，对于回归，MI被用作连续变量。为分类和回归模型进行了两种不同的可靠交叉验证策略，以评估所提出的方法。重复分层的K折交叉验证和K折交叉验证。我们还研究了不同特征对模型的影响。结果表明，高参数优化的随机森林分类器（ORFC）和随机森林回归者（ORFR）分别比其他模型进行了分类和回归的模型更好。最后，获得ORFC的最佳测试精度为82.68％，ORFR的R2为0.75。 ML技术可能有助于更好地理解在所需的抗菌作用中具有主要作用的血浆参数。此外，此类发现可能有助于将来的血浆剂量定义。

特征选择是数据科学流水线的重要步骤，以减少与大型数据集相关的复杂性。虽然对本主题的研究侧重于优化预测性能，但很少研究在特征选择过程的上下文中调查稳定性。在这项研究中，我们介绍了重复的弹性网技术（租金）进行特色选择。租金使用具有弹性净正常化的广义线性模型的集合，每个训练都培训了训练数据的不同子集。该特征选择基于三个标准评估所有基本模型的重量分布。这一事实导致选择具有高稳定性的特征，从而提高最终模型的稳健性。此外，与已建立的特征选择器不同，租金提供了有关在训练期间难以预测的数据中难以预测的对象的模型解释的有价值信息。在我们的实验中，我们在八个多变量数据集中对六个已建立的特征选择器进行基准测试，用于二进制分类和回归。在实验比较中，租金在预测性能和稳定之间展示了均衡的权衡。最后，我们强调了租金的额外解释价值与医疗保健数据集的探索性后HOC分析。