最近邻算法是一种懒惰学习算法，其中算法试图通过训练数据集中的相似向量来近似预测。 K-NearestNeighbors算法所做的预测是基于对空间邻居的目标值进行平均。 Hermitian空间中邻居的选择过程是在距离度量的帮助下完成的，例如欧氏距离，Minkowskidistance，Mahalanobis距离等。大多数度量，例如欧几里德距离是尺度变量，这意味着结果可能因使用的不同范围值而变化对于功能。用于缩放因子的正规化的标准技术是特征缩放方法，例如Z分数归一化技术，Min-Max缩放等。缩放方法对所有特征均匀地赋予权重，这可能导致非理想情况。本文提出了一种新颖的方法。借助于从构造多个决策树模型获得的袋外错误来为单个特征分配权重的方法。

Medical and social sciences demand sampling techniques which are robust, reliable, replicable and have the least dissimilarity between the samples obtained. Majority of the applications of sampling use randomized sampling, albeit with stratification where applicable. The randomized technique is not consistent, and may provide different samples each time, and the different samples themselves may not be similar to each other. In this paper, we introduce a novel non-statistical no-replacement sampling technique called Wobbly Center Algorithm, which relies on building clusters iteratively based on maximizing the heterogeneity inside each cluster. The algorithm works on the principle of stepwise building of clusters by finding the points with the maximal distance from the cluster center. The obtained results are validated statistically using Analysis of Variance tests by comparing the samples obtained to check if they are representative of each other. The obtained results generated from running the Wobbly Center algorithm on benchmark datasets when compared against other sampling algorithms indicate the superiority of the Wobbly Center Algorithm.

在参数空间中探索的黑盒优化器经常被证明可以表现出更加复杂的动作空间探索方法，这些方法专门针对强化学习问题而开发。我们仔细研究这些黑盒方法，以确定它们比动作空间探索方法和它们优越的方法更糟糕的情况。通过简单的理论分析，证明了参数空间探索的复杂性取决于参数空间的维数，而动作空间探索的复杂性则取决于动作空间的维数和地平线长度。通过比较几个模型问题的简单探索方法，包括连续控制中的语境强盗，线性回归和强化学习，也可以凭经验证明这一点。

强化学习的一个主要挑战是发现奖励分布稀疏的任务的有效政策。我们假设在没有有用的奖励信号的情况下，有效的探索策略应该找出{\ it decision states}。这些状态位于状态空间中的关键交叉点，代理可以从这些交叉点转换到新的，可能未开发的区域。我们建议从先前的经验中了解决策状态。通过训练具有信息瓶颈的目标条件，我们可以通过检查模型实际利用目标状态的位置来识别决策状态。我们发现，这种简单的机制可以有效地识别决策状态，即使在部分观察到的环境中实际上，该模型学习了与潜在子目标相关的理论线索。在新的环境中，这个模型可以识别新的子目标以进行进一步的探索，引导代理通过一系列潜在的决策状态并通过状态空间的新区域。

无监督学习是关于捕捉变量之间的依赖关系，并且由这些变量的可能与不可能的配置之间的对比驱动，通常是通过仅对可能性进行采样的生成模型或对于可能的低的能量函数（非标准化的对数密度）和不可思议的高。在这里，我们考虑学习能量函数和有效的近似抽样机制。尽管生成对抗网络（GAN）中的识别者学会分离数据和生成器样本，但在生成器上引入熵最大化正则化可以将批评者的解释转化为能量函数，将训练分布与其他所有内容分开，从而可以用于任务像异常或新奇的检测。然后，我们展示了如何在发生器潜在空间中完成MarkovChain Monte Carlo，其样本可以映射到数据空间，从而产生更好的样本。这些样本用于估计数据空间能量函数的对数似然梯度所需的负相位梯度。为了最大化发电机输出端的熵，我们利用最近引入的相互信息的神经估计器。我们发现除了为异常检测产生有用的评分函数之外，所得到的方法产生清晰的样本，同时很好地覆盖模式，导致高的Inception和Frechet分数。

在本文中，我们提出了一种解释深度学习模型的新方法。更确切地说，通过将互信息与网络科学相结合，我们探索信息如何通过前馈网络流动。我们通过Kullback-Leibler分歧的双重表示显示出足够近似的互信息，这使得我们可以创建一个信息度量，用于量化在一个加深学习模型的任何两个神经元之间流动的信息量。为此，我们提出了NIF，神经信息流，一种用于编码信息流的新方法，它在提供特征归因的同时暴露了深度学习模型的内部。

对于真实世界的语音识别应用，噪声稳健性仍然是一个挑战。在这项工作中，我们采用师生（T / S）学习技术，使用并行干净和嘈杂的语料库来改善多媒体噪声下的自动语音识别（ASR）性能。最重要的是，我们应用logits选择方法，该方法仅保留k个最高值，以防止教师错误地强调知识并减少传输数据所需的带宽。我们整合了长达8000小时的未转录数据，并且除了受过交叉熵训练的模型之外，还在序列训练模型上呈现我们的结果。与训练有序的教师相比，最佳序列训练的学生模型分别对我们的清洁，模拟噪声和真实测试集产生约10.1％，28.7％和19.6％的相关误差率（WER）减少。

最近有很多关于从深度卷积神经网络（CNN）修剪滤波器的工作，目的是减少计算。关键的想法是根据一定的标准（比如l1-norm）对滤波器进行排序，并且只保留最高排名。过滤器。一旦低分数过滤器被修剪掉，网络的其余部分就会被微调，并且显示出与原始未净化网络相当的性能。在这项工作中，我们报告了实验，这些实验表明，成熟网络的可比性能不是由于所选择的特定标准，而是由于深度神经网络的固有可塑性，这使得它们能够在其余滤波器恢复后从修剪过滤器的损失中恢复。特别地，我们显示了反直觉的结果，其中通过从深CNN随机修剪25-50％的滤波器，我们能够获得与使用最先进的修剪方法获得的相同的性能。我们通过对VGG-16和ResNet-50进行详尽的评估，凭经验验证了我们的索赔。我们还评估了一个现实世界的场景，其中CNN训练所有1000个ImageNet类需要在测试时仅在一小组类上进行测试（例如，只有动物）。我们从ImageNet创建了一个新的基准数据集来评估这种类特定的修剪，并表明即使在这里，随机修剪策略也能提供最先进的性能。与主要关注图像分类任务的现有方法不同，在这项工作中，我们还报告了对象检测和图像分割的结果。我们表明，使用简单的randompruning策略，我们可以在物体检测中实现显着的加速（fps提高74％），同时保持与原始RCNN模型相同的精度。同样地，我们表明修剪的分段网络（SegNet）的性能实际上与原始的未经传播的SegNet非常相似。

由于缺乏可靠的经济数据，量化人类生活水平的提高以及发展中国家的城市增长是一个具有挑战性的问题。因此，基本需要可以估计发展中地区的经济条件的替代的，基本上无监督的计算方法。为此，我们提出了一种新的网络科学和表征学习方法，可以量化经济指标，并可视化各个地区的增长。更准确地说，我们首先创建一个由高分辨率夜间卫星图像绘制的动态网络。然后，我们证明了使用表示学习来确定所产生的网络，我们提出的方法可以准确地预测大区域的空间总体经济支出。我们的方法只需要夜间图像和有限的调查数据，可以捕捉城市的增长，以及人们的生活水平如何变化;这可以最大限度地促进决策者对增长的理解，而不会依赖昂贵且耗时的调查。

尽管对生成对抗性网络（GAN）越来越感兴趣，但从理论和实际角度来看，训练GAN仍然是一个具有挑战性的问题。为了应对这一挑战，在本文中，我们提出了一种利用真实数据的独特几何结构的新方法，尤其是流形信息。更具体地说，我们设计了一种通过添加称为流量调节器的附加正则化项来规范GANtraining的方法。流形正则化器迫使发生器尊重实际数据流形的独特几何结构并生成高质量数据。此外，我们在理论上证明在任何一类GAN（包括DCGAN和Wasserstein GAN）中添加该正则化项导致在泛化方面的性能提高，存在均衡和稳定性。初步实验表明，所提出的流量规划有助于避免模式崩溃并导致稳定的训练。