在数据中存在错误标记的观察是统计和机器学习中令人惊叹的挑战性问题，与传统分类器的差的概括特性相关，也许更灵活的分类器，如神经网络。在这里，我们提出了一种新的双重正规化的神经网络培训损失，这些训练损失结合了对分类模型的复杂性的惩罚以及对训练观测的最佳重新重量。综合惩罚导致普遍存在的普遍设置的普遍性特性和强大的稳健性，以及在训练时违反初始参数值的变化。我们为我们提出的方法提供了一个理论上的理由，该方法衍生出一种简单的逻辑回归。我们展示了双重正则化模型，这里由DRFIT表示，用于（i）MNIST和（II）CIFAR-10的神经净分类，在两种情况下都有模拟误标标记。我们还说明DRFIT以非常好的精度识别错误标记的数据点。这为DRFIT提供了强大的支持，作为一种现成的分类器，因为没有任何表现牺牲，我们获得了一个分类器，同时降低了对误标标记的过度装备，并准确衡量标签的可信度。
translated by 谷歌翻译
非参数，添加剂模型能够以灵活且可诠释的方式捕获复杂的数据依赖性。但是，选择添加剂组件的格式通常需要非琐碎的数据探索。在这里，作为替代方案，我们提出了Prada-Net，一种单隐层神经网络，具有近端梯度下降和自适应套索的训练。 Prada-Net自动调整神经网络的大小和架构，以反映数据的复杂性和结构。 Prada-Net获得的紧凑型网络可以转换为附加模型组件，使其适用于具有自动模型选择的非参数统计建模。我们在模拟数据上展示了PRADA-NET，其中将PRADA-NET的测试错误性能，可变重要性和可变子集识别属性进行了针对神经网络的其他基于卢赛的正则化方法。我们还将PRADA-NET应用于大量的U.K.黑烟数据集，以演示PRADA-NET如何使用空间和时间部件来模拟复杂和异构数据。与经典的统计非参数方法相比，Prada-Net不需要初步建模来选择添加剂组分的功能形式，但仍然导致可解释的模型表示。
translated by 谷歌翻译
古典学习设置是学生收集数据或观察到系统，并估计其对其的一定数量的景点。惩教学习是一种合作教师学生框架，一名关于系统知识的老师有可能观察和改变（正确）学生接受的观察，以改善其估算。在本文中，我们展示了在教师的帮助下减少了学生估计的差异。我们进一步制定了在线问题 - 教师必须在每次即时决定是否改变观察 - 作为马尔可夫决策过程，从中使用动态编程来源的最佳策略。我们在数值实验中验证框架，并将最佳的在线策略与批处理设置中的最佳在线策略进行比较。
translated by 谷歌翻译