The recently proposed Temporal Ensembling has achieved state-of-the-art results in several semi-supervised learning benchmarks. It maintains an exponential moving average of label predictions on each training example, and penalizes predictions that are inconsistent with this target. However, because the targets change only once per epoch, Temporal Ensembling becomes unwieldy when learning large datasets. To overcome this problem, we propose Mean Teacher, a method that averages model weights instead of label predictions. As an additional benefit, Mean Teacher improves test accuracy and enables training with fewer labels than Temporal Ensembling. Without changing the network architecture, Mean Teacher achieves an error rate of 4.35% on SVHN with 250 labels, outperforming Temporal Ensembling trained with 1000 labels. We also show that a good network architecture is crucial to performance. Combining Mean Teacher and Residual Networks, we improve the state of the art on CIFAR-10 with 4000 labels from 10.55% to 6.28%, and on ImageNet 2012 with 10% of the labels from 35.24% to 9.11%.
translated by 谷歌翻译
从分布式敏感数据中学习隐私的模型是一个越来越重要的问题，通常在联邦学习环境中提出。最近通过分区的变异推理算法扩展到了非私有联盟学习设置。为了保护隐私，当前的黄金标准称为差异隐私。差异隐私在强大的数学上明确定义的意义上保证了隐私。在本文中，我们介绍了差异化的分区变异推断，这是学习与联合学习环境中贝叶斯后分布的差异近似的第一个通用框架，同时最大程度地减少了通信弹的数量并为数据主体提供差异隐私保证。我们在通用框架中提出了三个替代实现，一个基于单个方面的本地优化，而两个基于扰动全局更新（一种使用联合平均版本，一个将虚拟方添加到协议中），并比较其属性，并比较其属性理论上和经验。我们表明，只要各方都有足够的本地数据，扰动本地优化与简单且复杂的模型效果很好。但是，每个方始终独立保证隐私。相比之下，扰动全局更新与相对简单的模型最有效。鉴于可以访问合适的安全原始词，例如安全聚合或安全的改组，所有各方都可以共同保证隐私。
translated by 谷歌翻译
我们从逻辑和公式大小方面概念化了解释性，在非常一般的环境中给出了许多相关的解释性定义。我们的主要兴趣是所谓的特殊解释问题，旨在解释输入模型中输入公式的真实价值。解释是一个最小尺寸的公式，（1）与输入模型上的输入公式一致，（2）将所涉及的真实价值传输到全球输入公式，即每个模型上。作为一个重要的例子，我们在这种情况下研究了命题逻辑，并表明在多项式层次结构的第二级中，特殊的解释性问题是完整的。我们还将在答案集编程中提供了此问题的实施，并研究了其与解释N-Queens和主导集合问题的答案有关的能力。
translated by 谷歌翻译
使用深度学习神经网络的AI发动机为分析传统棋盘游戏提供了出色的工具。在这里，我们有兴趣获得对古老游戏的新见解。为此，我们需要根据发动机的原始输出来定义新的数值度量。在本文中，我们开发了一种数值工具，用于以上下文敏感的方式进行自动移动性能评估并识别游戏功能。我们通过传递成本来衡量移动的紧迫性，这是石头当前配置和在同一董事会位置的假设传递之后的得分值差。在这里，我们研究了此度量的属性并描述了一些应用。
translated by 谷歌翻译
神经网络在许多医学成像任务中都取得了令人印象深刻的结果，但在源自不同医疗中心或患者同类的分布数据集中通常会表现出色。评估这种缺乏概括和解决潜在问题的能力是开发旨在临床实践的神经网络的两个主要挑战。在这项研究中，我们开发了一种新方法，用于评估神经网络模型通过生成大量分配移位数据集的概括能力，可用于彻底研究其对临床实践中遇到的可变性的鲁棒性。与外部验证相比，\ textit {移位评估}可以提供有关为什么在给定数据集上神经网络失败的解释，从而为如何改善模型鲁棒性提供指导。随着评估的转变，我们证明了接受最先进方法训练的神经网络对于甚至从训练数据中的分配很小的转移而高度脆弱，并且在某些情况下会失去所有歧视能力。为了解决这一脆弱性，我们制定了一种增强策略，该策略明确旨在提高神经网络对分配转移的稳健性。 \ texttt {strongaugment}通过大规模的，异构的组织病理学数据进行评估，其中包括来自两种组织类型的五个培训数据集，274个分配切换的数据集和来自四个国家 /地区的20个外部数据集。接受\ texttt {strongaugment}培训的神经网络在所有数据集上都保持相似的性能，即使通过分配变化，使用当前最新方法训练的网络将失去所有歧视能力。我们建议使用强大的增强和转移评估来训练和评估所有用于临床实践的神经网络。
translated by 谷歌翻译
在不完整的数据集中对样本进行分类是机器学习从业人员的普遍目的，但并非平凡。在大多数现实世界数据集中发现缺失的数据，这些缺失值通常是使用已建立的方法估算的，然后进行分类现在完成，估算的样本。然后，机器学习研究人员的重点是优化下游分类性能。在这项研究中，我们强调必须考虑插补的质量。我们展示了如何评估质量的常用措施有缺陷，并提出了一类新的差异评分，这些分数着重于该方法重新创建数据的整体分布的程度。总而言之，我们强调了使用不良数据训练的分类器模型的可解释性损害。
translated by 谷歌翻译
可接受的是指对象允许的可能动作的感知。尽管其与人计算机相互作用有关，但没有现有理论解释了支撑无力形成的机制;也就是说，通过交互发现和适应的充分性。基于认知科学的加固学习理论，提出了一种综合性的无力形成理论。关键假设是用户学习在存在增强信号（成功/故障）时将有前途的电机动作与经验相关联。他们还学会分类行动（例如，“旋转”拨号），使他们能够命名和理由的能力。在遇到新颖的小部件时，他们概括这些行动的能力决定了他们感受到的能力。我们在虚拟机器人模型中实现了这个理论，它展示了在交互式小部件任务中的人性化适应性。虽然其预测与人类数据的趋势对齐，但人类能够更快地适应能力，表明存在额外机制。
translated by 谷歌翻译
根据哪种机器学习模型提高其性能，当他们有更多数据来学习时，存在常见的假设。在这项研究中，作者希望通过使用新颖的职业学生数据进行实证实验来澄清困境。该实验比较了不同的机器学习算法，同时改变了可用于训练和测试模型的数据数量和特征组合。实验表明，数据记录的增加或其样本频率不会立即导致模型精度或性能的显着增加，但是在集合模型的情况下，准确性的方差会减少。在增加模型的输入特征的数量的同时，目睹了类似的现象。该研究驳斥了起始假设，并继续说明，在这种情况下，数据的重要性在于数据的质量而不是数据的数量。
translated by 谷歌翻译
我们考虑对二进制数据的独立分量分析。虽然实践中的基本情况，但这种情况比ICA持续不断开发，以便连续数据。我们首先假设连续值潜在空间中的线性混合模型，然后是二进制观察模型。重要的是，我们认为这些来源是非静止的;这是必要的，因为任何非高斯基本上都是由二值化摧毁的。有趣的是，该模型通过采用多元高斯分布的累积分布函数来允许闭合形式的似然。在与持续值为案例的鲜明对比中，我们证明了少数观察变量的模型的非可识别性;当观察变量的数量较高时，我们的经验结果意味着可识别性。我们为二进制ICA展示了仅使用成对边缘的二进制ICA的实用方法，这些方法比完全多变量可能性更快地计算。
translated by 谷歌翻译
我们提出了一种用合成心电图训练神经网络的方法，其模拟可穿戴单引线心电图监测器产生的模拟信号。我们使用域随机化，其中对于每个训练示例，诸如波形形状，RR间隔和噪声之类的合成信号属性。使用合成数据培训的模型与具有真实数据训练的对应物进行比较。在不同物理活性和心房颤动期间记录的心电图中的R波检测用于比较模型。通过允许随机化超出现实数据中通常观察到的内容，性能是对具有实际数据训练的网络的性能的par或取代。实验表明，在不同的测试集上具有不同的种子和训练示例，而无需任何测试设定特定调谐。该方法可以使用实际上自由收集数据与准确的标签一起培训神经网络，无需手动注释，并且当使用疾病使用疾病特定的先验信息时，它会开辟了在心脏病分类上延长使用的合成数据的可能性在心电图一代。另外，可以控制数据的分布消除通常在健康相关数据中观察到的类别不平衡，并且另外，生成的数据本质上是私有的。
translated by 谷歌翻译