我们在标签噪声下解决序列学习，在可以查询人类主管的应用程序中，以抢购可疑的例子。现有方法存在缺陷，因为它们只重新标记向模型看起来“可疑”的传入示例。因此，那些误标定的例子，即躲避（或不经历）这种清洁步骤最终污染训练数据和模型，没有进一步清洁的机会。我们提出辛凯，一种新的方法，通过识别相互不相容的例子对新的和过去数据进行清洁。每当它检测到可疑示例时，CINCER在训练集中识别 - 根据模型的训练集中 - 与可疑示例最大限度地不兼容，并询问注释器以重新标记或两个示例，解决这些可能的不一致。选择反例是最大不兼容的，以便用作模型的怀疑和高度影响力的解释，从而在重新标记时尽可能多地传达任何信息。 CINCER通过利用基于FISHER信息矩阵（FIM）利用影响功能的高效和强大的近似来实现这一点。我们广泛的经验评估表明，通过清洁反击示例，阐明了模型背后的原因，有助于获得基本更好的数据和模型，特别是在与我们的FIM近似配对时。

为了提高模型透明度并允许用户形成训练有素的ML模型的心理模型，解释对AI和机器学习（ML）社区的兴趣越来越高。但是，解释可以超越这种方式通信作为引起用户控制的机制，因为一旦用户理解，他们就可以提供反馈。本文的目的是介绍研究概述，其中解释与交互式功能相结合，是从头开始学习新模型并编辑和调试现有模型的手段。为此，我们绘制了最先进的概念图，根据其预期目的以及它们如何构建相互作用，突出它们之间的相似性和差异来分组相关方法。我们还讨论开放研究问题并概述可能的方向，希望促使人们对这个开花研究主题进行进一步的研究。

机器学习模型的预测失败通常来自训练数据中的缺陷，例如不正确的标签，离群值和选择偏见。但是，这些负责给定失败模式的数据点通常不知道先验，更不用说修复故障的机制了。这项工作借鉴了贝叶斯对持续学习的看法，并为两者开发了一个通用框架，确定了导致目标失败的培训示例，并通过删除有关它们的信息来修复模型。该框架自然允许将最近学习的最新进展解决这一新的模型维修问题，同时将现有的作品集成了影响功能和数据删除作为特定实例。在实验上，提出的方法优于基准，既可以识别有害训练数据，又要以可普遍的方式固定模型失败。

最近的立法导致对机器学习的兴趣，即从预测模型中删除特定的培训样本，就好像它们在培训数据集中从未存在。由于损坏/对抗性数据或仅仅是用户的更新隐私要求，也可能需要进行学习。对于不需要培训的模型（K-NN），只需删除最近的原始样品即可有效。但是，这个想法不适合学习更丰富的表示的模型。由于模型维度D的趋势，最新的想法利用了基于优化的更新，因为损失函数的Hessian颠倒了。我们使用新的条件独立系数L-CODEC的变体来识别模型参数的子集，其语义重叠在单个样本级别上。我们的方法完全避免了将（可能）巨大矩阵倒置的必要性。通过利用马尔可夫毯子的选择，我们前提是l-codec也适合深度学习以及视觉中的其他应用。与替代方案相比，L-Codec在原本是不可行的设置中可以实现近似学习，包括用于面部识别的视觉模型，人重新识别和可能需要未经学习的样品进行排除的NLP模型。代码可以在https://github.com/vsingh-group/lcodec-deep-unlearning/

在我们与正在使用当今汽车系统的领域专家合作的经验中，我们遇到的一个常见问题是我们所说的“不切实际的期望” - 当用户通过嘈杂的数据获取过程面临非常具有挑战性的任务时，同时被期望实现机器学习（ML）的精度非常高。其中许多是从一开始就失败的。在传统的软件工程中，通过可行性研究解决了此问题，这是开发任何软件系统之前必不可少的一步。在本文中，我们介绍了Snoopy，目的是支持数据科学家和机器学习工程师在构建ML应用之前进行系统和理论上建立的可行性研究。我们通过估计基本任务的不可还原错误（也称为贝叶斯错误率（BER））来解决此问题，这源于用于训练或评估ML模型工件的数据集中的数据质量问题。我们设计了一个实用的贝叶斯误差估计器，该估计值与计算机视觉和自然语言处理中的6个数据集（具有不同级别的其他实际和合成噪声）上的基线可行性研究候选者进行了比较。此外，通过将我们的系统可行性研究和其他信号包括在迭代标签清洁过程中，我们在端到端实验中证明了用户如何能够节省大量的标签时间和货币努力。

Good models require good training data. For overparameterized deep models, the causal relationship between training data and model predictions is increasingly opaque and poorly understood. Influence analysis partially demystifies training's underlying interactions by quantifying the amount each training instance alters the final model. Measuring the training data's influence exactly can be provably hard in the worst case; this has led to the development and use of influence estimators, which only approximate the true influence. This paper provides the first comprehensive survey of training data influence analysis and estimation. We begin by formalizing the various, and in places orthogonal, definitions of training data influence. We then organize state-of-the-art influence analysis methods into a taxonomy; we describe each of these methods in detail and compare their underlying assumptions, asymptotic complexities, and overall strengths and weaknesses. Finally, we propose future research directions to make influence analysis more useful in practice as well as more theoretically and empirically sound. A curated, up-to-date list of resources related to influence analysis is available at https://github.com/ZaydH/influence_analysis_papers.

二阶优化器被认为具有加快神经网络训练的潜力，但是由于曲率矩阵的尺寸巨大，它们通常需要近似值才能计算。最成功的近似家庭是Kronecker因块状曲率估计值（KFAC）。在这里，我们结合了先前工作的工具，以评估确切的二阶更新和仔细消融以建立令人惊讶的结果：由于其近似值，KFAC与二阶更新无关，尤其是，它极大地胜过真实的第二阶段更新。订单更新。这一挑战广泛地相信，并立即提出了为什么KFAC表现如此出色的问题。为了回答这个问题，我们提出了强烈的证据，表明KFAC近似于一阶算法，该算法在神经元上执行梯度下降而不是权重。最后，我们表明，这种优化器通常会在计算成本和数据效率方面改善KFAC。

我们解决了对追踪预测的影响函数的高效计算，回到培训数据。我们提出并分析了一种新方法来加速基于Arnoldi迭代的反向Hessian计算。通过这种改进，我们实现了我们的知识，首次成功实施了影响功能，该函数的尺寸为全尺寸（语言和愿景）变压器模型，具有数十亿个参数。我们评估我们对图像分类和序列任务的方法，以百万次训练示例。我们的代码将在https://github.com/google-research/jax-influence上获得。

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.

数十年来，计算机系统持有大量个人数据。一方面，这种数据丰度允许在人工智能（AI），尤其是机器学习（ML）模型中突破。另一方面，它可能威胁用户的隐私并削弱人类与人工智能之间的信任。最近的法规要求，可以从一般情况下从计算机系统中删除有关用户的私人信息，特别是根据要求从ML模型中删除（例如，“被遗忘的权利”）。虽然从后端数据库中删除数据应该很简单，但在AI上下文中，它不够，因为ML模型经常“记住”旧数据。现有的对抗攻击证明，我们可以从训练有素的模型中学习私人会员或培训数据的属性。这种现象要求采用新的范式，即机器学习，以使ML模型忘记了特定的数据。事实证明，由于缺乏共同的框架和资源，最近在机器上学习的工作无法完全解决问题。在本调查文件中，我们试图在其定义，场景，机制和应用中对机器进行彻底的研究。具体而言，作为最先进的研究的类别集合，我们希望为那些寻求机器未学习的入门及其各种表述，设计要求，删除请求，算法和用途的人提供广泛的参考。 ML申请。此外，我们希望概述范式中的关键发现和趋势，并突出显示尚未看到机器无法使用的新研究领域，但仍可以受益匪浅。我们希望这项调查为ML研究人员以及寻求创新隐私技术的研究人员提供宝贵的参考。我们的资源是在https://github.com/tamlhp/awesome-machine-unlearning上。

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

从外界培训的机器学习模型可能会被数据中毒攻击损坏，将恶意指向到模型的培训集中。对这些攻击的常见防御是数据消毒：在培训模型之前首先过滤出异常培训点。在本文中，我们开发了三次攻击，可以绕过广泛的常见数据消毒防御，包括基于最近邻居，训练损失和奇异值分解的异常探测器。通过增加3％的中毒数据，我们的攻击成功地将Enron垃圾邮件检测数据集的测试错误从3％增加到24％，并且IMDB情绪分类数据集从12％到29％。相比之下，没有明确占据这些数据消毒防御的现有攻击被他们击败。我们的攻击基于两个想法：（i）我们协调我们的攻击将中毒点彼此放置在彼此附近，（ii）我们将每个攻击制定为受限制的优化问题，限制旨在确保中毒点逃避检测。随着这种优化涉及解决昂贵的Bilevel问题，我们的三个攻击对应于基于影响功能的近似近似这个问题的方式; minimax二元性;和karush-kuhn-tucker（kkt）条件。我们的结果强调了对数据中毒攻击产生更强大的防御的必要性。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

We propose an efficient method for approximating natural gradient descent in neural networks which we call Kronecker-factored Approximate Curvature (K-FAC). K-FAC is based on an efficiently invertible approximation of a neural network's Fisher information matrix which is neither diagonal nor low-rank, and in some cases is completely non-sparse. It is derived by approximating various large blocks of the Fisher (corresponding to entire layers) as being the Kronecker product of two much smaller matrices. While only several times more expensive to compute than the plain stochastic gradient, the updates produced by K-FAC make much more progress optimizing the objective, which results in an algorithm that can be much faster than stochastic gradient descent with momentum in practice. And unlike some previously proposed approximate natural-gradient/Newton methods which use high-quality non-diagonal curvature matrices (such as Hessian-free optimization), K-FAC works very well in highly stochastic optimization regimes. This is because the cost of storing and inverting K-FAC's approximation to the curvature matrix does not depend on the amount of data used to estimate it, which is a feature typically associated only with diagonal or low-rank approximations to the curvature matrix.

How can we explain the predictions of a blackbox model? In this paper, we use influence functions -a classic technique from robust statistics -to trace a model's prediction through the learning algorithm and back to its training data, thereby identifying training points most responsible for a given prediction. To scale up influence functions to modern machine learning settings, we develop a simple, efficient implementation that requires only oracle access to gradients and Hessian-vector products. We show that even on non-convex and non-differentiable models where the theory breaks down, approximations to influence functions can still provide valuable information. On linear models and convolutional neural networks, we demonstrate that influence functions are useful for multiple purposes: understanding model behavior, debugging models, detecting dataset errors, and even creating visuallyindistinguishable training-set attacks.

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

尽管与专家标签相比，众包平台通常用于收集用于培训机器学习模型的数据集，尽管标签不正确。有两种常见的策略来管理这种噪音的影响。第一个涉及汇总冗余注释，但以较少的例子为代价。其次，先前的作品还考虑使用整个注释预算来标记尽可能多的示例，然后应用Denoising算法来隐式清洁数据集。我们找到了一个中间立场，并提出了一种方法，该方法保留了一小部分注释，以明确清理高度可能的错误样本以优化注释过程。特别是，我们分配了标签预算的很大一部分，以形成用于训练模型的初始数据集。然后，该模型用于确定最有可能是不正确的特定示例，我们将剩余预算用于重新标记。在三个模型变化和四个自然语言处理任务上进行的实验表明，当分配相同的有限注释预算时，旨在处理嘈杂标签的标签聚合和高级denoising方法均优于标签聚合或匹配。

有针对性的训练集攻击将恶意实例注入训练集中，以导致训练有素的模型错误地标记一个或多个特定的测试实例。这项工作提出了目标识别的任务，该任务决定了特定的测试实例是否是训练集攻击的目标。目标识别可以与对抗性识别相结合，以查找（并删除）攻击实例，从而减轻对其他预测的影响，从而减轻攻击。我们没有专注于单个攻击方法或数据模式，而是基于影响力估计，这量化了每个培训实例对模型预测的贡献。我们表明，现有的影响估计量的不良实际表现通常来自于他们对训练实例和迭代次数的过度依赖。我们重新归一化的影响估计器解决了这一弱点。他们的表现远远超过了原始估计量，可以在对抗和非对抗环境中识别有影响力的训练示例群体，甚至发现多达100％的对抗训练实例，没有清洁数据误报。然后，目标识别简化以检测具有异常影响值的测试实例。我们证明了我们的方法对各种数据域的后门和中毒攻击的有效性，包括文本，视觉和语音，以及针对灰色盒子的自适应攻击者，该攻击者专门优化了逃避我们方法的对抗性实例。我们的源代码可在https://github.com/zaydh/target_indistification中找到。

从机器学习模型中删除指定的培训数据子集的影响可能需要解决隐私，公平和数据质量等问题。删除子集后剩余数据从头开始对模型进行重新审查是有效但通常是不可行的，因为其计算费用。因此，在过去的几年中，已经看到了几种有效拆除的新方法，形成了“机器学习”领域，但是，到目前为止，出版的文献的许多方面都是不同的，缺乏共识。在本文中，我们总结并比较了七个最先进的机器学习算法，合并对现场中使用的核心概念的定义，调和不同的方法来评估算法，并讨论与在实践中应用机器相关的问题。