Explanations are crucial parts of deep neural network (DNN) classifiers. In high stakes applications, faithful and robust explanations are important to understand and gain trust in DNN classifiers. However, recent work has shown that state-of-the-art attribution methods in text classifiers are susceptible to imperceptible adversarial perturbations that alter explanations significantly while maintaining the correct prediction outcome. If undetected, this can critically mislead the users of DNNs. Thus, it is crucial to understand the influence of such adversarial perturbations on the networks' explanations and their perceptibility. In this work, we establish a novel definition of attribution robustness (AR) in text classification, based on Lipschitz continuity. Crucially, it reflects both attribution change induced by adversarial input alterations and perceptibility of such alterations. Moreover, we introduce a wide set of text similarity measures to effectively capture locality between two text samples and imperceptibility of adversarial perturbations in text. We then propose our novel TransformerExplanationAttack (TEA), a strong adversary that provides a tight estimation for attribution robustness in text classification. TEA uses state-of-the-art language models to extract word substitutions that result in fluent, contextual adversarial samples. Finally, with experiments on several text classification architectures, we show that TEA consistently outperforms current state-of-the-art AR estimators, yielding perturbations that alter explanations to a greater extent while being more fluent and less perceptible.

LiDAR-based 3D object detection is an indispensable task in advanced autonomous driving systems. Though impressive detection results have been achieved by superior 3D detectors, they suffer from significant performance degeneration when facing unseen domains, such as different LiDAR configurations, different cities, and weather conditions. The mainstream approaches tend to solve these challenges by leveraging unsupervised domain adaptation (UDA) techniques. However, these UDA solutions just yield unsatisfactory 3D detection results when there is a severe domain shift, e.g., from Waymo (64-beam) to nuScenes (32-beam). To address this, we present a novel Semi-Supervised Domain Adaptation method for 3D object detection (SSDA3D), where only a few labeled target data is available, yet can significantly improve the adaptation performance. In particular, our SSDA3D includes an Inter-domain Adaptation stage and an Intra-domain Generalization stage. In the first stage, an Inter-domain Point-CutMix module is presented to efficiently align the point cloud distribution across domains. The Point-CutMix generates mixed samples of an intermediate domain, thus encouraging to learn domain-invariant knowledge. Then, in the second stage, we further enhance the model for better generalization on the unlabeled target set. This is achieved by exploring Intra-domain Point-MixUp in semi-supervised learning, which essentially regularizes the pseudo label distribution. Experiments from Waymo to nuScenes show that, with only 10% labeled target data, our SSDA3D can surpass the fully-supervised oracle model with 100% target label. Our code is available at https://github.com/yinjunbo/SSDA3D.

这项工作引入了离题，这是一种用于生成具有分类节点和边缘属性图的图形的离散denoising扩散模型。我们的模型定义了一个扩散过程，该过程逐步编辑了具有噪声（添加或删除边缘，更改类别）的图形以及学会恢复此过程的图形变压器网络。有了这两种成分，我们将分布学习将上的分布学习减少到一个简单的分类任务序列。我们通过提出一个新的马尔可夫噪声模型来进一步提高样品质量，该模型在扩散过程中保留节点和边缘类型的边际分布，并通过在每个扩散步骤中添加从嘈杂图中得出的辅助图理论特征。最后，我们提出了一个指导程序，以根据图形级特征调理生成。总体而言，离题可以在分子和非分子数据集上达到最新性能，在平面图数据集上，有效性提高了3倍。特别是，这是第一个模型，将鳞片缩放到包含130万个药物样分子的大型鳄梨调子数据集，而无需使用分子特异性表示，例如微笑或片段。

尽管在构建强大的神经网络方面具有明显的计算优势，但使用单步方法的对抗训练（AT）是不稳定的，因为它遭受了灾难性的过度拟合（CO）：网络在对抗性训练的第一阶段获得了非平凡的鲁棒性，但突然达到了一个阶段在几次迭代中，他们很快失去了所有鲁棒性。尽管有些作品成功地预防了CO，但导致这种显着失败模式的不同机制仍然很少理解。但是，在这项工作中，我们发现数据结构与AT动力学之间的相互作用在CO中起着基本作用。特别是，通过对自然图像的典型数据集进行主动干预，我们建立了一个因果关系。在方法上单步中的数据和CO的发作。这种新的观点提供了对导致CO的机制的重要见解，并为更好地理解强大模型构建的一般动态铺平了道路。可以在https://github.com/gortizji/co_features上找到复制本文实验的代码。

最先进的文本分类模型越来越依赖深度神经网络（DNNS）。由于其黑框的性质，忠实而强大的解释方法需要陪同分类器在现实生活中进行部署。但是，在视力应用中已经显示出解释方法对局部，不可察觉的扰动敏感，这些方法可以显着改变解释而不会改变预测类。我们在这里表明，这种扰动的存在也扩展到文本分类器。具体来说，我们介绍了一种新颖的解释攻击算法，它不概论地改变了文本输入样本，以使广泛使用的解释方法的结果发生了很大变化，而在使分类器预测不变。我们在五个序列分类数据集上评估了TEF归因鲁棒性估计性能的性能，并利用每个数据集的三个DNN体系结构和三个变压器体系结构。 TEF可以显着降低未改变和扰动输入归因之间的相关性，这表明所有模型和解释方法都易受TEF扰动的影响。此外，我们评估了扰动如何传输到其他模型架构和归因方法，并表明TEF扰动在目标模型和解释方法未知的情况下也有效。最后，我们引入了一种半世界攻击，能够在不了解受攻击的分类器和解释方法的情况下计算快速，计算轻度扰动。总体而言，我们的工作表明，文本分类器中的解释非常脆弱，用户需要仔细解决其鲁棒性，然后才能在关键应用程序中依靠它们。

尽管对图像分类任务的表现令人印象深刻，但深网络仍然难以概括其数据的许多常见损坏。为解决此漏洞，事先作品主要专注于提高其培训管道的复杂性，以多样性的名义结合多种方法。然而，在这项工作中，我们逐步回来并遵循原则的方法来实现共同腐败的稳健性。我们提出了一个普遍的数据增强方案，包括最大熵图像变换的简单系列。我们展示了Prime优于现有技术的腐败鲁棒性，而其简单和即插即用性质使其能够与其他方法结合以进一步提升其稳健性。此外，我们分析了对综合腐败图像混合策略的重要性，并揭示了在共同腐败背景下产生的鲁棒性准确性权衡的重要性。最后，我们表明我们的方法的计算效率允许它在线和离线数据增强方案轻松使用。

图表学习通常是处理或代表结构化数据的必要步骤，当没有明确给出底层图。图表学习通常以完全了解图形信号的全部知识，即涉及图形节点上的数据。但是，有些设置可以容易地或仅具有不可忽略的通信成本来收集数据。在这种情况下，分布式处理看作是一种自然解决方案，其中数据保持主要是本地，并且在通信图上的邻居节点中执行所有处理。我们在此提出了一种新型分布图学习算法，其允许在数据在目标图上平滑的假设下从节点上的信号观察推断图。我们通过本地投影约束解决了分布式优化问题，以推断有效图，同时限制通信成本。我们的结果表明，分布式方法的通信成本低于集中式算法，而不会影响推断图中的精度。随着网络大小的增加，它还可以在通信成本方面更好地缩放，特别是对于稀疏网络。

通过新的设计推动，允许规避光谱偏差，隐式神经表示（INRS）最近被出现为具有古典离散化表示的有希望的替代方案。尽管如此，尽管他们的实际成功，我们仍然缺乏inrs代表信号的正确理论表征。在这项工作中，我们的目标是填补这一差距，我们提出了一种在理论上分析inrs的新颖统一视角。利用谐波分析和深度学习理论的结果，我们表明大多数INR系列类似于结构化信号词典，其原子是初始映射频率集的整数谐波。该结构允许INR使用只有许多只能与深度线性增长的参数表达频率支持的信号。之后，我们探讨了初步结果关于经验神经切线内核（NTK）的近期结果的归纳偏见。具体地，我们表明NTK的特征功能可以被视为其内部产品与目标信号的内部产品确定其重建的最终性能。在这方面，我们揭示了Meta学习初始化具有类似于字典学习的NTK的重塑效果，构建字典原子作为在Meta训练期间看到的例子的组合。我们的业绩允许设计和调整小说INR架构，但对更广泛的深度学习理论界也可能感兴趣。

我们考虑一拍概率解码器，该解码器在分布上映射到集合或图形之前的矢量形状。这些功能可以集成到变分性自动化器（VAE），生成的对抗网络（GAN）或标准化流动中，并在药物发现中具有重要应用。设置和图形生成最常通过生成点（有时是边缘权重）i.i.d.从正态分布，使用变压器层或图形神经网络处理它们以及先前的向量。该架构旨在产生可交换的分布（集合的所有排列同样可能），但由于I.I.D的随机性，难以训练。一代。我们提出了一种新的对抗性定义，并表明，VAES和GAN中的交换性实际上是不必要的。然后，我们引入TOP-N，一个确定性，不可交换的集合创建机制，该创建机制学会从培训参考集中选择最相关的点。 Top-n可以替换i.i.d.在任何VAE或GaN中生成 - 它更容易训练，更好地捕获数据中的复杂依赖关系。 Top-n优于I.I.D在SetMnist重建时生成15％，生成较近合成分子数据集的真正分布的34％的集合，并且能够在经典QM9数据集上培训时产生更多样化的分子。随着一次性生成的改进基础，我们的算法有助于设计更有效的分子生成方法。

图表比较涉及识别图之间的相似性和异化。主要障碍是图形的未知对准，以及缺乏准确和廉价的比较度量。在这项工作中，我们引入过滤器图距离。它是一种基于最佳的传输距离，其通过滤波图信号的概率分布驱动图表比较。这产生了高度灵活的距离，能够在观察到的图表中优先考虑不同的光谱信息，为比较度量提供广泛的选择。我们通过计算图表置换来解决图表对齐问题，该置换最小化了我们的新滤波器距离，这隐含地解决了曲线图比较问题。然后，我们提出了一种新的近似成本函数，这些函数避免了曲线图比较固有的许多计算困难，并且允许利用镜面梯度下降等快速算法，而不会严重牺牲性能。我们终于提出了一种衍生自镜面梯度下降的随机版本的新型算法，其适应对准问题的非凸性，在性能准确性和速度之间提供良好的折衷。图表对准和分类的实验表明，通过滤波图距离所获得的灵活性可以对性能产生显着影响，而近似成本提供的速度差异使得适用于实际设置的框架。