Modern machine learning pipelines are limited due to data availability, storage quotas, privacy regulations, and expensive annotation processes. These constraints make it difficult or impossible to maintain a large-scale model trained on growing annotation sets. Continual learning directly approaches this problem, with the ultimate goal of devising methods where a neural network effectively learns relevant patterns for new (unseen) classes without significantly altering its performance on previously learned ones. In this paper, we address the problem of continual learning for video data. We introduce PIVOT, a novel method that leverages the extensive knowledge in pre-trained models from the image domain, thereby reducing the number of trainable parameters and the associated forgetting. Unlike previous methods, ours is the first approach that effectively uses prompting mechanisms for continual learning without any in-domain pre-training. Our experiments show that PIVOT improves state-of-the-art methods by a significant 27% on the 20-task ActivityNet setup.

Continual Learning is a step towards lifelong intelligence where models continuously learn from recently collected data without forgetting previous knowledge. Existing continual learning approaches mostly focus on image classification in the class-incremental setup with clear task boundaries and unlimited computational budget. This work explores Online Domain-Incremental Continual Segmentation~(ODICS), a real-world problem that arises in many applications, \eg, autonomous driving. In ODICS, the model is continually presented with batches of densely labeled images from different domains; computation is limited and no information about the task boundaries is available. In autonomous driving, this may correspond to the realistic scenario of training a segmentation model over time on a sequence of cities. We analyze several existing continual learning methods and show that they do not perform well in this setting despite working well in class-incremental segmentation. We propose SimCS, a parameter-free method complementary to existing ones that leverages simulated data as a continual learning regularizer. Extensive experiments show consistent improvements over different types of continual learning methods that use regularizers and even replay.

这项工作评估了生成模型的质量度量的鲁棒性，例如INPECTION评分（IS）和FR \'Echet Inception距离（FID）。类似于深层模型对各种对抗性攻击的脆弱性，我们表明这种指标也可以通过添加剂像素扰动来操纵。我们的实验表明，可以生成分数很高但知觉质量低的图像分布。相反，人们可以优化对小型扰动，当将其添加到现实世界图像中时，会使他们的分数恶化。我们进一步将评估扩展到生成模型本身，包括最先进的网络样式。我们展示了生成模型和FID的脆弱性，反对潜在空间中的累加扰动。最后，我们证明，通过简单地以强大的启动来代替标准发明，可以强大地实现FID。我们通过广泛的实验来验证鲁棒度量的有效性，这表明它对操纵更为强大。

随机平滑最近被出现为一种有效的工具，可以在尺度上进行深度神经网络分类器认证。随机平滑的所有现有技术都集中在各向同性$ \ ell_p $认证，这具有通过$ \ ell_p $ -norm半径在各向同性方法中可以轻松地进行证书的优势。然而，各向同性认证限制了可以通过输入到最坏情况对手的输入的区域，即，它不能推理其他“关闭”，潜在的大，恒定的预测安全区域。为了缓解这个问题，（i）我们在简化分析后理论上将各向同性随机平滑$ \ ell_1 $和$ \ ell_2 $证明延伸到其广泛的各向异性同行。此外，（ii）我们提出了评估指标，允许比较一般证书 - 如果它通过经过认证区域的卷定量每个证书的量化，证书优于另一个证书。我们介绍ACCER，是通过体积最大化获得给定测试集样本的各向异性证书的实际框架。我们的经验结果表明，ACCER在多个半径的CIFAR-10和ImageNet上实现最先进的$ \ ell_1 $和$ \ ell_2 $认证准确性，同时在体积方面认证大幅更大的地区，从而突出了益处远离各向同性分析。我们的代码可以在https://github.com/motasemalfarra/ancer中获得。

深神经网络容易受到像素位移的矢量场的形式的输入变形，以及其他参数化几何变形。转换，旋转等。电流输入变形认证方法1.不要在大输入数据集上扩展到深网络，或者2.只能证明特定的变形类，例如，只有旋转。我们为一般矢量字段和参数化变形进行随机平滑设置的认证，并分别提出DeformRS-VF和DeformRS-PAR。我们的新配方缩放到大输入数据集上的大型网络。例如，DeformRS-PAR认证丰富的变形，覆盖转换，旋转，缩放，仿射变形和其他视觉上对准的变形，例如通过离散 - 余弦变换参数化的视觉上的变形。在MNIST，CIFAR10和Imagenet上进行了广泛的实验，显示了Deformrs-Par的竞争性能，实现了39 \％$ 39 \％$的验证准确性，以便在ImageNet上的Att [ - 10 \ dovers，10 \ dovers] $上的扰动旋转。

深度神经网络容易受到称为对抗性攻击的小输入扰动。通过迭代最大限度地减少网络对真正阶级标签的信心来构建这些对手的事实，我们提出了旨在反对这种效果的反对派层。特别地，我们的层在对手1的相反方向上产生输入扰动，并馈送分类器的输入的扰动版本。我们的方法是无培训和理论上的支持。我们通过将我们的层与名义上和强大的培训模型组合来验证我们的方法的有效性，并从黑盒进行大规模实验到CIFAR10，CIFAR100和ImageNet的自适应攻击。我们的层显着提高了模型鲁棒性，同时在清洁准确性上没有成本。

随机平滑是一种最近的技术，可以在训练中实现最先进的性能，从而确认强大的深度神经网络。虽然平滑的分布家族通常连接到用于认证的规范的选择，但这些分布的参数始终将其视为全局超级参数，独立于网络认证的输入数据。在这项工作中，我们重新访问高斯随机平滑，并表明可以在每个输入时优化高斯分布的方差，以最大程度地提高构建平滑分类器的认证半径。由于数据依赖性分类器未直接使用现有方法享受合理的认证，因此我们提出了一个可通过构造认证的记忆增强数据依赖的平滑分类器。这种新方法是通用，无参数且易于实现的。实际上，我们表明我们的数据依赖框架可以无缝地纳入3种随机平滑方法中，从而导致一致的提高认证准确性。当这些方法的训练例程中使用此框架，然后是数据依赖性认证时，我们比CIFAR10和Imagenet上0.5的最强基线的认证准确度提高了9％和6％。

本文研究了深度神经网络训练期间的语义对齐功能如何增加网络鲁棒性。最近的作品观察到对抗性训练导致强大的模型，其学众的特征似乎与人类感知相关。通过这种联系的启发，从鲁棒性到语义，我们研究了互补的连接：从语义到鲁棒性。为此，我们为基于距离的分类模型（基于群集的分类器）提供了一种稳健性证书。此外，我们表明该证书紧张，我们利用它提出植入攻击（鲁棒性培训），是一种基于集群和对抗的培训框架来学习强大的模型。有趣的是，\ Textit {Clustr}在强大的PGD攻击下优于普遍训练的网络，高达4 \％$ 4 \％。

最近对SGD的理论理解的进步导致了最佳批量尺寸的公式，最小化有效数据通行证的数量，即迭代次数的批次大小的数量。然而，该公式具有实用的价值，因为它取决于在最佳评估的随机梯度方差的知识。在本文中，我们设计了一种实用的SGD方法，能够在整个迭代中自适应地学习最佳批量尺寸，以强烈凸起和平滑的功能。我们的方法可以证明，在我们的综合性和实际数据的实验中，易于展示了几乎最佳的行为;也就是说，它可以适用于最佳批次大小已知a-priori。此外，我们之前概括了我们之前在文献中未考虑的几种新批次策略的方法，包括适合分布式实施的采样。

这项工作解决了通过分段线性非线性激活来表征和理解神经网络的决策界限的问题。我们使用热带几何形状，这是代数几何区域中的新开发项目，以表征形式的简单网络（Aggine，Relu，offine）的决策边界。我们的主要发现是，决策边界是热带超曲面的子集，该子集与两个分区的凸壳形成的多层密切相关。这些分区的生成器是网络参数的函数。这种几何表征为三个任务提供了新的观点。 （i）我们对彩票假说提出了一个新的热带观点，在其中我们查看了不同初始化对网络决策边界热带几何表示的影响。 （ii）此外，我们提出了新的基于热带的优化重新纠正，该重新策划直接影响网络修剪任务的网络决策边界。 （iii）最后，我们在热带意义上讨论了对抗攻击的产生的重新印象。我们证明，可以通过扰动网络中的一组参数来扰动一组特定的决策边界，在新的热带环境中构建对手。