我们提出了一个动量重新识别（莫雷德）框架，该框架可以利用大量的负面样本来进行一般性重新识别任务。该框架的设计灵感来自动量对比度（MOCO），该对比度（MOCO）使用词典来存储当前和过去的批次来构建大量编码样品。由于我们发现使用过去的阳性样品与当前正面样品形成的编码特征属性高度不一致是有效的，因此，莫雷德（Moreid）设计仅使用词典中存储的大量负样品。但是，如果我们使用仅使用一个样品代表一组正/负样本的广泛使用的三重损失训练该模型，则很难有效利用莫比德框架获得的扩大的负样本集。为了最大程度地利用缩放的负样品集的优势，我们新引入强距离弹性损失（HE损失），该损失能够使用多个硬样品来表示大量样品。我们的实验表明，只有在HE损失的情况下，才能充分利用莫雷德框架提供的大量负样本，从而达到三个重新ID基准测试的最新准确性，即Veri-776，Market-1501和veri-wild。

Skeleton-based action recognition has attracted considerable attention due to its compact skeletal structure of the human body. Many recent methods have achieved remarkable performance using graph convolutional networks (GCNs) and convolutional neural networks (CNNs), which extract spatial and temporal features, respectively. Although spatial and temporal dependencies in the human skeleton have been explored, spatio-temporal dependency is rarely considered. In this paper, we propose the Inter-Frame Curve Network (IFC-Net) to effectively leverage the spatio-temporal dependency of the human skeleton. Our proposed network consists of two novel elements: 1) The Inter-Frame Curve (IFC) module; and 2) Dilated Graph Convolution (D-GC). The IFC module increases the spatio-temporal receptive field by identifying meaningful node connections between every adjacent frame and generating spatio-temporal curves based on the identified node connections. The D-GC allows the network to have a large spatial receptive field, which specifically focuses on the spatial domain. The kernels of D-GC are computed from the given adjacency matrices of the graph and reflect large receptive field in a way similar to the dilated CNNs. Our IFC-Net combines these two modules and achieves state-of-the-art performance on three skeleton-based action recognition benchmarks: NTU-RGB+D 60, NTU-RGB+D 120, and Northwestern-UCLA.

Pretrained Language Models (LMs) memorize a vast amount of knowledge during initial pretraining, including information that may violate the privacy of personal lives and identities. Previous work addressing privacy issues for language models has mostly focused on data preprocessing and differential privacy methods, both requiring re-training the underlying LM. We propose knowledge unlearning as an alternative method to reduce privacy risks for LMs post hoc. We show that simply performing gradient ascent on target token sequences is effective at forgetting them with little to no degradation of general language modeling performances for larger LMs; it sometimes even substantially improves the underlying LM with just a few iterations. We also find that sequential unlearning is better than trying to unlearn all the data at once and that unlearning is highly dependent on which kind of data (domain) is forgotten. By showing comparisons with a previous data preprocessing method and a decoding method known to mitigate privacy risks for LMs, we show that unlearning can give a stronger empirical privacy guarantee in scenarios where the data vulnerable to extraction attacks are known a priori while being much more efficient and robust. We release the code and dataset needed to replicate our results at https://github.com/joeljang/knowledge-unlearning.

持续学习（CL）旨在从依次到达的任务中学习，而无需忘记以前的任务。尽管CL算法试图在到目前为止所学的所有任务中实现更高的平均测试准确性，但学习对成功的概括和下游转移至关重要。为了衡量代表性质量，我们仅使用一个小平衡数据集对所有任务进行重新培训，从而评估平均准确性，而无需对当前任务进行任何偏见的预测。我们还测试了几个下游任务，测量了学习表示的转移学习准确性。通过测试我们在Imagenet-100和Imagenet-1000上的新形式主义，我们发现使用更多的示例记忆是在学习的表示形式中产生有意义差异的唯一选择，以及大多数基于正则化或蒸馏的CL算法，都使用了示例记忆无法在课堂学习学习中学习不断有用的表示。令人惊讶的是，具有足够记忆大小的无监督（或自制的）CL可以达到与受监督对应物相当的性能。考虑到非平凡的标签成本，我们声称找到更有效的无监督CL算法，这些算法最少使用示例性记忆将是CL研究的下一个有希望的方向。

个性化新闻推荐旨在通过预测他们点击某些文章的可能性为读者提供有吸引力的文章。为了准确预测这种概率，已经提出了充足的研究，以积极利用物品的内容特征，例如单词，类别或实体。然而，我们观察到，文章的语境特征，例如CTR（点击率），流行度或新鲜度，最近被忽视或未充分利用。为了证明这是这种情况，我们在近期深度学习模型和天真的上下文模型之间进行了广泛的比较，我们设计得令人惊讶地发现后者很容易表现前者。此外，我们的分析表明，近期将过度复杂的深度学习业务应用于上下文功能的趋势实际上妨碍了推荐性能。根据这些知识，我们设计了一个有目的的简单上下文模块，可以通过大的边距提高上一个新闻推荐模型。

通过其高能量效率，加工存储器（PIM）阵列越来越多地用于卷积神经网络（CNN）推断。在基于PIM的CNN推断中，计算延迟和能量取决于CNN权重映射到PIM阵列的方式。最近的一项研究建议的移位和重复的内核（SDK）映射，其用一个并行窗口的单位重用输入特征映射，其与重复的内核卷积以并行获得多个输出元素。但是，现有的基于SDK的映射算法并不总是导致最小计算周期，因为它只将方形的并联窗口与整个通道映射。在本文中，我们介绍了一种名为可变窗口SDK（VW-SDK）的新型映射算法，其自适应地确定了对给定卷积层和PIM阵列的最小计算周期的并行窗口的形状。通过允许具有部分通道的矩形窗口，VW-SDK更有效地利用PIM阵列，从而进一步减少计算周期的数量。与512x512 PIM阵列和RESET-18的仿真显示，与现有的基于SDK的算法相比，VW-SDK将推理速度提高1.69倍。

尽管深度学习的卓越性能（DL）在许多分割任务上，但基于DL的方法令人惊奇地过于对高偏振标签概率的预测。对于许多具有固有标签歧义的许多应用通常是不可取的，即使在人类注释中也是如此。通过利用每张图片的多个注释和分割不确定性来解决这一挑战。但是，多次图像的批次通常不可用，在真实的应用程序中，不确定性在分段结果对用户的情况下不提供完全控制。在本文中，我们提出了新的方法来改善分割概率估计，而不会在真实情景中牺牲性能，我们只有每张图片只有一个暧昧的注释。我们将估计的网络分割概率图边缘化，这是鼓励/过度的网络上/过度段，而没有惩罚平衡分割。此外，我们提出了一个统一的HyperNetwork合奏方法，以减轻培训多个网络的计算负担。我们的方法成功地估计了反映了底层结构的分割概率图，并为具有挑战性的3D医学图像分割进行了直观控制。虽然我们所提出的方法的主要重点不是提高二元分割性能，但我们的方法略微超越了最先进的。该代码可用于\ url {https://github.com/sh4174/hypernetensemble}。

通过将其与监督学习框架相结合，我们改善了最近开发的神经元，是一种基于神经网络的自适应离散的丹机。即，我们通过基于给定嘈杂的数据受到去噪的给定嘈杂的数据来使神经调整的监督训练兼容。结果，与香草神经元伙子相比，我们实现了显着的去噪能力，这只需要采用随机初始化参数的自适应微调步骤。此外，我们示出了自适应微调使得算法稳健使得噪声错配或盲目训练的监督模型仍然可以实现匹配模型的性能。此外，我们制作一些算法的进步，使神经伙伴更可扩展，并处理具有更大字母大小的多维数据或数据。我们系统地显示了我们对两个非常多元化的数据集，二值图像和DNA序列的改进。

我们提出了一种新颖且有效的纯化基于纯化的普通防御方法，用于预处理盲目的白色和黑匣子攻击。我们的方法仅在一般图像上进行了自我监督学习，在计算上效率和培训，而不需要对分类模型的任何对抗训练或再培训。我们首先显示对原始图像与其对抗示例之间的残余的对抗噪声的实证分析，几乎均为对称分布。基于该观察，我们提出了一种非常简单的迭代高斯平滑（GS），其可以有效地平滑对抗性噪声并实现大大高的鲁棒精度。为了进一步改进它，我们提出了神经上下文迭代平滑（NCIS），其以自我监督的方式列举盲点网络（BSN）以重建GS也平滑的原始图像的辨别特征。从我们使用四种分类模型对大型想象成的广泛实验，我们表明我们的方法既竞争竞争标准精度和最先进的强大精度，则针对最强大的净化器 - 盲目的白色和黑匣子攻击。此外，我们提出了一种用于评估基于商业图像分类API的纯化方法的新基准，例如AWS，Azure，Clarifai和Google。我们通过基于集合转移的黑匣子攻击产生对抗性实例，这可以促进API的完全错误分类，并证明我们的方法可用于增加API的抗逆性鲁棒性。

本文介绍了类增量语义分割（CISS）问题的固态基线。虽然最近的CISS算法利用了知识蒸馏（KD）技术的变体来解决问题，但他们未能充分解决CISS引起灾难性遗忘的关键挑战;背景类的语义漂移和多标签预测问题。为了更好地解决这些挑战，我们提出了一种新方法，被称为SSUL-M（具有内存的未知标签的语义分割），通过仔细组合为语义分割量身定制的技术。具体来说，我们要求三项主要贡献。 （1）在背景课程中定义未知的类，以帮助学习未来的课程（帮助可塑性），（2）冻结骨干网以及与二进制交叉熵丢失和伪标签的跨熵丢失的分类器，以克服灾难性的遗忘（帮助稳定）和（3）首次利用微小的示例存储器在CISS中提高可塑性和稳定性。广泛进行的实验表明了我们的方法的有效性，而不是标准基准数据集上最近的最新的基线的性能明显更好。此外，与彻底的消融分析有关我们对彻底消融分析的贡献，并与传统的类增量学习针对分类相比，讨论了CISS问题的不同自然。官方代码可在https://github.com/clovaai/ssul获得。