Class-incremental learning (CIL) learns a classification model with training data of different classes arising progressively. Existing CIL either suffers from serious accuracy loss due to catastrophic forgetting, or invades data privacy by revisiting used exemplars. Inspired by linear learning formulations, we propose an analytic class-incremental learning (ACIL) with absolute memorization of past knowledge while avoiding breaching of data privacy (i.e., without storing historical data). The absolute memorization is demonstrated in the sense that class-incremental learning using ACIL given present data would give identical results to that from its joint-learning counterpart which consumes both present and historical samples. This equality is theoretically validated. Data privacy is ensured since no historical data are involved during the learning process. Empirical validations demonstrate ACIL's competitive accuracy performance with near-identical results for various incremental task settings (e.g., 5-50 phases). This also allows ACIL to outperform the state-of-the-art methods for large-phase scenarios (e.g., 25 and 50 phases).

美国的意识形态分裂在日常交流中变得越来越突出。因此，关于政治两极分化的许多研究，包括最近采取计算观点的许多努力。通过检测文本语料库中的政治偏见，可以尝试描述和辨别该文本的两极分性。从直觉上讲，命名的实体（即，用作名词的名词和短语）和文本中的标签经常带有有关政治观点的信息。例如，使用“支持选择”一词的人可能是自由的，而使用“亲生生命”一词的人可能是保守的。在本文中，我们试图揭示社交媒体文本数据中的政治极性，并通过将极性得分分配给实体和标签来量化这些极性。尽管这个想法很简单，但很难以可信赖的定量方式进行这种推论。关键挑战包括少数已知标签，连续的政治观点，以及在嵌入单词媒介中的极性得分和极性中性语义含义的保存。为了克服这些挑战，我们提出了极性感知的嵌入多任务学习（PEM）模型。该模型包括（1）自制的上下文保护任务，（2）基于注意力的推文级别的极性推导任务，以及（3）对抗性学习任务，可促进嵌入式的极性维度及其语义之间的独立性方面。我们的实验结果表明，我们的PEM模型可以成功学习极性感知的嵌入。我们检查了各种应用，从而证明了PEM模型的有效性。我们还讨论了我们的工作的重要局限性，并在将PEM模型应用于现实世界情景时的压力谨慎。

基于学习的边缘检测有很强地监督的是用像素 - 明智的注释进行了强烈监督，这是手动获取的乏味。我们研究了自我训练边缘检测问题，利用了未开发的大型未标记图像数据集。我们设计具有多层正规化和自学的自我监督框架。特别地，我们强加了一个一致性正则化，该正则化强制执行来自多个层中的每一个的输出，以对输入图像及其扰动的对应物一致。我们采用L0平滑作为“扰动”，以鼓励在自我监督学习集群假设之后展示展示突出边界的边缘预测。同时，通过伪标签进行多层监督，网络训练，该伪标签与罐头边缘初始化，然后通过网络迭代地改进，因为培训进行了。正规化和自我教学共同实现了精确和召回的良好平衡，导致对监督方法的显着提升，在目标数据集中轻质细化。此外，我们的方法展示了强大的交叉数据集普遍性。例如，与现有的方法相比，在看不见的数据集上测试时，OCS的ODS提高了4.8％和5.8％。

在图像分类中，获得足够的标签通常昂贵且耗时。为了解决这个问题，域适应通常提供有吸引力的选择，给出了来自类似性质但不同域的大量标记数据。现有方法主要对准单个结构提取的表示的分布，并且表示可以仅包含部分信息，例如，仅包含部分饱和度，亮度和色调信息。在这一行中，我们提出了多代表性适应，这可以大大提高跨域图像分类的分类精度，并且特别旨在对准由名为Inception Adaption Adationation模块（IAM）提取的多个表示的分布。基于此，我们呈现多色自适应网络（MRAN）来通过多表示对准完成跨域图像分类任务，该任向性可以捕获来自不同方面的信息。此外，我们扩展了最大的平均差异（MMD）来计算适应损耗。我们的方法可以通过扩展具有IAM的大多数前进模型来轻松实现，并且网络可以通过反向传播有效地培训。在三个基准图像数据集上进行的实验证明了备的有效性。代码已在https://github.com/easezyc/deep-transfer -learning上获得。

近年来，基于卷积网络的视频动作识别令人鼓舞地普及;然而，受到远程非线性时间关系建模和反向运动信息建模的限制，因此，现有模型的性能是严重的。为了解决这一紧急问题，我们引入了一个具有自我监督（TTSN）的令人惊叹的时间变压器网络。我们的高性能TTSN主要由时间变压器模块和时间序列自我监控模块组成。简明扼要地说，我们利用高效的时间变压器模块来模拟非本地帧之间的非线性时间依赖性，这显着增强了复杂的运动特征表示。我们采用的时间序列自我监控模块我们专注于“随机批量随机通道”的简化策略来反转视频帧的序列，允许从反向时间维度提高运动信息表示并提高模型的泛化能力。在三个广泛使用的数据集（HMDB51，UCF101和某事物）上的广泛实验已经得出结论地证明，我们提出的TTSN充满希望，因为它成功实现了行动识别的最先进性能。

学习知识图的嵌入对人工智能至关重要，可以使各种下游应用受益，例如推荐和问题回答。近年来，已经提出了许多研究努力，以嵌入知识图形。然而，最先前的知识图形嵌入方法忽略不同三元组中的相关实体和实体关系耦合之间的语义相似性，因为它们与评分函数分别优化每个三倍。为了解决这个问题，我们提出了一个简单但有效的对比学习框架，用于知识图形嵌入，可以缩短不同三元组中相关实体和实体关系耦合的语义距离，从而提高知识图形嵌入的表现力。我们在三个标准知识图形基准上评估我们提出的方法。值得注意的是，我们的方法可以产生一些新的最先进的结果，在WN18RR数据集中实现51.2％的MRR，46.8％HITS @ 1，59.1％的MRR，51.8％在YAGO3-10数据集中击打@ 1 。

视频异常检测（VAD）在视频分析中一直是一个重要的主题。由于异常往往很少，它通常在半监督设置下解决，这需要使用纯正普通视频进行培训。为了避免疲惫的手动标签，我们受到人类感知异常的启发，并提出了一种使无人监督和端到端的VAD能够的主体框架。该框架基于两个关键观察：1）人类感知通常是局部的，即在感应异常时聚焦在局部前景及其背景下。因此，我们建议通过用通用知识定位前景，并设计一个区域本地化策略来利用本地背景。 2）经常发生的事件将塑造人类的常态定义，这激励我们设计了代理培训范式。它列举了一个深度神经网络（DNN）来学习使用未标记的视频的代理任务，并且经常发生的事件将在“模制”DNN中发挥主导作用。通过这种方式，培训损失差距将自动表现出很少看到的新颖事件作为异常。为了实施，我们探索各种代理任务以及经典和新兴DNN模型。对常用VAD基准的广泛评估使框架适用于不同代理任务或DNN模型，并证明其惊人的效果：它不仅优于现有的无监督解决方案，宽边值（8％至10％的AUROC增益），还达到了对最先进的半监督对手进行了可比或甚至卓越的性能。

在元学习框架下设计了许多射门学习方法，这些方法从各种学习任务中学习并推广到新任务。这些元学习方法在从同一分布（I.I.D.观察）中绘制的所有样本中的情况下实现了预期的性能。然而，在现实世界应用中，很少拍摄的学习范式往往遭受数据转移，即，即使在相同的任务中，也可以从各种数据分布中汲取不同任务中的示例。大多数现有的几次拍摄方法不考虑数据班次，因此在数据分布换档时显示降级性能。然而，由于每个任务中的标记样本数量有限的标记样本，因此在几次拍摄学习中解决数据转换问题是不普遍的。针对解决此问题，我们提出了一种新的基于度量的元学习框架，以便在知识图表的帮助下提取任务特定的表示和任务共享表示。因此，任务内的数据偏移可以通过任务共享和特定于任务的表示的组合来组合。拟议的模型是对流行的基准测试和两个构造的新具有挑战性的数据集。评估结果表明了其显着性能。

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

Unsupervised domain adaptation (UDA) for semantic segmentation is a promising task freeing people from heavy annotation work. However, domain discrepancies in low-level image statistics and high-level contexts compromise the segmentation performance over the target domain. A key idea to tackle this problem is to perform both image-level and feature-level adaptation jointly. Unfortunately, there is a lack of such unified approaches for UDA tasks in the existing literature. This paper proposes a novel UDA pipeline for semantic segmentation that unifies image-level and feature-level adaptation. Concretely, for image-level domain shifts, we propose a global photometric alignment module and a global texture alignment module that align images in the source and target domains in terms of image-level properties. For feature-level domain shifts, we perform global manifold alignment by projecting pixel features from both domains onto the feature manifold of the source domain; and we further regularize category centers in the source domain through a category-oriented triplet loss and perform target domain consistency regularization over augmented target domain images. Experimental results demonstrate that our pipeline significantly outperforms previous methods. In the commonly tested GTA5$\rightarrow$Cityscapes task, our proposed method using Deeplab V3+ as the backbone surpasses previous SOTA by 8%, achieving 58.2% in mIoU.