Future work sentences (FWS) are the particular sentences in academic papers that contain the author's description of their proposed follow-up research direction. This paper presents methods to automatically extract FWS from academic papers and classify them according to the different future directions embodied in the paper's content. FWS recognition methods will enable subsequent researchers to locate future work sentences more accurately and quickly and reduce the time and cost of acquiring the corpus. The current work on automatic identification of future work sentences is relatively small, and the existing research cannot accurately identify FWS from academic papers, and thus cannot conduct data mining on a large scale. Furthermore, there are many aspects to the content of future work, and the subdivision of the content is conducive to the analysis of specific development directions. In this paper, Nature Language Processing (NLP) is used as a case study, and FWS are extracted from academic papers and classified into different types. We manually build an annotated corpus with six different types of FWS. Then, automatic recognition and classification of FWS are implemented using machine learning models, and the performance of these models is compared based on the evaluation metrics. The results show that the Bernoulli Bayesian model has the best performance in the automatic recognition task, with the Macro F1 reaching 90.73%, and the SCIBERT model has the best performance in the automatic classification task, with the weighted average F1 reaching 72.63%. Finally, we extract keywords from FWS and gain a deep understanding of the key content described in FWS, and we also demonstrate that content determination in FWS will be reflected in the subsequent research work by measuring the similarity between future work sentences and the abstracts.

The architecture of transformers, which recently witness booming applications in vision tasks, has pivoted against the widespread convolutional paradigm. Relying on the tokenization process that splits inputs into multiple tokens, transformers are capable of extracting their pairwise relationships using self-attention. While being the stemming building block of transformers, what makes for a good tokenizer has not been well understood in computer vision. In this work, we investigate this uncharted problem from an information trade-off perspective. In addition to unifying and understanding existing structural modifications, our derivation leads to better design strategies for vision tokenizers. The proposed Modulation across Tokens (MoTo) incorporates inter-token modeling capability through normalization. Furthermore, a regularization objective TokenProp is embraced in the standard training regime. Through extensive experiments on various transformer architectures, we observe both improved performance and intriguing properties of these two plug-and-play designs with negligible computational overhead. These observations further indicate the importance of the commonly-omitted designs of tokenizers in vision transformer.

由于对个人数据隐私的不断增长和当地客户的迅速增长的数据量，Federated Learnated（FL）的动机已成为新的机器学习设置。 FL系统由中央参数服务器和多个本地客户端组成。它将数据保留在本地客户端，并通过共享本地学到的模型参数来学习集中式模型。不需要共享本地数据，并且可以很好地保护隐私。然而，由于它是模型而不是共享的原始数据，因此系统可以暴露于恶意客户端发起的中毒模型攻击。此外，由于服务器上没有本地客户端数据，因此确定恶意客户端是一项挑战。此外，仍然可以使用上载模型估算客户本地数据，从而导致隐私披露。在这项工作中，我们首先提出了一个基于模型更新的联合平均算法，以防御拜占庭式攻击，例如加性噪声攻击和弹药攻击。提出了单个客户模型初始化方法，以通过隐藏各个本地机器学习模型来提供进一步的隐私保护。在结合这两个方案时，隐私和安全性都可以有效地增强。当没有攻击时，提出的方案被证明在非IID数据分布下实验会收敛。在拜占庭式攻击下，提议的方案的表现要比基于经典模型的FedAvg算法要好得多。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

持续学习需要与一系列任务的逐步兼容性。但是，模型体系结构的设计仍然是一个悬而未决的问题：一般而言，以一组共享的参数学习所有任务都受到任务之间的严重干扰；使用专用参数子空间学习每个任务时，受到可扩展性的限制。在这项工作中，我们从理论上分析了在不断学习中学习可塑性和记忆稳定性的概括错误，这可以在任务分布之间的（1）差异，（2）损失景观和（3）参数的覆盖率之间的差异。空间。然后，受到强大的生物学学习系统的启发，该系统通过多个平行的隔室处理顺序体验，我们建议将小型持续学习者（COSCL）的合作作为持续学习的一般策略。具体而言，我们介绍了一个架构，具有固定数量的较窄子网络，以并联学习所有增量任务，这可以自然地通过改善上限的三个组件来减少两个错误。为了增强这一优势，我们鼓励通过惩罚其功能表示的预测差异来合作这些子网络。有了固定的参数预算，COSCL可以将各种代表性的持续学习方法提高较大的利润率（例如，CIFAR-100-SC最高10.64％，CIFAR-100-RS为9.33％，CUB-200-100-100-100-100-100-100-100-100-100-100-100-100-100- 2011年和6.72％的小象征）并实现了新的最新性能。

在这项工作中，我们为基于视觉的不均衡的BEV表示学习提出了PolarBev。为了适应摄像机成像的预先处理效果，我们将BEV空间横向和辐射上栅格化，并引入极性嵌入分解，以模拟极性网格之间的关联。极性网格被重新排列到类似阵列的常规表示，以进行有效处理。此外，为了确定2到3D对应关系，我们根据假设平面迭代更新BEV表面，并采用基于高度的特征转换。PolarBev在单个2080TI GPU上保持实时推理速度，并且在BEV语义分割和BEV实例分割方面都优于其他方法。展示彻底消融以验证设计。该代码将在\ url {https://github.com/superz-liu/polarbev}上发布。

与普通的计算机视觉任务不同，将图像操作检测任务更多地关注图像的语义内容，更关注图像操纵的微妙信息。在本文中，通过改进的约束卷积提取的噪声图像用作模型的输入，而不是原始图像，以获得更微妙的操纵痕迹。同时，由高分辨率分支和上下文分支组成的双分支网络被用来尽可能捕获伪像的痕迹。通常，大多数操纵将操纵伪像在操纵边缘上。专门设计的操纵边缘检测模块是基于双分支网络构建的，以更好地识别这些工件。图像中像素之间的相关性与它们的距离密切相关。两个像素越远，相关性越弱。我们为自我发场模块添加了一个距离因子，以更好地描述像素之间的相关性。四个公开图像操作数据集的实验结果证明了我们模型的有效性。

部署各种深度学习（DL）型号有效地推动了DL编译器的研究。生成优化的张量码的难度驱动DL编译器以询问自动调整方法，并且越来越多的需求需要增加自动调整效率和质量。目前，DL编译器将输入DL模型分区为几个子图，并利用自动调整以找到这些子图的最佳张量代码。然而，现有的自学方法通常将子图视为个体，并且在其上忽略了它们的相似性，因此在有限的时间预算下未能利用更好的张力代码。我们向DL编译器提出Familyseer，即使有限的时间预算也可以生成更好的张量码。 Familyseer利用子图之间的相似性，并且子图之间的差异可以将它们组织成示例家庭，其中调整一个子图也可以改善同一家庭内的其他子图。每个家庭的成本模型获得了更多由家庭产生的纯化培训样本，并更准确，以便通过成本模型用轻量级估计来替换真正硬件上的昂贵测量。我们的实验表明，FamilySeer可以比最先进的自动调整框架更有效地生成模型代码，比最先进的自动调整框架更有效。

作为主导范式，微调目标数据的预先训练模型广泛用于许多深度学习应用，特别是对于小数据集。然而，最近的研究已经明确表明，一旦培训迭代的数量增加，划痕训练都没有比这一训练前策略更糟糕的最终表现。在这项工作中，我们从学习理论中流行的泛化分析的角度重新审视这种现象。我们的结果表明，最终预测精度可能具有对预训练模型的弱依赖性，特别是在大训练迭代的情况下。观察激励我们利用预训练预调整的数据，因为此数据也可用于微调。使用预训练数据的泛化结果表明，当适当的预训练数据包含在微调中时，可以提高目标任务的最终性能。随着理论发现的洞察力，我们提出了一种新颖的选择策略来选择从预训练数据中的子集，以帮助改善目标任务的概括。 8个基准数据集上的图像分类任务的广泛实验结果验证了基于数据选择的微调管道的有效性。

由于其强大的时空信息表示能力，尖峰神经网络（SNN）引起了很多关注。胶囊神经网络（CAPSNET）在不同级别的组装和耦合功能方面做得好。在这里，我们通过将胶囊引入尖刺神经网络的建模来提出尖峰帽。此外，我们提出了更具生物合理的尖峰定时依赖性可塑性路线机构。通过充分考虑低水平尖峰胶囊与高级尖峰胶囊之间的时空关系，它们之间的耦合能力进一步提高。我们在Mnist和FashionMnist数据集上进行了验证的实验。与其他优秀的SNN模型相比，我们的算法仍然实现了高性能。我们的尖峰帽完全结合了SNN和Capsnet的增强，并对噪声和仿射变换表现出强大的稳健性。通过向测试数据集添加不同的盐胡椒和高斯噪声，实验结果表明，当有更多的噪音时，我们的尖峰帽显示出更强大的性能，而人工神经网络无法正确澄清。同样，我们的尖峰帽显示出强烈的概括，可以在漂式数据集上仿射转换。