The receptive field (RF), which determines the region of time series to be ``seen'' and used, is critical to improve the performance for time series classification (TSC). However, the variation of signal scales across and within time series data, makes it challenging to decide on proper RF sizes for TSC. In this paper, we propose a dynamic sparse network (DSN) with sparse connections for TSC, which can learn to cover various RF without cumbersome hyper-parameters tuning. The kernels in each sparse layer are sparse and can be explored under the constraint regions by dynamic sparse training, which makes it possible to reduce the resource cost. The experimental results show that the proposed DSN model can achieve state-of-art performance on both univariate and multivariate TSC datasets with less than 50\% computational cost compared with recent baseline methods, opening the path towards more accurate resource-aware methods for time series analyses. Our code is publicly available at: https://github.com/QiaoXiao7282/DSN.

Recent works have impressively demonstrated that there exists a subnetwork in randomly initialized convolutional neural networks (CNNs) that can match the performance of the fully trained dense networks at initialization, without any optimization of the weights of the network (i.e., untrained networks). However, the presence of such untrained subnetworks in graph neural networks (GNNs) still remains mysterious. In this paper we carry out the first-of-its-kind exploration of discovering matching untrained GNNs. With sparsity as the core tool, we can find \textit{untrained sparse subnetworks} at the initialization, that can match the performance of \textit{fully trained dense} GNNs. Besides this already encouraging finding of comparable performance, we show that the found untrained subnetworks can substantially mitigate the GNN over-smoothing problem, hence becoming a powerful tool to enable deeper GNNs without bells and whistles. We also observe that such sparse untrained subnetworks have appealing performance in out-of-distribution detection and robustness of input perturbations. We evaluate our method across widely-used GNN architectures on various popular datasets including the Open Graph Benchmark (OGB).

事实证明，对预训练的模型进行迅速基于基于预训练的模型的微调对许多自然语言处理任务有效。但是，尚未对生物医学领域的迅速进行调整。生物医学单词在一般领域通常很少见，但在生物医学环境中无处不在，这在微观调整后即使在下游生物医学应用上都显着恶化了预训练的模型的性能，尤其是在低资源场景中。我们提出了一种简单而有效的方法，可以帮助模型在迅速调整过程中学习稀有的生物医学单词。实验结果表明，我们的方法可以使用少量的香草提示设置，无需任何额外的参数或培训步骤即可提高生物医学自然推理任务6％。

彩票（LTS）能够发现准确而稀疏的子网，可以隔离训练以匹配密集网络的性能。合奏并行，是机器学习中最古老的预期技巧之一，可以通过结合多个独立模型的输出来提高性能。但是，在LTS背景下，合奏的好处将被稀释，因为合奏并没有直接导致更稀疏的子网，而是利用其预测来做出更好的决定。在这项工作中，我们首先观察到，直接平均相邻学习的子网的权重显着提高了LT的性能。在这一观察结果的鼓励下，我们进一步提出了另一种方法，通过简单的插值策略通过迭代幅度修剪来识别的子网执行“合奏”。我们称我们的方法彩票池。与幼稚的合奏相比，每一个子网都不会带来性能，彩票池比原始LTS产生的稀疏子网稀疏得多，而无需任何额外的培训或推理成本。在CIFAR-10/100和Imagenet上的各种现代体系结构中，我们表明我们的方法在分布和分发场景方面都取得了显着的性能。令人印象深刻的是，用VGG-16和RESNET-18进行评估，生产的子网稀疏的子网在CIFAR-100上优于原始LTS，在CIFAR-100-C上高达1.88％，而CIFAR-100-C则高于2.36％。最终的致密网络超过了CIFAR-100的预训练密集模型，在CIFAR-100-C上超过2.22％。

自视觉变压器（VIT）出现以来，变形金刚在计算机视觉世界中迅速发光。卷积神经网络（CNN）的主要作用似乎受到越来越有效的基于变压器的模型的挑战。最近，几个先进的卷积模型以当地但大量注意机制的驱动的大型内核进行反击，显示出吸引力的性能和效率。尽管其中一个（即Replknet）令人印象深刻地设法将内核大小扩展到31x31，而性能提高，但随着内核大小的持续增长，性能开始饱和，与Swin Transformer等高级VIT的缩放趋势相比。在本文中，我们探讨了训练大于31x31的极端卷积的可能性，并测试是否可以通过策略性地扩大卷积来消除性能差距。这项研究最终是从稀疏性的角度施加极大核的食谱，该核心可以将内核平滑地扩展到61x61，并且性能更好。我们提出了稀疏的大内核网络（SLAK），这是一种纯CNN架构，配备了51x51个核，可以与最先进的层次变压器和现代探测器架构（如Convnext和Repleknet and Replknet and Replknet and Replknet and Replinext and Replknet and Replinext and Convnext and Replentical conternels cor相同或更好在成像网分类以及典型的下游任务上。我们的代码可在此处提供https://github.com/vita-group/slak。

激光雷达语义分割的当前方法对于现实世界应用，例如自动驾驶，因为它是封闭式和静态的。封闭设置的假设使网络只能输出训练的类的标签，即使是从未见过的对象，而静态网络也无法根据所看到的知识来更新其知识库。因此，在这项工作中，我们提出了激光点云的开放世界语义细分任务，其目的是1）使用开放式语义分段确定旧类和新颖的类，以及2）逐渐将新颖对象纳入现有知识库中使用增量学习而不会忘记旧课程。为此，我们提出了一个冗余分类器（真实）框架，以为开放式语义细分和增量学习问题提供一般体系结构。实验结果表明，真实可以同时在Semantickitti和Nuscenes数据集中的开放式语义分割任务中实现最新性能，并在增量学习过程中减轻灾难性遗忘问题，并减少较大的利润率。

关于稀疏神经网络训练（稀疏训练）的最新研究表明，通过从头开始训练本质上稀疏的神经网络可以实现绩效和效率之间的令人信服的权衡。现有的稀疏训练方法通常努力在一次跑步中找到最佳的稀疏子网，而无需涉及任何昂贵的密集或预训练步骤。例如，作为最突出的方向之一，动态稀疏训练（DST）能够通过在训练过程中迭代发展稀疏拓扑来实现竞争性训练的竞争性能。在本文中，我们认为最好分配有限的资源来创建多个低损失的稀疏子网并将其超级置于更强的基因，而不是完全分配所有资源以找到单个子网络。为了实现这一目标，需要两个Desiderata：（1）在一个培训过程中有效生产许多低损失的子网，即所谓的廉价门票，仅限于用于密集培训的标准培训时间； （2）将这些廉价的门票有效地超级为一个更强的子网，而无需超越约束参数预算。为了证实我们的猜想，我们提出了一种新颖的稀疏训练方法，称为\ textbf {sup-tickets}，可以在单个稀疏到较小的训练过程中同时满足上述两个desiderata。在CIFAR-10/100和Imagenet上的各种现代体系结构中，我们表明，SUP-Tickets与现有的稀疏训练方法无缝集成，并显示出一致的性能提高。

空间卷积广泛用于许多深度视频模型。它基本上假设了时空不变性，即，使用不同帧中的每个位置的共享权重。这项工作提出了用于视频理解的时间 - 自适应卷积（Tadaconv），这表明沿着时间维度的自适应权重校准是促进在视频中建模复杂的时间动态的有效方法。具体而言，Tadaconv根据其本地和全局时间上下文校准每个帧的卷积权重，使空间卷积具有时间建模能力。与先前的时间建模操作相比，Tadaconv在通过卷积内核上运行而不是特征，其维度是比空间分辨率小的数量级更有效。此外，内核校准还具有增加的模型容量。通过用Tadaconv替换Reset中的空间互联网来构建坦达2D网络，这与多个视频动作识别和定位基准测试的最先进方法相比，导致PAR或更好的性能。我们还表明，作为可忽略的计算开销的容易插入操作，Tadaconv可以有效地改善许多具有令人信服的边距的现有视频模型。 HTTPS：//github.com/alibaba-mmai-research/pytorch-video -Undersing提供代码和模型。

为图像数据的部分分配意义是语义图像分割的目标。机器学习方法，专门监督学习通常用于制定作为语义分割的各种任务。监督学习方法中的主要挑战之一表达并收集了专家对图像数据中存在的含义的丰富知识。为此，通常指定了固定的一组标签，并且专家任务是用给定的标签向图像中的图像中的像素，补丁或片段注释。然而，通常，该组类没有完全捕获图像中存在的丰富语义信息。例如，在诸如组织学图像的医学成像中，可以基于病理学家的专业知识来分组和分组不同部分的细胞。为了实现图像中概念的如此精确的语义表示，我们需要访问注入者的全部知识深度。在这项工作中，我们开发了一种基于心理学测试的专家的分段注释来开发一种新的方法。我们的方法包括心动测试过程，主动查询选择，查询增强和深度度量学习模型，以实现允许图像语义分割的补丁级图像嵌入。我们展示了我们对综合生成的图像，空中图像和组织学图像评估的方法的优点。

最近对稀疏神经网络的作品已经证明了独立从头开始训练稀疏子网，以匹配其相应密集网络的性能。然而，识别这种稀疏的子网（获奖票）涉及昂贵的迭代火车 - 培训 - 培训过程（例如，彩票票证假设）或过度扩展的训练时间（例如，动态稀疏训练）。在这项工作中，我们在稀疏神经网络训练和深度合并技术之间汲取了独特的联系，产生了一个名为FreeTickets的新型集合学习框架。 FreeTickets而不是从密集的网络开始，随机初始化稀疏的子网，然后在动态调整其稀疏掩码的同时列举子网，从而在整个训练过程中产生许多不同的稀疏子网。 FreeTickets被定义为这些稀疏子网的集合，在这种单次通过，稀疏稀疏训练中自由获得，其仅使用Vanilla密集培训所需的计算资源的一小部分。此外，尽管是模型的集合，但与单一密集模型相比，FreeTickets的参数和训练拖鞋更少：这种看似反向直观的结果是由于每个子网的高稀疏性。与标准致密基线相比，观察到惯性基因术，以预测准确性，不确定度估计，鲁棒性和效率相比表现出显着的全面改进。 FreeTickets在ImageNet上只使用后者所需的四分之一的培训拖鞋，可以轻松地表达Naive Deep EndleBe。我们的结果提供了对稀疏神经网络的强度的见解，并表明稀疏性的好处超出了通常预期的推理效率。