Video Super-Resolution (VSR) aims to restore high-resolution (HR) videos from low-resolution (LR) videos. Existing VSR techniques usually recover HR frames by extracting pertinent textures from nearby frames with known degradation processes. Despite significant progress, grand challenges are remained to effectively extract and transmit high-quality textures from high-degraded low-quality sequences, such as blur, additive noises, and compression artifacts. In this work, a novel Frequency-Transformer (FTVSR) is proposed for handling low-quality videos that carry out self-attention in a combined space-time-frequency domain. First, video frames are split into patches and each patch is transformed into spectral maps in which each channel represents a frequency band. It permits a fine-grained self-attention on each frequency band, so that real visual texture can be distinguished from artifacts. Second, a novel dual frequency attention (DFA) mechanism is proposed to capture the global frequency relations and local frequency relations, which can handle different complicated degradation processes in real-world scenarios. Third, we explore different self-attention schemes for video processing in the frequency domain and discover that a ``divided attention'' which conducts a joint space-frequency attention before applying temporal-frequency attention, leads to the best video enhancement quality. Extensive experiments on three widely-used VSR datasets show that FTVSR outperforms state-of-the-art methods on different low-quality videos with clear visual margins. Code and pre-trained models are available at https://github.com/researchmm/FTVSR.

图形神经网络（GNN）是用于建模图数据的流行机器学习方法。许多GNN在同质图上表现良好，同时在异质图上表现不佳。最近，一些研究人员将注意力转移到设计GNN，以通过调整消息传递机制或扩大消息传递的接收场来设计GNN。与从模型设计的角度来减轻异性疾病问题的现有作品不同，我们建议通过重新布线结构来从正交角度研究异质图，以减少异质性并使传统GNN的表现更好。通过全面的经验研究和分析，我们验证了重新布线方法的潜力。为了充分利用其潜力，我们提出了一种名为Deep Hertophilly Graph Rewiring（DHGR）的方法，以通过添加同粒子边缘和修剪异质边缘来重新线图。通过比较节点邻居的标签/特征 - 分布的相似性来确定重新布线的详细方法。此外，我们为DHGR设计了可扩展的实现，以确保高效率。 DHRG可以轻松地用作任何GNN的插件模块，即图形预处理步骤，包括同型和异性的GNN，以提高其在节点分类任务上的性能。据我们所知，这是研究图形的第一部重新绘图图形的作品。在11个公共图数据集上进行的广泛实验证明了我们提出的方法的优势。

学习率是对神经网络培训有重大影响的最重要的超参数之一。学习率计划在实际实践中广泛使用，以根据预定义的时间表来调整学习率，以进行快速收敛和良好的概括。但是，现有的学习率时间表都是启发式算法，缺乏理论支持。因此，人们通常通过多个临时试验选择学习率计划，并且获得的学习率时间表是最佳的。为了提高获得的次级学习率计划的性能，我们提出了一个通用的学习率计划插件，称为学习率扰动（LEAP），可以将其应用于各种学习率计划，以通过引入一定的扰动来改善模型培训达到学习率。我们发现，通过如此简单而有效的策略，培训处理成倍地利用了平坦的最小值，而不是具有保证收敛的尖锐的最小值，从而提高了更好的概括能力。此外，我们进行了广泛的实验，表明使用LEAP培训可以使用各种学习率计划（包括恒定的学习率）来改善各种数据集对各种深度学习模型的性能。

图形神经网络（GNN）通过汇总邻居的信息在图表中显示出表达性能。最近，一些研究讨论了在图上建模邻域分布的重要性。但是，大多数现有的GNN通过单个统计量（例如，均值，最大，sum）汇总了邻居的特征，该特征失去了与邻居特征分布相关的信息，因此会降低模型性能。在本文中，受统计理论的力矩方法的启发，我们建议用多阶矩对邻居的特征分布进行建模。我们设计了一种新型的GNN模型，即混合矩图神经网络（MM-gnn），其中包括一个多阶矩嵌入（MME）模块和一个基于元素的注意力矩适配器模块。 MM-gnn首先将每个节点的邻居的多阶矩作为签名计算，然后使用基于元素的注意力矩适配器将较大的权重分配给每个节点的重要矩和更新节点表示。我们对15个真实图表（包括社交网络，引文网络和网页网络等）进行了广泛的实验，以评估我们的模型，结果证明了MM-GNN优于现有最先进模型的优势。

视频3D人类姿势估计旨在将视频中人类关节的3D坐标定位。最近的基于变压器的方法着重于从顺序2D姿势捕获时空信息，由于在2D姿势估计的步骤中丢失了视觉深度特征，因此无法有效地对上下文深度特征进行建模。在本文中，我们将范式简化为端到端框架，实例引导的视频变压器（IVT），该范式可以有效地从视觉特征中学习时空的上下文深度信息，并直接从视频框架中预测3D姿势。特别是，我们首先将视频框架作为一系列实例引导令牌，每个令牌都可以预测人类实例的3D姿势。这些令牌包含身体结构信息，因为它们是由关节偏移从人体中心到相应身体关节的指导提取的。然后，这些令牌被发送到IVT中，以学习时空的上下文深度。此外，我们提出了一种跨尺度实例引导的注意机制，以处理多个人之间的变异量表。最后，每个人的3D姿势都是通过坐标回归从实例引导的代币中解码的。在三个广泛使用的3D姿势估计基准上进行的实验表明，拟议的IVT实现了最先进的性能。

压缩视频超分辨率（VSR）旨在从压缩的低分辨率对应物中恢复高分辨率帧。最近的VSR方法通常通过借用相邻视频帧的相关纹理来增强输入框架。尽管已经取得了一些进展，但是从压缩视频中有效提取和转移高质量纹理的巨大挑战，这些视频通常会高度退化。在本文中，我们提出了一种用于压缩视频超分辨率（FTVSR）的新型频率转换器，该频率在联合时空频域中进行自我注意。首先，我们将视频框架分为斑块，然后将每个贴片转换为DCT光谱图，每个通道代表频带。这样的设计使每个频带都可以进行细粒度的自我注意力，因此可以将真实的视觉纹理与伪影区分开，并进一步用于视频框架修复。其次，我们研究了不同的自我发场方案，并发现在对每个频带上应用暂时关注之前，会引起关节空间的注意力，从而带来最佳的视频增强质量。两个广泛使用的视频超分辨率基准的实验结果表明，FTVSR在未压缩和压缩视频的最先进的方法中都具有清晰的视觉边距。代码可在https://github.com/researchmm/ftvsr上找到。

蒙面图像建模（MIM）在各种视觉任务上取得了令人鼓舞的结果。但是，学到的表示形式的有限可区分性表现出来，使一个更强大的视力学习者还有很多值得一试。为了实现这一目标，我们提出了对比度蒙面的自动编码器（CMAE），这是一种新的自我监督的预训练方法，用于学习更全面和有能力的视觉表示。通过详细统一的对比度学习（CL）和掩盖图像模型（MIM），CMAE利用了它们各自的优势，并以强大的实例可辨别性和局部的可感知来学习表示形式。具体而言，CMAE由两个分支组成，其中在线分支是不对称的编码器编码器，而目标分支是动量更新的编码器。在培训期间，在线编码器从蒙面图像的潜在表示中重建了原始图像，以学习整体特征。馈送完整图像的目标编码器通过其在线学习通过对比度学习增强了功能可区分性。为了使CL与MIM兼容，CMAE引入了两个新组件，即用于生成合理的正视图和特征解码器的像素移位，以补充对比度对的特征。多亏了这些新颖的设计，CMAE可以有效地提高了MIM对应物的表示质量和转移性能。 CMAE在图像分类，语义分割和对象检测的高度竞争基准上实现了最先进的性能。值得注意的是，CMAE-BASE在Imagenet上获得了$ 85.3 \％$ $ TOP-1的准确性和$ 52.5 \％$ MIOU的ADE20K，分别超过了$ 0.7 \％\％$ $和$ 1.8 \％$ $。代码将公开可用。

多人3D姿势估计是一项具有挑战性的任务，因为遮挡和深度歧义，尤其是在人群场景的情况下。为了解决这些问题，大多数现有方法通过使用图神经网络增强特征表示或添加结构约束来探索建模身体上下文提示。但是，这些方法对于它们的单根公式并不强大，该公式将3D从根节点带有预定义的图形。在本文中，我们提出了GR-M3D，该GR-M3D模拟了\ textbf {m} ulti-person \ textbf {3d}构成构成构成效果估计，并使用动态\ textbf {g} raph \ textbf {r textbf {r} eSounting。预测GR-M3D中的解码图而不是预定。特别是，它首先生成几个数据图，并通过刻度和深度意识到的细化模块（SDAR）增强它们。然后从这些数据图估算每个人的多个根关键点和密集的解码路径。基于它们，动态解码图是通过将路径权重分配给解码路径来构建的，而路径权重是从这些增强的数据图推断出来的。此过程被命名为动态图推理（DGR）。最后，根据每个检测到的人的动态解码图对3D姿势进行解码。 GR-M3D可以根据输入数据采用软路径权重，通过采用软路径权重来调整解码图的结构，这使得解码图最能适应不同的输入人员，并且比以前的方法更有能力处理闭塞和深度歧义。我们从经验上表明，提出的自下而上方法甚至超过自上而下的方法，并在三个3D姿势数据集上实现最先进的方法。

图形神经网络（GNNS）在具有图形结构数据的各种任务中取得了巨大成功，其中节点分类是必不可少的。无监督的图形域适应（UGDA）显示了其降低节点分类标签成本的实用价值。它利用标记图（即源域）的知识来解决另一个未标记的图形（即目标域）的相同任务。大多数现有的UGDA方法严重依赖于源域中的标记图。它们利用来自源域的标签作为监控信号，并在源图和目标图中共同培训。但是，在一些真实的场景中，由于无法使用或隐私问题，源图无法访问。因此，我们提出了一种名为Source Firect Insuperved Graph域适应（SFUGDA）的新颖情景。在这种情况下，我们可以从源域中杠杆的唯一信息是训练有素的源模型，而不会曝光源图和标签。结果，现有的UGDA方法不再可行。为了解决本实际情况的非琐碎的适应挑战，我们提出了一种模型 - 无话学算法，用于域适应，以充分利用源模型的辨别能力，同时保留目标图上的结构接近度的一致性。我们在理论和经验上证明了所提出的算法的有效性。四个跨域任务的实验结果显示了宏F1得分的一致性改进，高达0.17。

正规化可以通过引入感应偏压来减轻训练与推理之间的泛化差距。现有的作品已经提出了各种视角的各种归纳偏见。然而，据我们所知，他们都没有探讨各种神经元的类依赖性响应分布的视角探讨归纳偏见。在本文中，我们对这种分布的特征进行了大量分析。基于分析结果，我们阐明了神经元稳定性假设：具有与同一类别的情况相似的神经元导致更好的概括。因此，我们提出了一种新的正则化方法，称为神经元稳定正则化，以减少神经元内响应方差。我们在多层的Perceptron，卷积神经网络和图形神经网络上进行了广泛的实验，具有不同域的流行基准数据集，这表明我们的神经元稳定性正则化始终优于Vanilla版本的模型，具有显着增益和低额外的开销。