Generative adversarial networks (GANs) have made great success in image inpainting yet still have difficulties tackling large missing regions. In contrast, iterative algorithms, such as autoregressive and denoising diffusion models, have to be deployed with massive computing resources for decent effect. To overcome the respective limitations, we present a novel spatial diffusion model (SDM) that uses a few iterations to gradually deliver informative pixels to the entire image, largely enhancing the inference efficiency. Also, thanks to the proposed decoupled probabilistic modeling and spatial diffusion scheme, our method achieves high-quality large-hole completion. On multiple benchmarks, we achieve new state-of-the-art performance. Code is released at https://github.com/fenglinglwb/SDM.

异常检测旨在识别正常数据分布的偏差样本。对比学习提供了一种成功的样本表示方式，可以有效地歧视异常。但是，当在半监督环境下设置的训练中被未标记的异常样本污染时，当前基于对比的方法通常1）忽略训练数据之间的全面关系，导致次优的性能，2）需要微调，导致低效率的低效率。为了解决上述两个问题，在本文中，我们提出了一种新型的分层半监督对比学习（HSCL）框架，以抗污染异常检测。具体而言，HSCL分层调节了三个互补关系：样本到样本，样本到原型型和正常关系，通过对受污染数据的全面探索，扩大了正常样本和异常样本之间的歧视。此外，HSCL是一种端到端的学习方法，可以在不进行微调的情况下有效地学习判别性表示。 HSCL在多种方案中实现了最先进的性能，例如单级分类和跨数据库检测。广泛的消融研究进一步验证了每个考虑的关系的有效性。该代码可在https://github.com/gaoangw/hscl上找到。

最先进的参数和非参数样式转移方法容易导致由于全局统计的对准而导致的本地样式模式，或者由于补丁不匹配而导致的不愉快的人工制品。在本文中，我们研究了一种新型的半参数神经风格转移框架，可减轻参数和非参数风格的缺乏。我们方法的核心思想是使用图神经网络（GNN）建立准确且细粒的内容样式对应关系。为此，我们开发了一个详细的GNN模型，其中包含内容和样式的本地补丁作为图形顶点。然后，将样式转移过程建模为基于注意力的异质消息，以可学习的方式在样式和内容节点之间传递，从而导致本地补丁级别的自适应多一对一风格的相关性。此外，引入了详细的可变形图卷积操作，以进行跨尺度样式符合匹配。实验结果表明，所提出的半参数图像样式化方法可为具有挑战性的样式模式产生令人鼓舞的结果，从而保留了全球外观和精美的细节。此外，通过控制推理阶段的边缘数量，提出的方法还触发了新的功能，例如使用单个模型的多元化基于斑块的风格化。

通常需要在大型数据集上进行预训练的视频变压器，以在相对较小的数据集上实现首要性能。在本文中，我们表明视频蒙面的自动编码器（Videomae）是用于自我监督视频预训练（SSVP）的数据效率学习者。我们的启发受到了最近的ImageMae的启发，并提出了具有极高比例的定制视频管掩蔽。这种简单的设计使视频重建成为更具挑战性的自我判断任务，从而鼓励在此预训练过程中提取更有效的视频表示。我们在SSVP上获得了三个重要发现：（1）屏蔽比的比例极高（即90％至95％）仍然可以产生良好的视频性能。在时间上冗余的视频内容比图像更高的掩蔽率。 （2）视频在很小的数据集（即3K-4K视频）上取得了令人印象深刻的结果，而无需使用任何额外的数据。 （3）视频表明，数据质量比SSVP的数据数量更重要。在培训和目标数据集之间的域转移是一个重要问题。值得注意的是，我们与香草VIT的视频在动力学400上可以达到85.8％，在不使用任何额外数据的情况下，在HMDB51上的V2上有75.3％，UCF101的某些东西为75.3％，在UCF101上获得90.8％，HMDB51上的90.8％和61.1％。代码可从https://github.com/mcg-nju/videomae获得。

最近，类似于MLP的视觉模型已在主流视觉识别任务上实现了有希望的表演。与视觉变压器和CNN相反，类似MLP的模型的成功表明，令牌和渠道之间的简单信息融合操作可以为深度识别模型带来良好的表示能力。但是，现有的类似于MLP的模型通过静态融合操作融合代币，缺乏对代币内容的适应性。因此，习惯信息融合程序不够有效。为此，本文介绍了一种有效的MLP式网络体系结构，称为Dynamixer，诉诸动态信息融合。至关重要的是，我们提出了一个程序，该过程依赖于该过程，以通过利用混合所有令牌的内容来动态生成混合矩阵。为了减少时间复杂性并提高鲁棒性，采用了降低性降低技术和多段融合机制。我们提出的Dynamixer模型（9700万参数）在没有额外的训练数据的情况下，在Imagenet-1k数据集上实现了84.3 \％TOP-1的精度，对最先进的视觉MLP模型表现出色。当参数数量减少到26m时，它仍然可以达到82.7 \％TOP-1的精度，超过了具有相似容量的现有MLP样模型。该代码可在\ url {https://github.com/ziyuwwang/dynamixer}中获得。

跳舞视频retargeting旨在综合传输从源视频到目标人物的舞蹈移动的视频。以前的工作需要收集有几分钟的目标人物，以训练个性化模型的数千帧。但是，训练有素的模型只能生成同一个人的视频。为了解决限制，最近的工作解决了几次跳舞的视频retargeting，这将通过利用其中几帧来综合看不见的人的视频。在实践中，给出了一个人的几个框架，这些工作只是将它们视为一批没有时间相关性的单个图像，从而产生了低视觉质量的时间上不连贯的跳舞视频。在这项工作中，我们将一个人的一些框架模拟了一系列跳舞的移动，其中每个移动包含两个连续帧，以提取这个人的外观模式和时间动态。我们提出了通过跳舞移动的合成优化模型的初始化，从而利用时间感知的元学习，使得元训练模型可以朝着增强的视觉质量和加强不良人员的时间稳定性地调整。很少的框架。广泛的评估显示了我们的方法的大量优势。

视觉问题的视觉关注在视觉问题上应答（VQA）目标在定位有关答案预测的右图像区域，提供强大的技术来促进多模态理解。然而，最近的研究指出，来自视觉关注的突出显示的图像区域通常与给定的问题和答案无关，导致模型混淆正确的视觉推理。为了解决这个问题，现有方法主要是为了对准人类关注的视觉注意力。尽管如此，收集这种人类数据是费力且昂贵的，使其在数据集中调整良好开发的模型。为了解决这个问题，在本文中，我们设计了一种新的视觉关注正规化方法，即attreg，以便在VQA中更好地视觉接地。具体而言，attraT首先识别了由骨干模型出乎意料地忽略（即，分配低注意重量）的问题所必需的图像区域。然后，利用掩模引导的学习方案来规范视觉注意力，以便更多地关注这些忽略的关键区域。所提出的方法是非常灵活的，模型不可知，可以集成到基于大多数基于视觉关注的VQA模型中，并且不需要人类注意监督。已经进行了三个基准数据集，即VQA-CP V2，VQA-CP V1和VQA V2的广泛实验，以评估attreg的有效性。作为副产品，将Attreg纳入强基线LMH时，我们的方法可以实现新的最先进的准确性为60.00％，在VQA-CP V2基准数据集上绝对性能增益为7.01％。 。

Machine Translation Quality Estimation (QE) is the task of evaluating translation output in the absence of human-written references. Due to the scarcity of human-labeled QE data, previous works attempted to utilize the abundant unlabeled parallel corpora to produce additional training data with pseudo labels. In this paper, we demonstrate a significant gap between parallel data and real QE data: for QE data, it is strictly guaranteed that the source side is original texts and the target side is translated (namely translationese). However, for parallel data, it is indiscriminate and the translationese may occur on either source or target side. We compare the impact of parallel data with different translation directions in QE data augmentation, and find that using the source-original part of parallel corpus consistently outperforms its target-original counterpart. Moreover, since the WMT corpus lacks direction information for each parallel sentence, we train a classifier to distinguish source- and target-original bitext, and carry out an analysis of their difference in both style and domain. Together, these findings suggest using source-original parallel data for QE data augmentation, which brings a relative improvement of up to 4.0% and 6.4% compared to undifferentiated data on sentence- and word-level QE tasks respectively.

This technical report briefly describes our JDExplore d-team's Vega v2 submission on the SuperGLUE leaderboard. SuperGLUE is more challenging than the widely used general language understanding evaluation (GLUE) benchmark, containing eight difficult language understanding tasks, including question answering, natural language inference, word sense disambiguation, coreference resolution, and reasoning. [Method] Instead of arbitrarily increasing the size of a pretrained language model (PLM), our aim is to 1) fully extract knowledge from the input pretraining data given a certain parameter budget, e.g., 6B, and 2) effectively transfer this knowledge to downstream tasks. To achieve goal 1), we propose self-evolution learning for PLMs to wisely predict the informative tokens that should be masked, and supervise the masked language modeling (MLM) process with rectified smooth labels. For goal 2), we leverage the prompt transfer technique to improve the low-resource tasks by transferring the knowledge from the foundation model and related downstream tasks to the target task. [Results] According to our submission record (Oct. 2022), with our optimized pretraining and fine-tuning strategies, our 6B Vega method achieved new state-of-the-art performance on 4/8 tasks, sitting atop the SuperGLUE leaderboard on Oct. 8, 2022, with an average score of 91.3.

自动交通事故检测已吸引机器视觉社区，因为它对自动智能运输系统（ITS）的发展产生了影响和对交通安全的重要性。然而，大多数关于有效分析和交通事故预测的研究都使用了覆盖范围有限的小规模数据集，从而限制了其效果和适用性。交通事故中现有的数据集是小规模，不是来自监视摄像机，而不是开源的，或者不是为高速公路场景建造的。由于在高速公路上发生事故，因此往往会造成严重损坏，并且太快了，无法赶上现场。针对从监视摄像机收集的高速公路交通事故的开源数据集非常需要和实际上。为了帮助视觉社区解决这些缺点，我们努力收集涵盖丰富场景的真实交通事故的视频数据。在通过各个维度进行集成和注释后，在这项工作中提出了一个名为TAD的大规模交通事故数据集。在这项工作中，使用公共主流视觉算法或框架进行了有关图像分类，对象检测和视频分类任务的各种实验，以证明不同方法的性能。拟议的数据集以及实验结果将作为改善计算机视觉研究的新基准提出，尤其是在其中。