The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

This work addresses the problem of generating 3D holistic body motions from human speech. Given a speech recording, we synthesize sequences of 3D body poses, hand gestures, and facial expressions that are realistic and diverse. To achieve this, we first build a high-quality dataset of 3D holistic body meshes with synchronous speech. We then define a novel speech-to-motion generation framework in which the face, body, and hands are modeled separately. The separated modeling stems from the fact that face articulation strongly correlates with human speech, while body poses and hand gestures are less correlated. Specifically, we employ an autoencoder for face motions, and a compositional vector-quantized variational autoencoder (VQ-VAE) for the body and hand motions. The compositional VQ-VAE is key to generating diverse results. Additionally, we propose a cross-conditional autoregressive model that generates body poses and hand gestures, leading to coherent and realistic motions. Extensive experiments and user studies demonstrate that our proposed approach achieves state-of-the-art performance both qualitatively and quantitatively. Our novel dataset and code will be released for research purposes at https://talkshow.is.tue.mpg.de.

Existing neural rendering methods for creating human avatars typically either require dense input signals such as video or multi-view images, or leverage a learned prior from large-scale specific 3D human datasets such that reconstruction can be performed with sparse-view inputs. Most of these methods fail to achieve realistic reconstruction when only a single image is available. To enable the data-efficient creation of realistic animatable 3D humans, we propose ELICIT, a novel method for learning human-specific neural radiance fields from a single image. Inspired by the fact that humans can easily reconstruct the body geometry and infer the full-body clothing from a single image, we leverage two priors in ELICIT: 3D geometry prior and visual semantic prior. Specifically, ELICIT introduces the 3D body shape geometry prior from a skinned vertex-based template model (i.e., SMPL) and implements the visual clothing semantic prior with the CLIP-based pre-trained models. Both priors are used to jointly guide the optimization for creating plausible content in the invisible areas. In order to further improve visual details, we propose a segmentation-based sampling strategy that locally refines different parts of the avatar. Comprehensive evaluations on multiple popular benchmarks, including ZJU-MoCAP, Human3.6M, and DeepFashion, show that ELICIT has outperformed current state-of-the-art avatar creation methods when only a single image is available. Code will be public for reseach purpose at https://elicit3d.github.io .

在本文中，我们研究了神经视频压缩（NVC）中位分配的问题。首先，我们揭示了最近声称是最佳的位分配方法实际上是由于其实施而是最佳的。具体而言，我们发现其亚典型性在于半损坏的变异推理（SAVI）对潜在的不正确的应用，具有非物质变异后验。然后，我们表明，在非因素潜伏期上校正的SAVI校正版本需要递归地通过梯度上升应用后传播，这是我们得出校正后的最佳位分配算法的。由于校正位分配的计算不可行性，我们设计了有效的近似值以使其实用。经验结果表明，我们提出的校正显着改善了R-D性能和比特率误差的错误分配，并且比所有其他位分配方法都大大提高了。源代码在补充材料中提供。

本文考虑了有损神经图像压缩（NIC）的问题。当前的最新方法（SOTA）方法采用近似量化噪声的后部均匀的后方，单样本估计量近似于证据下限（ELBO）的梯度。在本文中，我们建议用多个样本重要性加权自动编码器（IWAE）目标训练NIC，该目标比Elbo更紧，并随着样本量的增加而收敛至对数的可能性。首先，我们确定NIC的均匀后验具有特殊的特性，这会影响IWAE目标的Pathiswise和得分函数估计器的方差和偏差。此外，从梯度差异的角度来看，我们提供了有关NIC中通常采用的技巧的见解。基于这些分析，我们进一步提出了多样本NIC（MS-NIC），这是NIC的IWAE靶标。实验结果表明，它改善了SOTA NIC方法。我们的MS-NIC是插件，可以轻松扩展到其他神经压缩任务。

预先训练的图像文本模型（如剪辑）已经证明了从大规模的Web收集的图像文本数据中学到的视觉表示的强大力量。鉴于学习良好的视觉特征，一些现有的作品将图像表示转移到视频域并取得良好的结果。但是，如何利用图像语言预训练的模型（例如，剪辑）进行视频培训（后培训）仍在探索。在本文中，我们研究了两个问题：1）阻碍后期剪辑的因素是什么因素，以进一步提高视频语言任务的性能？ 2）如何减轻这些因素的影响？通过一系列比较实验和分析，我们发现语言源之间的数据量表和域间隙具有很大的影响。由这些动机，我们提出了一种配备了视频代理机制的Omnisource跨模式学习方法，即剪辑，即剪辑VIP。广泛的结果表明，我们的方法可以提高视频检索的剪辑的性能。我们的模型还可以在包括MSR-VTT，DIDEMO，LSMDC和ActivityNet在内的各种数据集上实现SOTA结果。我们在https://github.com/microsoft/xpretrain/tree/main/main/main/clip-vip上发布了代码和预训练的剪辑模型。

相同地形的不同卫星图像的相对辐射归一化（RRN）对于改变检测，对象分类/分割和映射任务是必要的。但是，传统的RRN模型不强大，通过对象变化扰乱，并且RRN模型精确考虑对象变化无法鲁布布地获取无更改集。本文提出了通过潜在变化噪声建模的自动稳健的相对辐射归一化方法。它们利用先验知识，即在相对辐射尺度化下没有变化点具有小尺度噪声，并且在辐射归一化之后，变化点具有大规模的辐射噪声，组合随机期望最大化方法快速且强大地提取No-Change集以学习相对辐射归一化映射映射函数。这使我们的模型在理论上就是关于概率理论和数学扣除的基础。具体地，当我们选择直方图匹配作为与高斯噪声（HM-RRN-RRN-RRN-MOG）混合的相对辐射算法学习方案（HM-RRN-MOG）的相对辐射归一化学习方案，HM-RRN-MOG模型实现了最佳性能。我们的模型具有强大地反对云/雾气/变化的能力。我们的方法自然地为RRN生成一个强大的评估指示器，即No-Change Set Totor Square error。我们将HM-RRN-MOG模型应用于后一种植被/水变化检测任务，这减少了无辐射对比度和NDVI / NDWI对无变化集的差异，产生了一致和可比的结果。我们利用No-Change集合到建筑物变更检测任务中，有效地减少了伪变化并提高了精度。

我们研究了联合视频和语言（VL）预培训，以实现跨模型学习和益处丰富的下游VL任务。现有的作品要么提取低质量的视频特征或学习有限的文本嵌入，但忽略了高分辨率视频和多样化的语义可以显着提高跨模型学习。在本文中，我们提出了一种新的高分辨率和多样化的视频 - 语言预训练模型（HD-VILA），用于许多可视任务。特别是，我们收集具有两个不同属性的大型数据集：1）第一个高分辨率数据集包括371.5k小时的720p视频，2）最多样化的数据集涵盖15个流行的YouTube类别。为了启用VL预培训，我们通过学习丰富的时空特征的混合变压器联合优化HD-VILA模型，以及多峰变压器，用于强制学习视频功能与多样化文本的交互。我们的预训练模式实现了新的最先进的导致10 VL了解任务和2个新颖的文本到视觉生成任务。例如，我们以零拍摄MSR-VTT文本到视频检索任务的相对增加38.5％R @ 1的相对增长，高分辨率数据集LSMDC为53.6％。学习的VL嵌入也有效地在文本到视觉操纵和超分辨率任务中产生视觉上令人愉悦和语义相关结果。

模式识别中的一个挑战是开放式识别。与封闭式识别相比，开放式识别不仅需要减少经验风险，也需要降低开放空间风险，并且对这两个风险的减少对应于分别分配已知类别并分别识别未知类。如何降低开放空间风险是开放式识别的关键。本文通过分析已知和未知类功能的分布来探讨开放空间风险的起源。在此基础上，提出了空间位置约束原型丢失功能，以同时减少两个风险。在多个基准数据集和许多可视化结果上的广泛实验表明我们的方法优于最多现有的方法。

Vision-Language预培训（VLP）旨在从图像文本对中学习多模态表示，并以微调方式为下游视觉语言任务服务。主导VLP模型采用CNN变压器架构，该架构将图像与CNN嵌入，然后使用变压器对齐图像和文本。视觉内容之间的视觉关系在图像理解中发挥着重要作用，并且是模态对齐学习的基本。然而，由于局部接受领域在建模远程依赖性方面的弱点，CNNS具有局限性。因此，在相同的变压器网络中封装了学习视觉关系和模态对齐的两个目标。这种设计可能通过忽略每个目标的专用特性来限制变压器中的模态对准学习。为了解决这个问题，我们提出了一个完全变压器视觉嵌入VLP，以更好地学习视觉关系，进一步促进模态对齐。具体地，我们提出了一个名为Domank跨性流量的度量（IMF），以测量视觉和语言模态之间的交互（即，互别互别）。我们还设计了一种名为Massed Featuber Resollion（MFR）的新型屏蔽优化机制，在变压器中进一步推广了模范间学习。据我们所知，这是第一项探索VLP中可视化特征学习的变压器的利益的研究。我们在广泛的视觉语言任务中验证了我们的方法，包括图像文本检索，视觉问题应答（VQA），视觉征求和视觉推理。我们的方法不仅优于最先进的VLP性能，而且还显示了对IMF度量的好处。