The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Recent studies have revealed that, beyond conventional accuracy, calibration should also be considered for training modern deep neural networks. To address miscalibration during learning, some methods have explored different penalty functions as part of the learning objective, alongside a standard classification loss, with a hyper-parameter controlling the relative contribution of each term. Nevertheless, these methods share two major drawbacks: 1) the scalar balancing weight is the same for all classes, hindering the ability to address different intrinsic difficulties or imbalance among classes; and 2) the balancing weight is usually fixed without an adaptive strategy, which may prevent from reaching the best compromise between accuracy and calibration, and requires hyper-parameter search for each application. We propose Class Adaptive Label Smoothing (CALS) for calibrating deep networks, which allows to learn class-wise multipliers during training, yielding a powerful alternative to common label smoothing penalties. Our method builds on a general Augmented Lagrangian approach, a well-established technique in constrained optimization, but we introduce several modifications to tailor it for large-scale, class-adaptive training. Comprehensive evaluation and multiple comparisons on a variety of benchmarks, including standard and long-tailed image classification, semantic segmentation, and text classification, demonstrate the superiority of the proposed method. The code is available at https://github.com/by-liu/CALS.

本文考虑了从野外单视图像中无监督的3D对象重建的问题。由于歧义性和内在的不良性，这个问题本质上难以解决，因此需要强大的正则化以实现不同潜在因素的分离。与现有的作品将明确的正规化引入目标功能不同，我们研究了一个不同的空间进行隐式正则化 - 潜在空间的结构。具体而言，我们限制了潜在空间的结构，以捕获潜在因素的拓扑因果排序（即代表因果关系作为定向无环形图）。我们首先表明，不同的因果顺序对于3D重建至关重要，然后探索几种方法以找到与任务有关的因果因素排序。我们的实验表明，潜在空间结构确实是隐式正规化，并引入了有益于重建的电感偏见。

深度强化学习（DRL）在自动游戏测试中引起了很多关注。早期尝试依靠游戏内部信息进行游戏空间探索，因此需要与游戏深入集成，这对于实际应用来说是不便的。在这项工作中，我们建议仅使用屏幕截图/像素作为自动游戏测试的输入，并建立了一般游戏测试代理Inspector，可以轻松地将其应用于不同的游戏，而无需与游戏深入集成。除了覆盖所有游戏测试空间外，我们的代理商还试图采取类似人类的行为与游戏中的关键对象进行交互，因为某些错误通常发生在玩家对象的交互中。检查器基于纯粹的像素输入，包括三个关键模块：游戏空间探索器，关键对象检测器和类似人类的对象研究者。 Game Space Explorer旨在通过使用像素输入的基于好奇心的奖励功能来探索整个游戏空间。关键对象检测器的目的是基于少量标记的屏幕快照在游戏中检测关键对象。类似人类的对象研究者的目标是模仿人类的行为，以通过模仿学习来调查关键对象。我们在两个受欢迎的视频游戏中进行实验：射击游戏和动作RPG游戏。实验结果证明了检查员在探索游戏空间，检测关键对象和调查对象方面的有效性。此外，检查员在这两场比赛中成功发现了两个潜在的错误。检查员的演示视频可从https://github.com/inspector-gametesting/inspector-gametesting获得。

机器学习和认知科学的最新工作表明，了解因果信息对于智力的发展至关重要。使用``Blicket otter''环境的认知科学的广泛文献表明，孩子们擅长多种因果推理和学习。我们建议将该环境适应机器​​学习代理。当前机器学习算法的关键挑战之一是建模和理解因果关系：关于因果关系集的可转移抽象假设。相比之下，即使是幼儿也会自发学习和使用因果关系。在这项工作中，我们提出了一个新的基准 - 一种灵活的环境，可以评估可变因果溢出物下的现有技术 - 并证明许多现有的最新方法在这种环境中概括了困难。该基准的代码和资源可在https://github.com/cannylab/casual_overhypothess上获得。

尽管深度神经网络能够在各种任务上实现优于人类的表现，但他们臭名昭著，因为他们需要大量的数据和计算资源，将其成功限制在可用的这些资源的领域。金属学习方法可以通过从相关任务中转移知识来解决此问题，从而减少学习新任务所需的数据和计算资源的数量。我们组织了元数据竞赛系列，该系列为世界各地的研究小组提供了创建和实验评估实际问题的新元学习解决方案的机会。在本文中，我们在竞争组织者和排名最高的参与者之间进行了合作，我们描述了竞争的设计，数据集，最佳实验结果以及Neurips 2021挑战中最高的方法，这些方法吸引了15进入最后阶段的活跃团队（通过表现优于基线），在反馈阶段进行了100多次代码提交。顶级参与者的解决方案是开源的。汲取的经验教训包括学习良好的表示对于有效的转移学习至关重要。

尽管深神经网络的占优势性能，但最近的作品表明它们校准不佳，导致过度自信的预测。由于培训期间的跨熵最小化，因此可以通过过度化来加剧错误烫伤，因为它促进了预测的Softmax概率来匹配单热标签分配。这产生了正确的类别的Pre-SoftMax激活，该类别明显大于剩余的激活。来自文献的最近证据表明，损失函数嵌入隐含或明确最大化的预测熵会产生最先进的校准性能。我们提供了当前最先进的校准损耗的统一约束优化视角。具体地，这些损失可以被视为在Logit距离上施加平等约束的线性惩罚（或拉格朗日）的近似值。这指出了这种潜在的平等约束的一个重要限制，其随后的梯度不断推动非信息解决方案，这可能会阻止在基于梯度的优化期间模型的辨别性能和校准之间的最佳妥协。在我们的观察之后，我们提出了一种基于不平等约束的简单灵活的泛化，这在Logit距离上强加了可控裕度。关于各种图像分类，语义分割和NLP基准的综合实验表明，我们的方法在网络校准方面对这些任务设置了新的最先进的结果，而不会影响辨别性能。代码可在https://github.com/by-liu/mbls上获得。

机器学习模型的基本挑战是由于杂散的相关性部分地推广到分销（OOD）数据。为了解决这一挑战，我们首先将“ood泛化问题”正式形式化为受限制的优化，称为解剖学限制域泛化（DDG）。我们以有限维参数化和经验逼近的方式将该非普通约束优化放宽到贸易形式。然后，提供了对上述变换偏离原始问题的程度的理论分析。基于转型，我们提出了一种用于联合表示解剖和域泛化的原始双向算法。与基于领域对抗性培训和域标签的传统方法形成鲜明对比，DDG共同学习解剖学的语义和变化编码器，使灵活的操纵和增强训练数据。 DDG旨在学习语义概念的内在表示，这些概念不变于滋扰因素，并遍布不同的域。对流行基准的综合实验表明，DDG可以实现竞争性的ood性能，并在数据中揭示可解释的突出结构。

人工智能（AI）为简化Covid-19诊断提供了有前景的替代。然而，涉及周围的安全和可信度的担忧阻碍了大规模代表性的医学数据，对临床实践中训练广泛的模型造成了相当大的挑战。为了解决这个问题，我们启动了统一的CT-Covid AI诊断计划（UCADI），其中AI模型可以在没有数据共享的联合学习框架（FL）下在每个主机机构下分发和独立地在没有数据共享的情况下在每个主机机构上执行。在这里，我们认为我们的FL模型通过大的产量（中国测试敏感性/特异性：0.973 / 0.951，英国：0.730 / 0.942），与专业放射科医师的面板实现可比性表现。我们进一步评估了持有的模型（从另外两家医院收集，留出FL）和异构（用造影材料获取）数据，提供了模型所做的决策的视觉解释，并分析了模型之间的权衡联邦培训过程中的性能和沟通成本。我们的研究基于来自位于中国和英国的23家医院的3,336名患者的9,573次胸部计算断层扫描扫描（CTS）。统称，我们的工作提出了利用联邦学习的潜在保留了数字健康的前景。

在本文中，我们考虑了迭代机教学问题，教师根据当前迭代学习者顺序提供示例。与必须扫描整个池并在每次迭代中选择教学示例的先前方法相比，我们提出了一个标签综合教学框架，其中教师随机选择输入教学示例（例如，图像），然后合成合适的输出（例如，，标签）为他们。我们表明，此框架可以避免昂贵的示例选择，同时仍然可以获得指数的可行性。我们在本框架中提出了多种新颖的教学算法。最后，我们经验证明了我们框架的价值。