The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Deep neural networks (DNNs) recently emerged as a promising tool for analyzing and solving complex differential equations arising in science and engineering applications. Alternative to traditional numerical schemes, learning-based solvers utilize the representation power of DNNs to approximate the input-output relations in an automated manner. However, the lack of physics-in-the-loop often makes it difficult to construct a neural network solver that simultaneously achieves high accuracy, low computational burden, and interpretability. In this work, focusing on a class of evolutionary PDEs characterized by having decomposable operators, we show that the classical ``operator splitting'' numerical scheme of solving these equations can be exploited to design neural network architectures. This gives rise to a learning-based PDE solver, which we name Deep Operator-Splitting Network (DOSnet). Such non-black-box network design is constructed from the physical rules and operators governing the underlying dynamics contains learnable parameters, and is thus more flexible than the standard operator splitting scheme. Once trained, it enables the fast solution of the same type of PDEs. To validate the special structure inside DOSnet, we take the linear PDEs as the benchmark and give the mathematical explanation for the weight behavior. Furthermore, to demonstrate the advantages of our new AI-enhanced PDE solver, we train and validate it on several types of operator-decomposable differential equations. We also apply DOSnet to nonlinear Schr\"odinger equations (NLSE) which have important applications in the signal processing for modern optical fiber transmission systems, and experimental results show that our model has better accuracy and lower computational complexity than numerical schemes and the baseline DNNs.

随着深度卷积神经网络的兴起，对象检测在过去几年中取得了突出的进步。但是，这种繁荣无法掩盖小物体检测（SOD）的不令人满意的情况，这是计算机视觉中臭名昭著的挑战性任务之一，这是由于视觉外观不佳和由小目标的内在结构引起的嘈杂表示。此外，用于基准小对象检测方法基准测试的大规模数据集仍然是瓶颈。在本文中，我们首先对小物体检测进行了详尽的审查。然后，为了催化SOD的发展，我们分别构建了两个大规模的小物体检测数据集（SODA），SODA-D和SODA-A，分别集中在驾驶和空中场景上。 SODA-D包括24704个高质量的交通图像和277596个9个类别的实例。对于苏打水，我们收集2510个高分辨率航空图像，并在9个类别上注释800203实例。众所周知，拟议的数据集是有史以来首次尝试使用针对多类SOD量身定制的大量注释实例进行大规模基准测试。最后，我们评估主流方法在苏打水上的性能。我们预计发布的基准可以促进SOD的发展，并产生该领域的更多突破。数据集和代码将很快在：\ url {https://shaunyuan22.github.io/soda}上。

最近，大多数手写的数学表达识别（HMER）方法采用编码器 - 编码器网络，该网络直接从具有注意机制的公式图像中直接预测标记序列。但是，此类方法可能无法准确读取具有复杂结构的公式或生成长的标记序列，因为由于写作样式或空间布局的差异很大，注意结果通常是不准确的。为了减轻此问题，我们为HMER提出了一个名为Counting-Aware-Aware网络（CAN）的非常规网络，该网络共同优化了两个任务：HMER和符号计数。具体而言，我们设计了一个弱监督的计数模块，该模块可以预测每个符号类的数量，而无需符号级别的位置注释，然后将其插入HMER的典型基于注意力的编码器模型。在基准数据集上进行的实验验证了关节优化和计数结果既有益于纠正编码器模型的预测误差，又可以始终如一地胜过最先进的方法。特别是，与HMER的编码器模型相比，提议的计数模块引起的额外时间成本是边缘的。源代码可从https://github.com/lbh1024/can获得。

人类的行动识别是一个非常受过大量研究的领域，在该领域中，最引人注目的动作识别网络通常使用日常人类行动的大规模粗粒度动作数据集作为陈述其网络优势的输入。我们打算使用神经网络识别我们的小规模细粒Tai Chi动作数据集，并使用NTU RGB+D数据集提出一种转移学习方法，以预先培训我们的网络。更具体地说，提出的方法首先使用大规模的NTU RGB+D数据集来预先培训基于变压器的网络以进行动作识别，以在人类运动中提取共同的特征。然后，我们冻结除完全连接（FC）层以外的网络权重，并将我们的Tai Chi动作作为输入，仅用于训练初始化的FC权重。实验结果表明，我们的通用模型管道可以达到高度精细的Tai Chi Action识别的高精度，甚至很少输入，并证明我们的方法与先前的Tai Chi Action识别相比实现了最先进的性能方法。

手写数学表达识别（HMER）是具有许多潜在应用的挑战性任务。 HMER的最新方法通过编码器架构实现了出色的性能。但是，这些方法符合“从一个字符到另一个字符”进行预测的范式，由于数学表达式或厌恶的手写的复杂结构，这不可避免地会产生预测错误。在本文中，我们为HMER提出了一种简单有效的方法，该方法是第一个将语法信息纳入编码器编码器网络的方法。具体而言，我们提出了一组语法规则，用于将每个表达式的乳胶标记序列转换为一个解析树。然后，我们将标记序列预测建模为具有深神经网络的树遍布过程。通过这种方式，提出的方法可以有效地描述表达式的语法上下文，从而减轻HMER的结构预测错误。在三个基准数据集上的实验表明，与先前的艺术相比，我们的方法实现了更好的识别性能。为了进一步验证我们方法的有效性，我们创建了一个大规模数据集，该数据集由从一万个作家中获取的100k手写数学表达图像组成。该工作的源代码，新数据集和预培训的模型将公开可用。

创建视觉布局是图形设计的重要步骤。当我们寻求比例和多样化的视觉设计时，这种布局的自动生成很重要。在自动布局的作品上，专注于无条件生成，其中模型在忽略用户需要进行特定问题的同时生成布局。为了提前有条件布局，我们介绍了BLT，双向布局变压器。 BLT与自回归解码不同，因为它首先生成满足用户输入的布局，然后迭代地改进布局。我们验证了具有各种保真度量的多个基准测试模型。我们的结果表明，最先进的布局变压器模型的两个主要进步。首先，我们的模型授权布局变压器来满足可控布局的制作。其次，我们的模型削减了自回归解码的线性推理时间达到恒定的复杂度，从而在推理时间以制定布局实现4x-10x的加速。

知识库问题应答（KBQA）旨在在外部知识库的帮助下回答自然语言问题。核心思想是找到内部知识与知识库的已知三元组之间的内部知识之间的联系。 KBQA任务管道包含几个步骤，包括实体识别，关系提取和实体链接。这种管道方法意味着任何过程中的错误将不可避免地传播到最终预测。为了解决上述问题，本文提出了一种具有预培训语言模型（PLM）和知识图（KG）的语料库生成 - 检索方法（CGRM）。首先，基于MT5模型，我们设计了两个新的预训练任务：基于段落的知识屏蔽语言建模和问题，以获取知识增强型T5（KT5）模型。其次，在用一系列启发式规则预处理知识图的预处理之后，KT5模型基于处理的三元组生成自然语言QA对。最后，我们通过检索合成数据集直接解决QA。我们在NLPCC-ICCPOL 2016 KBQA数据集上测试我们的方法，结果表明，我们的框架提高了KBQA的性能，直接向前的方法与最先进的方法竞争。

外部知识（A.K.A.侧面信息）在零拍摄学习（ZSL）中起着关键作用，该角色旨在预测从未出现在训练数据中的看不见的类。已被广泛调查了几种外部知识，例如文本和属性，但他们独自受到不完整的语义。因此，一些最近的研究提出了由于其高度富有效力和代表知识的兼容性而使用知识图表（千克）。但是，ZSL社区仍然缺乏用于学习和比较不同外部知识设置和基于不同的KG的ZSL方法的标准基准。在本文中，我们提出了六个资源，涵盖了三个任务，即零拍摄图像分类（ZS-IMGC），零拍摄关系提取（ZS-RE）和零拍KG完成（ZS-KGC）。每个资源都有一个正常的zsl基准标记和包含从文本到属性的kg的kg，从关系知识到逻辑表达式。我们已清楚地介绍了这些资源，包括其建设，统计数据格式和使用情况W.r.t.不同的ZSL方法。更重要的是，我们进行了一项全面的基准研究，具有两个通用和最先进的方法，两种特定方法和一种可解释方法。我们讨论并比较了不同的ZSL范式W.R.T.不同的外部知识设置，并发现我们的资源具有开发更高级ZSL方法的巨大潜力，并为应用KGS进行增强机学习的更多解决方案。所有资源都可以在https://github.com/china-uk-zsl/resources_for_kzsl上获得。

可变形的物体操纵（DOM）是机器人中的新兴研究问题。操纵可变形对象的能力赋予具有更高自主权的机器人，并承诺在工业，服务和医疗领域中的新应用。然而，与刚性物体操纵相比，可变形物体的操纵相当复杂，并且仍然是开放的研究问题。解决DOM挑战在机器人学的几乎各个方面，即硬件设计，传感，（变形）建模，规划和控制的挑战突破。在本文中，我们审查了最近的进步，并在考虑每个子场中的变形时突出主要挑战。我们论文的特殊焦点在于讨论这些挑战并提出未来的研究方向。