The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

亚马逊客户服务每年为数百万客户联系提供实时支持。尽管Bot-Resolver有助于自动化一些流量，但我们仍然看到对人类代理商的需求很高，也称为主题专家（SME）。客户在不同域中的问题（返回策略，设备故障排除等）进行宣传。根据他们的培训，并非所有中小型企业都有资格处理所有联系人。与合格的中小型企业的路由联系是一个非平凡的问题，因为中小企业的域名资格受训练质量的影响，并且可以随着时间的推移而改变。为了在同时学习真正的资格状态的同时，我们建议使用非参数上下文的强盗算法（K-Boot）以及资格控制（EC）算法来制定路由问题。 K-Boot模型以$ K $ -NN选择的类似样品和Bootstrap Thompson采样进行探索，并以类似的样本进行奖励。 EC通过最初符合系统的资格过滤武器（SME），并动态验证该信息的可靠性。提出的K-boot是一种通用匪徒算法，EC适用于其他土匪。我们的仿真研究表明，K-boot在最新的匪徒模型上进行性能，并且当存在随机弹性信号时，EC会提高K-Boot性能。

从随机数据中揭示隐藏的动态是一个具有挑战性的问题，因为随机性参与了数据的发展。当在许多情况下没有随机数据的轨迹时，问题就变得非常复杂。在这里，我们提出了一种方法，可以根据fokker-planck（FP）方程的弱形式有效地建模随机数据的动力学，该方程控制了布朗工艺中密度函数的演变。将高斯函数作为弱形式的FP方程式的测试函数，我们将衍生物传递到高斯函数，从而将衍生物传递到高斯函数，从而通过数据的期望值近似弱形式。使用未知术语的字典表示，将线性系统构建，然后通过回归解决，从而揭示数据的未知动力学。因此，我们以弱搭配回归（WCK）方法为其三个关键组成部分命名该方法：弱形式，高斯核的搭配和回归。数值实验表明我们的方法是灵活而快速的，它在多维问题中揭示了几秒钟内的动力学，并且可以轻松地扩展到高维数据，例如20个维度。 WCR还可以正确地识别具有可变依赖性扩散和耦合漂移的复杂任务的隐藏动力学，并且性能很强，在添加噪声的情况下，在情况下达到了高精度。

大多数现有的插槽填充模型倾向于记住实体的固有模式和培训数据中相应的上下文。但是，这些模型在暴露于口语语言扰动或实践中的变化时会导致系统故障或不良输出。我们提出了一种扰动的语义结构意识转移方法，用于训练扰动插槽填充模型。具体而言，我们介绍了两种基于传销的培训策略，以分别从无监督的语言扰动语料库中分别学习上下文语义结构和单词分布。然后，我们将从上游训练过程学到的语义知识转移到原始样本中，并通过一致性处理过滤生成的数据。这些程序旨在增强老虎机填充模型的鲁棒性。实验结果表明，我们的方法始终优于先前的基本方法，并获得强有力的概括，同时阻止模型记住实体和环境的固有模式。

在皮肤病学诊断中，移动皮肤病学助理收集的私人数据存在于患者的分布式移动设备上。联合学习（FL）可以使用分散数据来训练模型，同时保持数据本地化。现有的FL方法假设所有数据都有标签。但是，由于高标签成本，医疗数据通常没有完整的标签。自我监督的学习（SSL）方法，对比度学习（CL）和蒙版自动编码器（MAE）可以利用未标记的数据来预先培训模型，然后用有限的标签进行微调。但是，组合SSL和FL有独特的挑战。例如，CL需要不同的数据，但每个设备仅具有有限的数据。对于MAE而言，尽管基于视觉变压器（VIT）的MAE在集中学习中具有更高的准确性，但尚未研究MAE在未标记数据的FL中的性能。此外，服务器和客户端之间的VIT同步与传统CNN不同。因此，需要设计特殊的同步方法。在这项工作中，我们提出了两个联邦自制的学习框架，用于具有有限标签的皮肤病学诊断。第一个具有较低的计算成本，适用于移动设备。第二个具有高精度，适合高性能服务器。根据CL，我们提出了与功能共享（FedClf）的联合对比度学习。共享功能可用于不同的对比信息，而无需共享原始数据以获得隐私。根据MAE，我们提出了Fedmae。知识拆分将所学的全球知识与每个客户分开。只有全球知识才能汇总为更高的概括性能。关于皮肤病学数据集的实验表明，所提出的框架的精度优于最先进的框架。

与人类相比，即使是最先进的深度学习模型也缺乏基本能力。已经提出了多重比较范例来探索人类与深度学习之间的区别。尽管大多数比较都取决于受数学转变启发的腐败，但很少有人在人类认知现象上具有基础。在这项研究中，我们提出了一种基于毗邻的光栅幻觉的新型腐败方法，这是在人类和广泛的动物物种中广泛发现的视觉现象。腐败方法破坏了梯度定义的边界，并使用彼此毗邻的线光栅产生了虚幻轮廓的感知。我们应用了MNIST，高分辨率MNIST和Silhouette对象图像的方法。对腐败的各种深度学习模型进行了测试，包括从头开始训练的模型和通过ImageNet或各种数据增强技术预测的109个模型。我们的结果表明，即使对于最先进的深度学习模型，将光栅腐败毗邻也是挑战性的，因为大多数模型都是随机猜测的。我们还发现，深度指示技术可以极大地改善固定光栅幻觉的鲁棒性。早期层的可视化表明，更好的性能模型表现出更强的终端特性，这与神经科学发现一致。为了验证腐败方法，涉及24名人类受试者以对损坏数据集进行分类。

我们提出了MHR-NET，这是一种从运动（NRSFM）中恢复非刚性形状的新方法。MHR-NET旨在为2D视图找到一组合理的重建，并且还选择了该集合中最有可能的重建。为了应对挑战性的无刚性形状，我们在MHR-NET中开发了新的确定性基础和随机变形方案。非刚性形状首先表示为粗大的总和和柔性形状变形，然后以变形部分的不确定性建模生成多个假设。MHR-NET通过基础和最佳假设进行了重新投入损失的优化。此外，我们设计了一种新的codrustean残差损失，从而降低了相似形状之间的刚性旋转并进一步改善了性能。实验表明，MHR-NET可以在36M，超现实和300-VW数据集上实现最新的重建精度。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

人脑中的神经网络如何代表常识性知识，而完整的相关推理任务是神经科学，认知科学，心理学和人工智能的重要研究主题。尽管使用固定长度向量代表符号的传统人工神经网络在某些特定任务中取得了良好的表现，但它仍然是一个黑匣子，缺乏可解释性，远非人类对世界的看法。受神经科学中的祖母细胞假设的启发，这项工作调查了可以将编码和峰值定时依赖性可塑性（STDP）机制的人群整合到峰值神经网络的学习中，以及神经元的人群如何通过指导符号来指导符号在不同的神经元种群之间完成顺序触发。不同社区的神经元种群共同构成了整个常识知识图，形成了巨大的图形尖峰神经网络。此外，我们引入了奖励调节的峰值时间依赖性可塑性（R-STDP）机制，以模拟生物增强学习过程并相应地完成相关推理任务，比图形卷积人工神经网络实现了可比的准确性和更快的收敛速度。对于神经科学和认知科学领域，本文的工作为进一步探索人脑代表常识知识的方式提供了计算建模的基础。对于人工智能领域，本文通过构建常识性知识表示并推理具有固体生物学合理性的尖峰神经网络，指出了实现更健壮和可解释的神经网络的探索方向。

反向传播算法促进了深度学习的快速发展，但它依赖大量标记的数据，并且人类学习的方式仍然存在很大的差距。人的大脑可以以自组织和无监督的方式迅速学习各种概念知识，这是通过人类大脑中多个学习规则和结构的协调来实现的。依赖峰值的依赖性可塑性（STDP）是大脑中广泛的学习规则，但是单独使用STDP训练的尖峰神经网络效率低下且性能差。在本文中，从短期突触可塑性中汲取灵感，我们设计了一种自适应突触过滤器，并将自适应阈值平衡作为神经元可塑性介绍，以丰富SNN的表示能力。我们还引入了自适应的横向抑制连接，以动态调整尖峰平衡，以帮助网络学习更丰富的功能。为了加速和稳定无监督的尖峰神经网络的训练，我们设计了一个样本的时间批次STDP，该STDP根据多个样本和多个矩来更新重量。我们已经进行了有关MNIST和FashionMnist的实验，并实现了基于STDP的当前无监督的尖峰神经网络的最先进性能。我们的模型在小样本学习中还显示出强烈的优势。