The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Neural network pruning has been a well-established compression technique to enable deep learning models on resource-constrained devices. The pruned model is usually specialized to meet specific hardware platforms and training tasks (defined as deployment scenarios). However, existing pruning approaches rely heavily on training data to trade off model size, efficiency, and accuracy, which becomes ineffective for federated learning (FL) over distributed and confidential datasets. Moreover, the memory- and compute-intensive pruning process of most existing approaches cannot be handled by most FL devices with resource limitations. In this paper, we develop FedTiny, a novel distributed pruning framework for FL, to obtain specialized tiny models for memory- and computing-constrained participating devices with confidential local data. To alleviate biased pruning due to unseen heterogeneous data over devices, FedTiny introduces an adaptive batch normalization (BN) selection module to adaptively obtain an initially pruned model to fit deployment scenarios. Besides, to further improve the initial pruning, FedTiny develops a lightweight progressive pruning module for local finer pruning under tight memory and computational budgets, where the pruning policy for each layer is gradually determined rather than evaluating the overall deep model structure. Extensive experimental results demonstrate the effectiveness of FedTiny, which outperforms state-of-the-art baseline approaches, especially when compressing deep models to extremely sparse tiny models.

在这项工作中，我们介绍了一个新颖的全球描述符，称为3D位置识别的稳定三角形描述符（STD）。对于一个三角形，其形状由侧面或包含角度的长度唯一决定。此外，三角形的形状对于刚性转换完全不变。基于此属性，我们首先设计了一种算法，以从3D点云中有效提取本地密钥点，并将这些关键点编码为三角形描述符。然后，通过匹配点云之间描述符的侧面长度（以及其他一些信息）来实现位置识别。从描述符匹配对获得的点对应关系可以在几何验证中进一步使用，从而大大提高了位置识别的准确性。在我们的实验中，我们将我们提出的系统与公共数据集（即Kitti，NCLT和Complex-ublan）和我们自我收集的数据集（即M2DP，扫描上下文）进行了广泛的比较（即M2DP，扫描上下文）（即带有非重复扫描固态激光雷达）。所有定量结果表明，性病具有更强的适应性，并且在其对应物方面的精度有了很大的提高。为了分享我们的发现并为社区做出贡献，我们在GitHub上开放代码：https：//github.com/hku-mars/std。

神经形态计算是一个新兴的研究领域，旨在通过整合来自神经科学和深度学习等多学科的理论和技术来开发新的智能系统。当前，已经为相关字段开发了各种软件框架，但是缺乏专门用于基于Spike的计算模型和算法的有效框架。在这项工作中，我们提出了一个基于Python的尖峰神经网络（SNN）模拟和培训框架，又名Spaic，旨在支持脑启发的模型和算法研究，并与深度学习和神经科学的特征集成在一起。为了整合两个压倒性学科的不同方法，以及灵活性和效率之间的平衡，SpaiC设计采用神经科学风格的前端和深度学习后端结构设计。我们提供了广泛的示例，包括神经回路模拟，深入的SNN学习和神经形态应用，展示了简洁的编码样式和框架的广泛可用性。 Spaic是一个专用的基于SPIKE的人工智能计算平台，它将显着促进新模型，理论和应用的设计，原型和验证。具有用户友好，灵活和高性能，它将有助于加快神经形态计算研究的快速增长和广泛的适用性。

机器学习模型在许多领域都表现出了有希望的表现。但是，担心他们可能会偏向特定的群体，阻碍了他们在高级申请中的采用。因此，必须确保机器学习模型中的公平性。以前的大多数努力都需要访问敏感属性以减轻偏见。尽管如此，由于人们对隐私和法律依从性的认识日益增加，获得具有敏感属性的大规模数据通常是不可行的。因此，一个重要的研究问题是如何在隐私下做出公平的预测？在本文中，我们研究了半私人环境中公平分类的新问题，其中大多数敏感属性都是私有的，只有少量的干净敏感属性可用。为此，我们提出了一个新颖的框架Fairsp，可以首先学会通过利用有限的清洁敏感属性来纠正隐私保证下的嘈杂敏感属性。然后，它以对抗性方式共同建模校正和清洁数据以进行歧义和预测。理论分析表明，当大多数敏感属性都是私有的时，提出的模型可以确保公平。现实世界数据集的实验结果证明了所提出的模型在隐私下做出公平预测并保持高精度的有效性。

随机平滑为对抗性扰动的认证鲁棒性取得了巨大的成功。考虑到任何任意分类器，随机平滑可以保证分类器对受扰动输入的预测，并通过将噪声注入分类器中可证明的鲁棒性。但是，所有现有方法都依赖于固定的I.I.D.概率分布以生成数据的所有维度（例如，图像中的所有像素）的噪声，该噪声忽略了输入和数据维度的异质性。因此，现有的随机平滑方法无法为所有输入提供最佳保护。为了解决这一限制，我们提出了第一个各向异性随机平滑方法，该方法可确保基于像素噪声分布的可证明的鲁棒性保证。此外，我们设计了一种新型的基于CNN的噪声发生器，以有效地对每个输入中所有像素的像素噪声分布进行有效调整。实验结果表明，我们的方法显着优于最先进的随机平滑方法。

我们研究机器学习分类器对对抗扰动的认证鲁棒性。特别是，我们提出了第一个普遍近似认证的鲁棒性（UNICR）框架，该框架可以近似于任何分类器上任何输入的鲁棒性认证，以与任何连续概率分布产生的噪声产生的任何$ \ ell_p $扰动。与最先进的认证防御措施相比，UNICR提供了许多重要的好处：（1）上述4'Any的第一个通用鲁棒性认证框架；（2）自动鲁棒性认证避免逐案分析，（3）认证鲁棒性的紧密度验证以及（4）随机平滑下使用的噪声分布的最佳验证。我们进行了广泛的实验，以验证UNICR的上述好处以及UNICR比最先进的认证防御能力对$ \ ell_p $扰动的优势。

将异常检测外包给第三方可以允许数据所有者克服资源限制（例如，在轻量级的IoT设备中），促进协作分析（例如，分布式或多方场景下的分布式或多方场景），并受益于较低的成本和专业知识（例如托管安全服务提供商）。尽管有这样的好处，但数据所有者可能会不愿外包异常检测而没有足够的隐私保护。为此，大多数现有的隐私解决方案将面临新的挑战，即保留隐私通常需要消除或减少数据条目之间的差异，而异常检测严重取决于该差异。最近，在本地分析设置下，通过将差异隐私（DP）保证的重点从“全部”到“良性”条目移动，这一冲突是在本地分析设置下解决的。在本文中，我们观察到这种方法不直接适用于外包设置，因为数据所有者在外包之前不知道哪些条目是“良性”的，因此无法选择地将DP应用于数据条目。因此，我们提出了一种新型的迭代解决方案，使数据所有者逐渐“脱离”良性条目的异常条目，以便第三方分析师可以通过足够的DP保证产生准确的异常结果。我们设计并实施了我们对异常检测（DPOAD）框架的差异私人外包，并通过从不同应用域中的真实数据进行实验，证明了其比基线拉普拉斯和无止痛机制的好处。

随着代表性学习成为一种在实践中降低增强学习（RL）样本复杂性（RL）的强大技术，对其优势的理论理解仍然是有限的。在本文中，我们从理论上表征了在低级马尔可夫决策过程（MDP）模型下表示学习的好处。我们首先研究多任务低级RL（作为上游培训），所有任务都共享一个共同的表示，并提出了一种称为加油的新型多任务奖励算法。加油站同时了解每个任务的过渡内核和近乎最佳的策略，并为下游任务输出良好的代表。我们的结果表明，只要任务总数高于一定的阈值，多任务表示学习比单独学习的样本效率要高。然后，我们研究在线和离线设置中的下游RL，在该设置中，代理商分配了一个新任务，共享与上游任务相同的表示形式。对于在线和离线设置，我们都会开发出样本效率高的算法，并表明它找到了一个近乎最佳的策略，其次要差距在上游中学习的估计误差和一个消失的术语作为数字作为数字的估计误差的范围。下游样品的大量变大。我们在线和离线RL的下游结果进一步捕获了从上游采用学习的表示形式的好处，而不是直接学习低级模型的表示。据我们所知，这是第一个理论研究，它表征了代表性学习在基于探索的无奖励多任务RL中对上游和下游任务的好处。

理解和预测代理的未来轨迹对于行为分析，机器人导航，自动驾驶汽车和其他相关应用至关重要。先前的方法主要将轨迹预测视为时间序列的产生。与它们不同的是，这项工作在“垂直”视图中研究了代理的轨迹，即来自光谱域的建模和预测轨迹。轨迹光谱中的不同频带可以分层反映不同尺度上的代理运动偏好。低频和高频部分可以分别代表其粗糙运动趋势和细胞运动变化。因此，我们提出了一个层次网络v $^2 $ -NET，其中包含两个子网络，以层次模型并预测具有轨迹谱的代理的轨迹。粗级关键点估计子网络首先预测了代理轨迹在几个“密钥”频率部分上的“最小”频谱。然后，高级频谱插值子网络插值将这些光谱重建最终预测。实验结果表明，在ETH-COY基准和Stanford Drone DataSet上，V $^2 $ -NET的竞争力和优势。