大规模的声音识别数据集通常由从多媒体库中获得的声学记录组成。结果，通常可以利用音频以外的方式来改善为关联任务设计的模型的输出。但是，通常并非所有内容都适用于此类集合的所有样本：例如，原始材料可能在某个时候从源平台中删除，因此，不再获得非审计功能。我们证明，可以通过将此方法应用于基于注意力的深度学习系统来解决此问题来处理此问题，该系统目前是声音识别领域中最新的一部分。更具体地说，我们表明，可以成功地利用提出的模型扩展名将部分可用的视觉信息纳入此类网络的操作过程中，这些信息通常仅在训练和推理过程中使用听觉功能。在实验上，我们验证了所考虑的方法是否会导致许多与音频标记和声音事件检测有关的评估方案的预测。此外，我们仔细检查了所提出的技术的某些属性和局限性。

脑电图（EEG）是一种了解大脑如何处理语音的有力方法。为此目的，已通过深层神经网络替换了线性模型，并产生令人鼓舞的结果。在相关的脑电图分类字段中，表明明确建模主题不变特征可改善模型跨主题和福利分类精度的概括。在这项工作中，我们适应分解的分层变分自动编码器来利用同一刺激的平行脑电图记录。我们将脑电图模拟为两个分离的潜在空间。受试者的准确性分别在受试者和内容潜在空间上分别达到98.96％和1.60％，而二进制内容分类实验的精度分别达到了51.51％和62.91％的准确性，对受试者和内容潜在空间的准确性分别为51.51％和62.91％。

端到端的口语理解（SLU）系统受益于大型语料库的预处理，然后对特定于应用程序的数据进行微调。最终的模型太大了，无法使用边缘应用。例如，基于BERT的系统包含超过1.1亿参数。观察模型过度参数化，我们提出了瘦变压器结构，其中使用组稀疏性自动降低了注意机制的维度。我们提出了一种变体，其中学习的注意子空间被转移到注意力瓶颈层。在低资源环境中，没有预先培训的情况下，由此产生的紧凑型SLU模型可与预训练的大型模型竞争精度。

将自动语音识别（ASR）模型适应新域导致原始域上的性能恶化，这是一种被称为灾难性忘记（CF）的现象。即使是单声道的ASR模型也不能扩展到新的口音，方言，主题等而不遭受CF，使得它们无法不断增强，而无需存储所有过去的数据。幸运的是，可以使用持续的学习（CL）方法，其旨在在克服CF的同时实现连续适应。在本文中，我们为端到端ASR实现了广泛的CL方法，并测试了它们在四个新任务中扩展单格式混合CTC变压器模型的能力。我们发现最好的CL方法关闭微调模型（下限）和在所有任务（上限）上培训的模型之间的差距超过40％，同时只需要访问原始数据的0.6％。

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

To apply federated learning to drug discovery we developed a novel platform in the context of European Innovative Medicines Initiative (IMI) project MELLODDY (grant n{\deg}831472), which was comprised of 10 pharmaceutical companies, academic research labs, large industrial companies and startups. The MELLODDY platform was the first industry-scale platform to enable the creation of a global federated model for drug discovery without sharing the confidential data sets of the individual partners. The federated model was trained on the platform by aggregating the gradients of all contributing partners in a cryptographic, secure way following each training iteration. The platform was deployed on an Amazon Web Services (AWS) multi-account architecture running Kubernetes clusters in private subnets. Organisationally, the roles of the different partners were codified as different rights and permissions on the platform and administrated in a decentralized way. The MELLODDY platform generated new scientific discoveries which are described in a companion paper.

脑小血管疾病的成像标记提供了有关脑部健康的宝贵信息，但是它们的手动评估既耗时又受到实质性内部和间际变异性的阻碍。自动化评级可能受益于生物医学研究以及临床评估，但是现有算法的诊断可靠性尚不清楚。在这里，我们介绍了\ textIt {血管病变检测和分割}（\ textit {v textit {where valdo？}）挑战，该挑战是在国际医学图像计算和计算机辅助干预措施（MICCAI）的卫星事件中运行的挑战（MICCAI） 2021.这一挑战旨在促进大脑小血管疾病的小而稀疏成像标记的自动检测和分割方法的开发，即周围空间扩大（EPVS）（任务1），脑微粒（任务2）和预先塑造的鞋类血管起源（任务3），同时利用弱和嘈杂的标签。总体而言，有12个团队参与了针对一个或多个任务的解决方案的挑战（任务1 -EPVS 4，任务2 -Microbleeds的9个，任务3 -lacunes的6个）。多方数据都用于培训和评估。结果表明，整个团队和跨任务的性能都有很大的差异，对于任务1- EPV和任务2-微型微型且对任务3 -lacunes尚无实际的结果，其结果尤其有望。它还强调了可能阻止个人级别使用的情况的性能不一致，同时仍证明在人群层面上有用。

颅内动脉瘤（UIA）的生长是破裂的预测指标。因此，为了进一步的成像监视和治疗计划，重要的是能够预测UIA是否会根据初始基线飞行时间MRA（TOF-MRA）增长。众所周知，UIA的大小和形状是动脉瘤生长和/或破裂的预测指标。我们对使用网状卷积神经网络进行基线TOF-MRA的未来UIA增长预测进行了可行性研究。我们包括151个TOF-MRA，其中169个UIA基于生长的临床定义，其中49个UIA被归类为生长，而120个UIA被归类为稳定（随访扫描中的大小> 1 mm）。从TOF-MRAS分割了UIA，并自动生成网格。我们研究了仅UIA网格的输入和包括UIA和周围母体血管在内的利益区域（ROI）网格。我们开发了一个分类模型来预测将增长或保持稳定的UIA。该模型由一个网状卷积神经网络组成，其中包括描述表面拓扑的形状指数和曲面的其他新型输入边缘特征。研究了输入边缘中点坐标是否影响模型性能。具有最高AUC（63.8％）的模型用于生长预测，使用了具有输入边缘中点坐标特征的UIA网格（平均F1得分= 62.3％，准确度= 66.9％，灵敏度= 57.3％，特异性= 70.8％）。我们提出了一个基于网状卷积神经网络的未来UIA增长预测模型，其结果有希望。

我们介绍了强大的子组发现的问题，即，找到一个关于一个或多个目标属性的脱颖而出的子集的一组可解释的描述，2）是统计上的鲁棒，并且3）非冗余。许多尝试已经挖掘了局部强壮的子组或解决模式爆炸，但我们是第一个从全球建模角度同时解决这两个挑战的爆炸。首先，我们制定广泛的模型类别的子组列表，即订购的子组，可以组成的单次组和多变量目标，该目标可以由标称或数字变量组成，并且包括其定义中的传统Top-1子组发现。这种新颖的模型类允许我们使用最小描述长度（MDL）原理来形式地形化最佳强大的子组发现，在那里我们分别为标称和数字目标的最佳归一化最大可能性和贝叶斯编码而度假。其次，正如查找最佳子组列表都是NP-Hard，我们提出了SSD ++，一个贪婪的启发式，找到了很好的子组列表，并保证了根据MDL标准的最重要的子组在每次迭代中添加，这被显示为等同于贝叶斯一个样本比例，多项式或子组之间的多项式或T检验，以及数据集边际目标分布以及多假设检测罚款。我们经验上显示了54个数据集，即SSD ++优于先前的子组设置发现方法和子组列表大小。