许多领域的研究表明，转移学习（TL）非常适合提高具有少量样品的数据集中深度学习（DL）模型的性能。这种经验成功引发了对具有功能神经影像数据的认知解码分析的应用的兴趣。这里，我们系统地评估了从全脑功能磁共振成像（FMRI）数据的认知状态（例如，观看面部或房屋图像）的解码的TL。我们首先在大型公共FMRI数据集中预先列出两个DL架构，随后在独立实验任务和完全独立的数据集中评估其性能。预先训练的模型始终如一地达到更高的解码精度，并且通常需要较少的训练时间和数据，而不是模型变形，这些模型变体没有预先接受培训，明确强调预制培训的好处。我们证明，这些益处是由于预先训练的模型在使用新数据培训时重用了许多学习功能的这些益处，从而深入了解导致预训练的好处的机制。然而，在解释预先训练模型的解码决策时，我们还通过DL模型对全脑认知解码进行了差别挑战，因为这些已经学会了在不可预见的情况下利用FMRI数据和识别单个认知状态的违反直觉方式。

类似于心血管和肌肉骨骼系统的熟练程度的差异如何预测个人的运动能力，同一大脑区域如何编码个人的差异可以解释他们的行为。然而，在研究大脑如何编码信息时，研究人员选择不同的神经影像任务（例如，语言或电机任务），其可以依赖于处理不同类型的信息并且可以调制不同的脑区。我们假设信息如何在大脑中编码信息的个人差异是特定于任务的，并预测不同的行为措施。我们提出了一种使用编码模型的框架，以识别大脑编码和测试中的单个差异，如果这些差异可以预测行为。我们使用任务功能磁共振成像数据评估我们的框架。我们的结果表明，编码模型显示的个体差异是预测行为的强大工具，并且研究人员应优化他们对其感兴趣行为的任务和编码模型的选择。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

过去几十年来看，越来越多地采用的非侵入性神经影像学技术越来越大的进步，以检查人脑发展。然而，这些改进并不一定是更复杂的数据分析措施，能够解释功能性大脑发育的机制。例如，从单变量（大脑中的单个区域）转变为多变量（大脑中的多个区域）分析范式具有重要意义，因为它允许调查不同脑区之间的相互作用。然而，尽管对发育大脑区域之间的相互作用进行了多变量分析，但应用了人工智能（AI）技术，使分析不可解释。本文的目的是了解电流最先进的AI技术可以通知功能性大脑发展的程度。此外，还审查了哪种AI技术基于由发育认知神经科学（DCN）框架所定义的大脑发展的过程来解释他们的学习。这项工作还提出说明可解释的AI（Xai）可以提供可行的方法来调查功能性大脑发育，如DCN框架的假设。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.

主要的神经影像学研究推动了1.0 mm以下的3T MRI采集分辨率，以改善结构定义和形态学。然而，只有很少的时间 - 密集的自动化图像分析管道已被验证为高分辨率（雇用）设置。另一方面，有效的深度学习方法很少支持多个固定分辨率（通常1.0 mm）。此外，缺乏标准的杂交数据分辨率以及具有足够覆盖的扫描仪，年龄，疾病或遗传方差的多样化数据的有限可用性会带来额外的，未解决的挑战培训网络。将分辨率独立于基于深度学习的分割，即在一系列不同的体素大小上以其本地分辨率进行分辨率的能力，承诺克服这些挑战，但目前没有这种方法。我们现在通过向决议独立的分割任务（VINN）引入VINOSEIZED独立的神经网络（VINN）来填补这个差距，并呈现FastSurfervinn，（i）建立并实施决议独立，以获得深度学习作为同时支持0.7-1.0 mm的第一种方法分割，（ii）显着优于跨决议的最先进方法，（iii）减轻雇用数据集中存在的数据不平衡问题。总体而言，内部分辨率 - 独立性相互益处雇用和1.0 mm MRI分割。通过我们严格验证的FastSurfervinn，我们将为不同的神经视线镜分析分发一个快速工具。此外，VINN架构表示更广泛应用的有效分辨率的分段方法

Neuroimaging-based prediction methods for intelligence and cognitive abilities have seen a rapid development in literature. Among different neuroimaging modalities, prediction based on functional connectivity (FC) has shown great promise. Most literature has focused on prediction using static FC, but there are limited investigations on the merits of such analysis compared to prediction based on dynamic FC or region level functional magnetic resonance imaging (fMRI) times series that encode temporal variability. To account for the temporal dynamics in fMRI data, we propose a deep neural network involving bi-directional long short-term memory (bi-LSTM) approach that also incorporates feature selection mechanism. The proposed pipeline is implemented via an efficient GPU computation framework and applied to predict intelligence scores based on region level fMRI time series as well as dynamic FC. We compare the prediction performance for different intelligence measures based on static FC, dynamic FC, and region level time series acquired from the Adolescent Brain Cognitive Development (ABCD) study involving close to 7000 individuals. Our detailed analysis illustrates that static FC consistently has inferior prediction performance compared to region level time series or dynamic FC for unimodal rest and task fMRI experiments, and in almost all cases using a combination of task and rest features. In addition, the proposed bi-LSTM pipeline based on region level time series identifies several shared and differential important brain regions across task and rest fMRI experiments that drive intelligence prediction. A test-retest analysis of the selected features shows strong reliability across cross-validation folds. Given the large sample size from ABCD study, our results provide strong evidence that superior prediction of intelligence can be achieved by accounting for temporal variations in fMRI.

人们容易概括到新型域和刺激的知识。我们提出了一种在计算模型中实例化的理论，基于跨域人类中的跨域泛化是对结构化（即，象征性）关系表示的模拟推断的情况。该模型是LISA和关系推论和学习的DORA模型的延伸。生成的模型在没有监控的情况下，从非关系输入中的关系和格式（即结构）（即，结构）既与强化学习的容量增强，利用这些表示来学习单个域，然后向新域推广首先通过模拟推理（即零拍摄学习）。我们展示了模型从各种简单的视觉刺激学习结构化关系表示的能力，并在视频游戏（突破和乒乓球）和几个心理任务之间进行跨域泛化。我们展示了模型的轨迹在学到关系时，旨在让孩子的轨迹镜头紧密地镜子，从文学中占据了儿童推理和类比制作的文献中的现象。该模型在域之间的概括能力展示了在其基础关系结构方面代表域的灵活性，而不是简单地就其投入和产出之间的统计关系而言。

关于人类阅读的研究长期以来一直记录在阅读行为表明特定于任务的效果，但是建立一个通用模型来预测人类在给定任务中将显示什么的通用模型。我们介绍了Neat，这是人类阅读中注意力分配的计算模型，基于人类阅读优化了一项任务中关注经济和成功之间的权衡。我们的模型是使用当代神经网络建模技术实施的，并对注意力分配的分配方式在不同任务中如何变化做出明确的测试预测。我们在一项针对阅读理解任务的两个版本的眼影研究中对此进行了测试，发现我们的模型成功说明了整个任务的阅读行为。因此，我们的工作提供了证据表明，任务效果可以建模为对任务需求的最佳适应。

可说明的人工智能（XAI）的目前的模型显示出在提出统计上纠缠特征时，可以显而易见和量化缺乏可靠性，当提出统计上纠缠的特征时，为训练深层分类器。深度学习在临床试验中的应用增加了预测神经发育障碍的早期诊断，如自闭症谱系障碍（ASD）。然而，包含更可靠的显着图，以获得使用神经活动特征的更可靠和可解释的度量，对于诊断或临床试验中的实际应用仍然不充分。此外，在ASD研究中，包含使用神经措施来预测观察面部情绪的深层分类器相对未探索。因此，在本研究中，我们提出了对脑电图（EEG）的卷积神经网络（CNN）的评估，用于基于新颖的删除（咆哮）方法，以恢复分类器中使用的高度相关特征。具体而言，我们比较众所周知的相关性图，例如层性相关性传播（LRP），图案网络，图案归因和平滑级平方。本研究是第一个在通常开发的和ASD个体中使用内部训练的CNN内训练的基于EEG的面部情感识别来实现更透明的特征相关计算。

Over the years, Machine Learning models have been successfully employed on neuroimaging data for accurately predicting brain age. Deviations from the healthy brain aging pattern are associated to the accelerated brain aging and brain abnormalities. Hence, efficient and accurate diagnosis techniques are required for eliciting accurate brain age estimations. Several contributions have been reported in the past for this purpose, resorting to different data-driven modeling methods. Recently, deep neural networks (also referred to as deep learning) have become prevalent in manifold neuroimaging studies, including brain age estimation. In this review, we offer a comprehensive analysis of the literature related to the adoption of deep learning for brain age estimation with neuroimaging data. We detail and analyze different deep learning architectures used for this application, pausing at research works published to date quantitatively exploring their application. We also examine different brain age estimation frameworks, comparatively exposing their advantages and weaknesses. Finally, the review concludes with an outlook towards future directions that should be followed by prospective studies. The ultimate goal of this paper is to establish a common and informed reference for newcomers and experienced researchers willing to approach brain age estimation by using deep learning models

科学家经常使用观察时间序列数据来研究从气候变化到民间冲突再到大脑活动的复杂自然过程。但是对这些数据的回归分析通常假定简单的动态。深度学习的最新进展使从语音理解到核物理学再到竞争性游戏的复杂过程模型的表现实现了令人震惊的改进。但是深度学习通常不用于科学分析。在这里，我们通过证明可以使用深度学习，不仅可以模仿，而且可以分析复杂的过程，在保留可解释性的同时提供灵活的功能近似。我们的方法 - 连续时间反向逆转回归神经网络（CDRNN） - 放宽标准简化的假设（例如，线性，平稳性和同质性）对于许多自然系统来说是不可信的，并且可能会严重影响数据的解释。我们评估CDRNNS对人类语言处理，这是一个具有复杂连续动态的领域。我们证明了行为和神经影像数据中预测可能性的显着改善，我们表明CDRNN可以在探索性分析中灵活发现新型模式，在确认分析中对可能的混杂性提供强有力的控制，并打开否则就可以使用这些问题来进行研究，这些问题否则就可以使用这些问题来进行研究，而这些问题否则就可以使用这些问题进行研究，而这些问题否则就可以使用这些问题进行研究。观察数据。

Mapping the connectome of the human brain using structural or functional connectivity has become one of the most pervasive paradigms for neuroimaging analysis. Recently, Graph Neural Networks (GNNs) motivated from geometric deep learning have attracted broad interest due to their established power for modeling complex networked data. Despite their superior performance in many fields, there has not yet been a systematic study of how to design effective GNNs for brain network analysis. To bridge this gap, we present BrainGB, a benchmark for brain network analysis with GNNs. BrainGB standardizes the process by (1) summarizing brain network construction pipelines for both functional and structural neuroimaging modalities and (2) modularizing the implementation of GNN designs. We conduct extensive experiments on datasets across cohorts and modalities and recommend a set of general recipes for effective GNN designs on brain networks. To support open and reproducible research on GNN-based brain network analysis, we host the BrainGB website at https://braingb.us with models, tutorials, examples, as well as an out-of-box Python package. We hope that this work will provide useful empirical evidence and offer insights for future research in this novel and promising direction.

脑电图（EEG）解码旨在识别基于非侵入性测量的脑活动的神经处理的感知，语义和认知含量。当应用于在静态，受控的实验室环境中获取的数据时，传统的EEG解码方法取得了适度的成功。然而，开放世界的环境是一个更现实的环境，在影响EEG录音的情况下，可以意外地出现，显着削弱了现有方法的鲁棒性。近年来，由于其在特征提取的卓越容量，深入学习（DL）被出现为潜在的解决方案。它克服了使用浅架构提取的“手工制作”功能或功能的限制，但通常需要大量的昂贵，专业标记的数据 - 并不总是可获得的。结合具有域特定知识的DL可能允许开发即使具有小样本数据，也可以开发用于解码大脑活动的鲁棒方法。虽然已经提出了各种DL方法来解决EEG解码中的一些挑战，但目前缺乏系统的教程概述，特别是对于开放世界应用程序。因此，本文为开放世界EEG解码提供了对DL方法的全面调查，并确定了有前途的研究方向，以激发现实世界应用中的脑电图解码的未来研究。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

如何相关的是神经语言模型，翻译模型和语言标记任务所学到的表示？我们通过调整计算机愿景的编码器 - 解码器传输学习方法来回回答这个问题，以研究从在培训的语言任务上训练的各种网络的隐藏表示中提取的100个不同的特征空间中的结构。该方法揭示了一种低维结构，其中语言模型和翻译模型在Word Embeddings，语法和语义任务中平滑地插入，以及未来的Word Embeddings。我们称之为这种低维结构的语言表示嵌入，因为它会对处理语言进行各种NLP任务所需的表示之间的关系。我们发现，这种代表性嵌入可以预测每个具有FMRI记录的自然语言刺激的人脑响应的每个特征空间映射如何。此外，我们发现这种结构的主要维度可用于创建一个突出大脑的自然语言处理层次结构的度量。这表明嵌入捕获了大脑的自然语言表示结构的某些部分。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

生物视觉系统的神经基础在实验上研究很具有挑战性，特别是因为相对于视觉输入，神经元活性变得越来越非线性。人工神经网络（ANN）可以为改善我们对这一复杂系统的理解提供各种目标，不仅充当硅中新假设产生的感觉皮层的预测数字双胞胎，而且还融合了生物启发的建筑主题，以逐步桥接桥梁生物和机器视觉之间的差距。该鼠标最近已成为研究视觉信息处理的流行模型系统，但是尚未确定识别鼠标视觉系统最新模型的标准化大规模基准。为了填补这一空白，我们提出了感官基准竞赛。我们从小鼠初级视觉皮层中收集了一个大规模数据集，其中包含七个小鼠的28,000多个神经元的反应，并通过数千个自然图像刺激，以及同时的行为测量，包括跑步速度，瞳孔扩张和眼动。基准挑战将基于固定测试集​​中神经元响应的预测性能对模型进行对模型，其中包括两个模型输入的轨道，仅限于刺激（感觉到）或刺激加行为（感觉符号+）。我们提供一个起始套件，以降低进入障碍的障碍，包括教程，预训练的基线模型以及带有一条线命令以进行数据加载和提交的API。我们希望将其视为定期挑战和数据发布的起点，也是衡量鼠标视觉系统及其他大规模神经系统识别模型中进度的标准工具。

精神分裂症是一种慢性神经精神疾病，会引起大脑内部的不同结构改变。我们假设将深度学习应用于结构性神经影像学数据集可以检测到与疾病相关的改变，并提高分类和诊断准确性。我们使用单一可用的，常规的T1加权MRI扫描测试了这一假设，我们使用标准后处理方法从中提取了3D全脑结构。然后在三个开放数据集上开发，优化和评估了一个深度学习模型，并对精神分裂症患者进行T1加权MRI扫描。我们提出的模型优于基准模型，该模型还使用3D CNN体系结构对结构MR图像进行了训练。我们的模型几乎能够完美地（ROC曲线下的区域= 0.987），将精神分裂症患者与看不见的结构MRI扫描中的健康对照区分开。区域分析将皮质下区域和心室局部作为最预测的大脑区域。皮层结构在人类的认知，情感和社会功能中起关键作用，这些区域的结构异常与精神分裂症有关。我们的发现证实了精神分裂症与皮质下大脑结构的广泛改变有关，皮层结构信息在诊断分类中提供了突出的特征。总之，这些结果进一步证明了深度学习的潜力，以改善精神分裂症的诊断，并从单个标准的T1加权脑MRI中确定其结构性神经影像学特征。