深度学习对医学成像产生了极大的兴趣，特别是在使用卷积神经网络（CNN）来开发自动诊断工具方面。其非侵入性获取的设施使视网膜底面成像适合这种自动化方法。使用CNN分析底面图像的最新工作依靠访问大量数据进行培训和验证 - 成千上万的图像。但是，数据驻留和数据隐私限制阻碍了这种方法在患者机密性是任务的医疗环境中的适用性。在这里，我们展示了小型数据集上DL的性能的结果，以从眼睛图像中对患者性别进行分类 - 直到最近，底眼前图像中才出现或可量化的特征。我们微调了一个RESNET-152模型，其最后一层已修改以进行二进制分类。在几个实验中，我们使用一个私人（DOV）和一个公共（ODIR）数据源评估在小数据集上下文中的性能。我们的模型使用大约2500张底面图像开发，实现了高达0.72的AUC评分（95％CI：[0.67，0.77]）。尽管与文献中的先前工作相比，数据集大小降低了近1000倍，但这仅仅是降低25％的性能。即使从视网膜图像中进行性别分类等艰巨的任务，我们也会发现使用非常小的数据集可以进行分类。此外，我们在DOV和ODIR之间进行了域适应实验。探索数据策展对培训和概括性的影响；并调查模型结合在小型开发数据集中最大化CNN分类器性能。

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

目的：确定逼真，但是电磁图的计算上有效模型可用于预先列车，具有广泛的形态和特定于给定条件的形态和异常 - T波段（TWA）由于创伤后应激障碍，或重点 - 在稀有人的小型数据库上显着提高了性能。方法：使用先前经过验证的人工ECG模型，我们生成了180,000人的人工ECG，有或没有重要的TWA，具有不同的心率，呼吸率，TWA幅度和ECG形态。在70,000名患者中培训的DNN进行分类为25种不同的节奏，将输出层修改为二进制类（TWA或NO-TWA，或等效，PTSD或NO-PTSD），并对人工ECG进行转移学习。在最终转移学习步骤中，DNN在ECG的培训和交叉验证，从12个PTE和24个控件，用于使用三个数据库的所有组合。主要结果：通过进行转移学习步骤，使用预先培训的心律失常DNN，人工数据和真实的PTSD相关的心电图数据，发现了最佳性能的方法（AUROC = 0.77，精度= 0.72，F1-SCATE = 0.64） 。从训练中删除人工数据导致性能的最大下降。从培训中取出心律失常数据提供了适度但重要的，表现下降。最终模型在人工数据上显示出在性能下没有显着下降，表明没有过度拟合。意义：在医疗保健中，通常只有一小部分高质量数据和标签，或更大的数据库，质量较低（和较差的相关）标签。这里呈现的范式，涉及基于模型的性能提升，通过在大型现实人工数据库和部分相关的真实数据库上传输学习来提供解决方案。

最近显示外部眼睛照片显示出糖尿病性视网膜疾病和HBA1C升高的迹象。在本文中，我们评估外部眼睛照片是否包含有关其他系统性医疗状况的信息。我们开发了一个深度学习系统（DLS），该系统将外部眼睛的照片作为输入，并预测多个全身参数，例如与肝脏有关的参数（白蛋白，AST）；肾脏（EGFR使用无种族的2021 CKD-EPI肌酐方程，尿液ACR）；骨与矿物质（钙）;甲状腺（TSH）;和血数（HGB，WBC，血小板）。开发利用了49,015例糖尿病患者的151,237张图像，在加利福尼亚州洛杉矶县的11个地点接受糖尿病眼镜筛查。评估重点是9个预先指定的全身参数，并利用了3个验证集（a，b，c），涵盖了28,869名患有和没有糖尿病的患者，在加利福尼亚州洛杉矶县和大亚特兰大地区的3个独立地点进行了眼睛筛查。我们将结合了可用临床人口统计学变量的基线模型（例如年龄，性别，种族/种族，糖尿病年）进行了比较。相对于基线，DLS在检测AST> 36，钙<8.6，egfr <60，HGB <11，血小板<150，ACR> = 300和WBC <4时，在检测AST> 36，钙<8.6，Egfr <60，HGB <60，HGB <60，calcium <8.6，Egfr <60，calcium <8.6和wbc <4时，达到了统计学上的显着性能，并且类似于开发集的人口），其中DLS的AUC超过基线的AUC，增长了5.2-19.4％。在验证集B和C方面，与开发集相比，患者人群的差异很大，DLS的表现优于ACR> = 300的基线，而HGB <11升至7.3-13.2％。我们的发现提供了进一步的证据，表明外部眼睛照片包含跨越多器官系统的全身健康生物标志物。需要进一步的工作来研究这些生物标志物是否以及如何转化为临床影响。

已经重新强调，使用AI用于临床决策可以放大健康差异。机器学习模型可以拾取患者的种族特性和临床结果之间的不希望的相关性。这种相关性通常存在于用于模型开发的（历史）数据中。疾病检测模型中报告偏差有所增加。除了来自所营业的人群的数据的稀缺之外，还讨论了如何编码这些偏差以及如何减少甚至去除不同性能的少数人。担心算法可以识别患者特征，例如生物学性别或种族身份，然后在进行预测时直接或间接地使用这些信息。但它仍然尚不清楚我们如何建立这些信息是否实际使用。本文旨在通过探索这些问题，探索这些问题，探讨了对机器学习模型的内部工作进行了直观的基于图像的疾病的疾病的方法。我们还调查如何解决性能差异并找到自动阈值选择，以实现有效且有问题的技术，导致模型具有跨子组的具有可比真实和误频率的模型。我们的调查结果要求进一步研究，以更好地了解性能差异的根本原因。

Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.

AASM准则是为了有一种常用的方法，旨在标准化睡眠评分程序的数十年努力的结果。该指南涵盖了从技术/数字规格（例如，推荐的EEG推导）到相应的详细睡眠评分规则到年龄的几个方面。在睡眠评分自动化的背景下，与许多其他技术相比，深度学习表现出更好的性能。通常，临床专业知识和官方准则对于支持自动睡眠评分算法在解决任务时至关重要。在本文中，我们表明，基于深度学习的睡眠评分算法可能不需要充分利用临床知识或严格遵循AASM准则。具体而言，我们证明了U-Sleep是一种最先进的睡眠评分算法，即使使用临床非申请或非规定派生，也可以解决得分任务，即使无需利用有关有关的信息，也无需利用有关有关的信息。受试者的年代年龄。我们最终加强了一个众所周知的发现，即使用来自多个数据中心的数据始终导致与单个队列上的培训相比，可以使性能更好。确实，我们表明，即使增加了单个数据队列的大小和异质性，后者仍然有效。在我们的所有实验中，我们使用了来自13个不同临床研究的28528多个多摄影研究研究。

射频干扰（RFI）缓解仍然是寻找无线电技术的主要挑战。典型的缓解策略包括原点方向（DOO）滤波器，如果在天空上的多个方向上检测到信号，则将信号分类为RFI。这些分类通常依赖于信号属性的估计，例如频率和频率漂移速率。卷积神经网络（CNNS）提供了对现有过滤器的有希望的补充，因为它们可以接受培训以直接分析动态光谱，而不是依赖于推断的信号属性。在这项工作中，我们编译了由标记的动态谱的图像组组成的几个数据集，并且我们设计和训练了可以确定在另一扫描中检测到的信号是否在另一扫描中检测到的CNN。基于CNN的DOO滤波器优于基线2D相关模型以及现有的DOO过滤器在一系列指标范围内，分别具有99.15％和97.81％的精度和召回值。我们发现CNN在标称情况下将传统的DOO过滤器施加6-16倍，减少了需要目视检查的信号数。

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

员额推理攻击允许对训练的机器学习模型进行对手以预测模型的训练数据集中包含特定示例。目前使用平均案例的“精度”度量来评估这些攻击，该攻击未能表征攻击是否可以自信地识别培训集的任何成员。我们认为，应该通过计算其低（例如<0.1％）假阳性率来计算攻击来评估攻击，并在以这种方式评估时发现大多数事先攻击差。为了解决这一问题，我们开发了一个仔细结合文献中多种想法的似然比攻击（Lira）。我们的攻击是低于虚假阳性率的10倍，并且在攻击现有度量的情况下也严格占主导地位。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

早期发现视网膜疾病是预防患者部分或永久失明的最重要手段之一。在这项研究中，提出了一种新型的多标签分类系统，用于使用从各种来源收集的眼底图像来检测多种视网膜疾病。首先，使用许多公开可用的数据集来构建一个新的多标签视网膜疾病数据集，即梅里德数据集。接下来，应用了一系列后处理步骤，以确保图像数据的质量和数据集中存在的疾病范围。在眼底多标签疾病分类中，首次通过大量实验优化的基于变压器的模型用于图像分析和决策。进行了许多实验以优化所提出的系统的配置。结果表明，在疾病检测和疾病分类方面，该方法的性能比在同一任务上的最先进作品要好7.9％和8.1％。获得的结果进一步支持了基于变压器的架构在医学成像领域的潜在应用。

这项研究的目的是开发一个强大的基于深度学习的框架，以区分Covid-19，社区获得的肺炎（CAP）和基于使用各种方案和放射剂量在不同成像中心获得的胸部CT扫描的正常病例和正常情况。我们表明，虽然我们的建议模型是在使用特定扫描协议仅从一个成像中心获取的相对较小的数据集上训练的，但该模型在使用不同技术参数的多个扫描仪获得的异质测试集上表现良好。我们还表明，可以通过无监督的方法来更新模型，以应对火车和测试集之间的数据移动，并在从其他中心接收新的外部数据集时增强模型的鲁棒性。我们采用了合奏体系结构来汇总该模型的多个版本的预测。为了初始培训和开发目的，使用了171 Covid-19、60 CAP和76个正常情况的内部数据集，其中包含使用恒定的标准辐射剂量扫描方案从一个成像中心获得的体积CT扫描。为了评估模型，我们回顾了四个不同的测试集，以研究数据特征对模型性能的转移的影响。在测试用例中，有与火车组相似的CT扫描，以及嘈杂的低剂量和超低剂量CT扫描。此外，从患有心血管疾病或手术病史的患者中获得了一些测试CT扫描。这项研究中使用的整个测试数据集包含51 covid-19、28 CAP和51例正常情况。实验结果表明，我们提出的框架在所有测试集上的表现良好，达到96.15％的总准确度（95％CI：[91.25-98.74]），COVID-119，COVID-96.08％（95％CI：[86.54-99.5]，95％），[86.54-99.5]，），，），敏感性。帽敏感性为92.86％（95％CI：[76.50-99.19]）。

卷积神经网络在皮肤病变图像分类中表现出皮肤科医生水平的表现，但是由于训练数据中看到的偏见而引起的预测不规则性是在可能在广泛部署之前解决的问题。在这项工作中，我们使用两种领先的偏见未学习技术从自动化的黑色素瘤分类管道中稳健地消除了偏见和虚假变化。我们表明，可以使用这些偏置去除方法合理地减轻先前研究中介绍的手术标记和统治者引入的偏见。我们还证明了与用于捕获病变图像的成像仪器有关的杂化变异的概括优势。我们的实验结果提供了证据，表明上述偏见的影响大大降低了，不同的偏见技术在不同的任务方面具有出色的作用。

通过卫星摄像机获取关于地球表面的大面积的信息使我们能够看到远远超过我们在地面上看到的更多。这有助于我们在检测和监测土地使用模式，大气条件，森林覆盖和许多非上市方面的地区的物理特征。所获得的图像不仅跟踪连续的自然现象，而且对解决严重森林砍伐的全球挑战也至关重要。其中亚马逊盆地每年占最大份额。适当的数据分析将有助于利用可持续健康的氛围来限制对生态系统和生物多样性的不利影响。本报告旨在通过不同的机器学习和优越的深度学习模型用大气和各种陆地覆盖或土地使用亚马逊雨林的卫星图像芯片。评估是基于F2度量完成的，而用于损耗函数，我们都有S形跨熵以及Softmax交叉熵。在使用预先训练的ImageNet架构中仅提取功能之后，图像被间接馈送到机器学习分类器。鉴于深度学习模型，通过传输学习使用微调Imagenet预训练模型的集合。到目前为止，我们的最佳分数与F2度量为0.927。

In this study, we systematically investigate the impact of class imbalance on classification performance of convolutional neural networks (CNNs) and compare frequently used methods to address the issue. Class imbalance is a common problem that has been comprehensively studied in classical machine learning, yet very limited systematic research is available in the context of deep learning. In our study, we use three benchmark datasets of increasing complexity, MNIST, CIFAR-10 and ImageNet, to investigate the effects of imbalance on classification and perform an extensive comparison of several methods to address the issue: oversampling, undersampling, two-phase training, and thresholding that compensates for prior class probabilities. Our main evaluation metric is area under the receiver operating characteristic curve (ROC AUC) adjusted to multi-class tasks since overall accuracy metric is associated with notable difficulties in the context of imbalanced data. Based on results from our experiments we conclude that (i) the effect of class imbalance on classification performance is detrimental; (ii) the method of addressing class imbalance that emerged as dominant in almost all analyzed scenarios was oversampling; (iii) oversampling should be applied to the level that completely eliminates the imbalance, whereas the optimal undersampling ratio depends on the extent of imbalance; (iv) as opposed to some classical machine learning models, oversampling does not cause overfitting of CNNs; (v) thresholding should be applied to compensate for prior class probabilities when overall number of properly classified cases is of interest.

基于签名的技术使数学洞察力洞悉不断发展的数据的复杂流之间的相互作用。这些见解可以自然地转化为理解流数据的数值方法，也许是由于它们的数学精度，已被证明在数据不规则而不是固定的情况下分析流的数据以及数据和数据的尺寸很有用样本量均为中等。了解流的多模式数据是指数的：$ d $ d $的字母中的$ n $字母中的一个单词可以是$ d^n $消息之一。签名消除了通过采样不规则性引起的指数级噪声，但仍然存在指数量的信息。这项调查旨在留在可以直接管理指数缩放的域中。在许多问题中，可伸缩性问题是一个重要的挑战，但需要另一篇调查文章和进一步的想法。这项调查描述了一系列环境集足够小以消除大规模机器学习的可能性，并且可以有效地使用一小部分免费上下文和原则性功能。工具的数学性质可以使他们对非数学家的使用恐吓。本文中介绍的示例旨在弥合此通信差距，并提供从机器学习环境中绘制的可进行的工作示例。笔记本可以在线提供这些示例中的一些。这项调查是基于伊利亚·雪佛兰（Ilya Chevryev）和安德烈·科米利津（Andrey Kormilitzin）的早期论文，它们在这种机械开发的较早时刻大致相似。本文说明了签名提供的理论见解是如何在对应用程序数据的分析中简单地实现的，这种方式在很大程度上对数据类型不可知。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

基于自我监督的基于学习的预科可以使用小标签的数据集开发可靠和广义的深度学习模型，从而减轻了标签生成的负担。本文旨在评估基于CL的预处理对可转介的性能与非转介糖尿病性视网膜病（DR）分类的影响。我们已经开发了一个基于CL的框架，具有神经风格转移（NST）增强，以生成具有更好表示和初始化的模型，以检测颜色底面图像中的DR。我们将CL预估计的模型性能与用成像网权重预测的两个最先进的基线模型进行了比较。我们通过减少标记的训练数据（降至10％）进一步研究模型性能，以测试使用小标签数据集训练模型的鲁棒性。该模型在EYEPACS数据集上进行了培训和验证，并根据芝加哥伊利诺伊大学（UIC）的临床数据进行了独立测试。与基线模型相比，我们的CL预处理的基础网模型具有更高的AUC（CI）值（0.91（0.898至0.930），在UIC数据上为0.80（0.783至0.820）和0.83（0.783至0.820）（0.801至0.853）。在10％标记的培训数据时，在UIC数据集上测试时，基线模型中的FoldusNet AUC为0.81（0.78至0.84），比0.58（0.56至0.64）和0.63（0.56至0.64）和0.63（0.60至0.66）。基于CL的NST预处理可显着提高DL分类性能，帮助模型良好（可从Eyepacs转移到UIC数据），并允许使用小的带注释的数据集进行培训，从而减少临床医生的地面真相注释负担。

这项工作引入了图像分类器的注意机制和相应的深神经网络（DNN）结构，称为ISNET。在训练过程中，ISNET使用分割目标来学习如何找到图像感兴趣的区域并将注意力集中在其上。该提案基于一个新颖的概念，即在说明热图中的背景相关性最小化。它几乎可以应用于任何分类神经网络体系结构，而在运行时没有任何额外的计算成本。能够忽略背景的单个DNN可以替换分段者的通用管道，然后是分类器，更快，更轻。我们测试了ISNET的三种应用：Covid-19和胸部X射线中的结核病检测以及面部属性估计。前两个任务采用了混合培训数据库，并培养了快捷方式学习。通过关注肺部并忽略背景中的偏见来源，ISNET减少了问题。因此，它改善了生物医学分类问题中外部（分布外）测试数据集的概括，超越了标准分类器，多任务DNN（执行分类和细分），注意力门控神经网络以及标准段 - 分类管道。面部属性估计表明，ISNET可以精确地集中在面孔上，也适用于自然图像。 ISNET提出了一种准确，快速和轻的方法，可忽略背景并改善各种领域的概括。