Making histopathology image classifiers robust to a wide range of real-world variability is a challenging task. Here, we describe a candidate deep learning solution for the Mitosis Domain Generalization Challenge 2022 (MIDOG) to address the problem of generalization for mitosis detection in images of hematoxylin-eosin-stained histology slides under high variability (scanner, tissue type and species variability). Our approach consists in training a rotation-invariant deep learning model using aggressive data augmentation with a training set enriched with hard negative examples and automatically selected negative examples from the unlabeled part of the challenge dataset. To optimize the performance of our models, we investigated a hard negative mining regime search procedure that lead us to train our best model using a subset of image patches representing 19.6% of our training partition of the challenge dataset. Our candidate model ensemble achieved a F1-score of .697 on the final test set after automated evaluation on the challenge platform, achieving the third best overall score in the MIDOG 2022 Challenge.

This work tackles the problem of semi-supervised learning of image classifiers. Our main insight is that the field of semi-supervised learning can benefit from the quickly advancing field of self-supervised visual representation learning. Unifying these two approaches, we propose the framework of self-supervised semi-supervised learning (S 4 L) and use it to derive two novel semi-supervised image classification methods. We demonstrate the effectiveness of these methods in comparison to both carefully tuned baselines, and existing semi-supervised learning methods. We then show that S 4 L and existing semi-supervised methods can be jointly trained, yielding a new state-of-the-art result on semi-supervised ILSVRC-2012 with 10% of labels.

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

评估有丝分裂计数具有已知的高度内和帧间间变异性。已证明计算机辅助系统可降低这种可变性并减少标记时间。然而，这些系统通常高度依赖于其培训领域，并表现出对看不见的域的适用性差。在组织病理学中，这些域移位可以由各种来源产生，包括用于数字化组织学样本的不同滑动扫描系统。有丝分裂域泛化挑战的挑战集中在这种特定领域转变对有丝分裂形象检测的任务。这项工作提出了一种主要的有丝分裂形象检测算法作为挑战的基线，基于域对抗训练。在挑战的测试集上，该算法将F $ _1 $得分为0.7183。相应的网络权重和用于实现网络的代码是公开可用的。

学习无标记数据的判别性表示是一项具有挑战性的任务。对比性的自我监督学习提供了一个框架，可以使用简单的借口任务中的相似性措施来学习有意义的表示。在这项工作中，我们为使用图像贴片上的对比度学习而无需使用明确的借口任务或任何进一步标记的微调来提出一个简单有效的框架，用于使用对比度学习进行自我监督的图像分割。完全卷积的神经网络（FCNN）以自我监督的方式进行训练，以辨别输入图像中的特征并获得置信图，从而捕获网络对同一类的对象的信念。根据对比度学习的置信图中的平均熵对正 - 和负斑进行采样。当正面斑块之间的信息分离很小时，假定会收敛，而正阴对对很大。我们评估了从多个组织病理学数据集分割核的任务，并通过相关的自我监督和监督方法显示出可比的性能。所提出的模型仅由一个具有10.8K参数的简单FCNN组成，需要大约5分钟才能收敛于高分辨率显微镜数据集，该数据集比相关的自我监督方法小的数量级以获得相似的性能。

从不同扫描仪/部位的有丝分裂数字的检测仍然是研究的重要主题，这是由于其潜力协助临床医生进行肿瘤分级。有丝分裂结构域的概括（MIDOG）2022挑战旨在测试从多种扫描仪和该任务的多种扫描仪和组织类型中看不见数据的检测模型的鲁棒性。我们提供了TIA中心团队采用的方法来应对这一挑战的简短摘要。我们的方法基于混合检测模型，在该模型中，在该模型中进行了有丝分裂候选者，然后被深度学习分类器精炼。在训练图像上的交叉验证在初步测试集上达到了0.816和0.784的F1得分，这证明了我们模型可以从新扫描仪中看不见的数据的普遍性。

乳腺癌是女性最常见的恶性肿瘤，每年负责超过50万人死亡。因此，早期和准确的诊断至关重要。人类专业知识是诊断和正确分类乳腺癌并定义适当的治疗，这取决于评价不同生物标志物如跨膜蛋白受体HER2的表达。该评估需要几个步骤，包括免疫组织化学或原位杂交等特殊技术，以评估HER2状态。通过降低诊断中的步骤和人类偏差的次数的目标，赫洛挑战是组织的，作为第16届欧洲数字病理大会的并行事件，旨在自动化仅基于苏木精和曙红染色的HER2地位的评估侵袭性乳腺癌的组织样本。评估HER2状态的方法是在全球21个团队中提出的，并通过一些提议的方法实现了潜在的观点，以推进最先进的。

计算机辅助诊断数字病理学正在变得普遍存在，因为它可以提供更有效和客观的医疗保健诊断。最近的进展表明，卷积神经网络（CNN）架构是一种完善的深度学习范式，可用于设计一种用于乳腺癌检测的计算机辅助诊断（CAD）系统。然而，探索了污染变异性因污染变异性和染色常规化的影响，尚未得到很好的挑战。此外，对于高吞吐量筛选可能是重要的网络模型的性能分析，这也不适用于高吞吐量筛查，也不熟悉。要解决这一挑战，我们考虑了一些当代CNN模型，用于涉及（1）的乳房组织病理学图像的二进制分类。使用基于自适应颜色解卷积（ACD）的颜色归一化算法来处理污染归一化图像的数据以处理染色变量; （2）应用基于转移学习的一些可动性更高效的CNN模型的培训，即视觉几何组网络（VGG16），MobileNet和效率网络。我们在公开的Brankhis数据集上验证了培训的CNN网络，适用于200倍和400x放大的组织病理学图像。实验分析表明，大多数情况下预染额网络在数据增强乳房组织病理学图像中产生更好的质量，而不是污染归一化的情况。此外，我们使用污染标准化图像评估了流行轻量级网络的性能和效率，并发现在测试精度和F1分数方面，高效网络优于VGG16和MOBILENET。我们观察到在测试时间方面的效率比其他网络更好; vgg net，mobilenet，在分类准确性下没有太大降低。

Brain tumor imaging has been part of the clinical routine for many years to perform non-invasive detection and grading of tumors. Tumor segmentation is a crucial step for managing primary brain tumors because it allows a volumetric analysis to have a longitudinal follow-up of tumor growth or shrinkage to monitor disease progression and therapy response. In addition, it facilitates further quantitative analysis such as radiomics. Deep learning models, in particular CNNs, have been a methodology of choice in many applications of medical image analysis including brain tumor segmentation. In this study, we investigated the main design aspects of CNN models for the specific task of MRI-based brain tumor segmentation. Two commonly used CNN architectures (i.e. DeepMedic and U-Net) were used to evaluate the impact of the essential parameters such as learning rate, batch size, loss function, and optimizer. The performance of CNN models using different configurations was assessed with the BraTS 2018 dataset to determine the most performant model. Then, the generalization ability of the model was assessed using our in-house dataset. For all experiments, U-Net achieved a higher DSC compared to the DeepMedic. However, the difference was only statistically significant for whole tumor segmentation using FLAIR sequence data and tumor core segmentation using T1w sequence data. Adam and SGD both with the initial learning rate set to 0.001 provided the highest segmentation DSC when training the CNN model using U-Net and DeepMedic architectures, respectively. No significant difference was observed when using different normalization approaches. In terms of loss functions, a weighted combination of soft Dice and cross-entropy loss with the weighting term set to 0.5 resulted in an improved segmentation performance and training stability for both DeepMedic and U-Net models.

Data augmentation is an effective technique for improving the accuracy of modern image classifiers. However, current data augmentation implementations are manually designed. In this paper, we describe a simple procedure called AutoAugment to automatically search for improved data augmentation policies. In our implementation, we have designed a search space where a policy consists of many subpolicies, one of which is randomly chosen for each image in each mini-batch. A sub-policy consists of two operations, each operation being an image processing function such as translation, rotation, or shearing, and the probabilities and magnitudes with which the functions are applied. We use a search algorithm to find the best policy such that the neural network yields the highest validation accuracy on a target dataset. Our method achieves state-of-the-art accuracy on SVHN, and ImageNet (without additional data). On ImageNet, we attain a Top-1 accuracy of 83.5% which is 0.4% better than the previous record of 83.1%. On CIFAR-10, we achieve an error rate of 1.5%, which is 0.6% better than the previous state-of-theart. Augmentation policies we find are transferable between datasets. The policy learned on ImageNet transfers well to achieve significant improvements on other datasets, such as Oxford Flowers, Caltech-101, Oxford-IIT Pets, FGVC Aircraft, and Stanford Cars. * Work performed as a member of the Google Brain Residency Program.† Equal contribution.

我们对最近的自我和半监督ML技术进行严格的评估，从而利用未标记的数据来改善下游任务绩效，以河床分割的三个遥感任务，陆地覆盖映射和洪水映射。这些方法对于遥感任务特别有价值，因为易于访问未标记的图像，并获得地面真理标签通常可以昂贵。当未标记的图像（标记数据集之外）提供培训时，我们量化性能改进可以对这些遥感分割任务进行期望。我们还设计实验以测试这些技术的有效性，当测试集相对于训练和验证集具有域移位时。

在过去的几年中，用于计算机视觉的深度学习技术的快速发展极大地促进了医学图像细分的性能（Mediseg）。但是，最近的梅赛格出版物通常集中于主要贡献的演示（例如，网络体系结构，培训策略和损失功能），同时不知不觉地忽略了一些边缘实施细节（也称为“技巧”），导致了潜在的问题，导致了潜在的问题。不公平的实验结果比较。在本文中，我们为不同的模型实施阶段（即，预培训模型，数据预处理，数据增强，模型实施，模型推断和结果后处理）收集了一系列Mediseg技巧，并在实验中探索了有效性这些技巧在一致的基线模型上。与仅关注分割模型的优点和限制分析的纸驱动调查相比，我们的工作提供了大量的可靠实验，并且在技术上更可操作。通过对代表性2D和3D医疗图像数据集的广泛实验结果，我们明确阐明了这些技巧的效果。此外，根据调查的技巧，我们还开源了一个强大的梅德西格存储库，其每个组件都具有插件的优势。我们认为，这项里程碑的工作不仅完成了对最先进的Mediseg方法的全面和互补的调查，而且还提供了解决未来医学图像处理挑战的实用指南，包括但不限于小型数据集学习，课程不平衡学习，多模式学习和领域适应。该代码已在以下网址发布：https：//github.com/hust-linyi/mediseg

语义图像分割是手术中的背景知识和自治机器人的重要前提。本领域的状态专注于在微创手术期间获得的传统RGB视频数据，但基于光谱成像数据的全景语义分割并在开放手术期间获得几乎没有注意到日期。为了解决文献中的这种差距，我们正在研究基于在开放手术环境中获得的猪的高光谱成像（HSI）数据的以下研究问题：（1）基于神经网络的HSI数据的充分表示是完全自动化的器官分割，尤其是关于数据的空间粒度（像素与Superpixels与Patches与完整图像）的空间粒度？ （2）在执行语义器官分割时，是否有利用HSI数据使用HSI数据，即RGB数据和处理的HSI数据（例如氧合等组织参数）？根据基于20猪的506个HSI图像的全面验证研究，共注释了19个类，基于深度的学习的分割性能 - 贯穿模态 - 与输入数据的空间上下文一致。未处理的HSI数据提供优于RGB数据或来自摄像机提供商的处理数据，其中优势随着输入到神经网络的输入的尺寸而增加。最大性能（应用于整个图像的HSI）产生了0.89（标准偏差（SD）0.04）的平均骰子相似度系数（DSC），其在帧间间变异性（DSC为0.89（SD 0.07）的范围内。我们得出结论，HSI可以成为全自动手术场景理解的强大的图像模型，其具有传统成像的许多优点，包括恢复额外功能组织信息的能力。

前列腺癌是男性癌症死亡的最常见原因之一。对非侵入性和准确诊断方法的需求不断增长，促进目前在临床实践中的标准前列腺癌风险评估。尽管如此，从多游幂磁共振图像中开发前列腺癌诊断中的计算机辅助癌症诊断仍然是一个挑战。在这项工作中，我们提出了一种新的深度学习方法，可以通过构建两阶段多数量多流卷积神经网络（CNN）基于架构架构的相应磁共振图像中的前列腺病变自动分类。在不实现复杂的图像预处理步骤或第三方软件的情况下，我们的框架在接收器操作特性（ROC）曲线值为0.87的接收器下实现了该区域的分类性能。结果表现出大部分提交的方法，并分享了普罗妥克斯挑战组织者报告的最高价值。我们拟议的基于CNN的框架反映了辅助前列腺癌中的医学图像解释并减少不必要的活组织检查的可能性。

We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected.

使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域（ROI）的癌症分级和定位通常依赖于图像和像素级标签，后者需要昂贵的注释过程。深度弱监督的对象定位（WSOL）方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释，可以训练这些方法以对图像进行分类，并为ROI定位进行分类类激活图（CAM）。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法，根据模型中的信息流，将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限，但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是，这些方法达到了有限的定位准确性，并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性，对我们的分类学方法进行了评估和比较。总体而言，结果表明定位性能差，特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是，所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活，对阈值的敏感性和模型选择。

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.

当有足够的训练数据时，在某些视力任务中，基于变压器的模型（例如Vision Transformer（VIT））可以超越跨趋化神经网络（CNN）。然而，（CNN）对视力任务（即翻译均衡和局部性）具有强大而有用的归纳偏见。在这项工作中，我们开发了一种新颖的模型架构，我们称之为移动鱼类地标检测网络（MFLD-NET）。我们已经使用基于VIT的卷积操作（即斑块嵌入，多层感知器）制作了该模型。 MFLD-NET可以在轻巧的同时获得竞争性或更好的结果，同时轻巧，因此适用于嵌入式和移动设备。此外，我们表明MFLD-NET可以在PAR上获得关键点（地标）估计精度，甚至比FISH图像数据集上的某些最先进的（CNN）更好。此外，与VIT不同，MFLD-NET不需要预训练的模型，并且在小型数据集中训练时可以很好地概括。我们提供定量和定性的结果，以证明该模型的概括能力。这项工作将为未来开发移动但高效的鱼类监测系统和设备的努力奠定基础。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

近年来，深入学习已成功应用于自动化各种诊断组织病理学的任务。然而，小规模地区的快速可靠的本地化（ROI）仍然是一个关键挑战，因为鉴别性形态特征通常只占据一小部分的千兆像素级全幻灯片（WSI）。在本文中，我们提出了一种稀疏的WSI分析方法，用于快速识别WSI级分类的高功率ROI。我们开发由早期分类文献的评估框架，以量化稀疏分析方法的诊断性能和推理时间之间的权衡。我们在病理学中的常见但耗时的任务中测试了我们的方法 - 从内镜活检标本诊断血液杂志和曙红（H＆E） - 染色的载玻片上诊断胃肠元（GIM）。 Gim是沿着胃癌发展途径的着名前体病变。我们对我们的方法的性能和推理时间进行了彻底的评估，我们在GIM阳性和GIM负面WSI上的测试集中，发现我们的方法在所有正面WSI中成功地检测到GIM，接收器下的WSI级分类区域操作特性曲线（AUC）为0.98和0.95的平均精度（AP）。此外，我们表明我们的方法可以在标准CPU上达到一分钟内的这些指标。我们的结果适用于开发神经网络的目的，可以轻松地部署在临床环境中，以支持病理学家在快速定位和诊断WSI中的小规模形态特征。