天文源脱模是将各个恒星或星系（来源）的贡献分离到由多个可能重叠源的图像的贡献。天文源显示出广泛的尺寸和亮度，并且可以在图像中显示大量重叠。由于其高动态范围，低信噪比和非传统图像格式，天文成像数据可以进一步挑战现成的计算机视觉算法。这些挑战使源头令人垂直的天文研究，在这项工作中，我们介绍了一种称为部分归因实例分段的新方法，使得能够以对深度学习模型进行贸易的方式进行源检测和脱模。我们提供一种新颖的神经网络实现作为方法的演示。

研究细胞形态的时间变化对于了解细胞迁移机制至关重要。在这项工作中，我们向基于深度的学习的工作流程到嵌入3D胶原矩阵中的分段癌细胞并与相位对比显微镜进行成像。我们的方法使用转移学习和经常性卷积的长期存储单元来利用过去的时间信息并提供一致的分段结果。最后，我们提出了一种研究癌细胞形态学的几何表征方法。我们的方法及时提供稳定的结果，它对不同的重量初始化或培训数据采样具有强大。我们为2D单元分割和跟踪引入了新的注释数据集，以及打开源实现，以复制实验或使其适应新的图像处理问题。

Numerous deep learning applications benefit from multitask learning with multiple regression and classification objectives. In this paper we make the observation that the performance of such systems is strongly dependent on the relative weighting between each task's loss. Tuning these weights by hand is a difficult and expensive process, making multi-task learning prohibitive in practice. We propose a principled approach to multi-task deep learning which weighs multiple loss functions by considering the homoscedastic uncertainty of each task. This allows us to simultaneously learn various quantities with different units or scales in both classification and regression settings. We demonstrate our model learning per-pixel depth regression, semantic and instance segmentation from a monocular input image. Perhaps surprisingly, we show our model can learn multi-task weightings and outperform separate models trained individually on each task.

美国和全球的两个主要死亡原因是中风和心肌梗塞。两者的根本原因是由破裂或侵蚀的不稳定的动脉粥样硬化斑块释放的，这些斑块阻塞了心脏（心肌梗塞）或大脑（中风）的血管。临床研究表明，在斑块破裂或侵蚀事件中，斑块组成比病变大小更重要。为了确定斑块组成，计算了3D心血管免疫荧光图像的各种细胞类型的斑块病变。但是，手动计算这些细胞是昂贵的，耗时的，并且容易发生人为错误。手动计数的这些挑战激发了对自动化方法进行定位和计算图像中细胞的需求。这项研究的目的是开发一种自动方法，以最少的注释工作在3D免疫荧光图像中准确检测和计数细胞。在这项研究中，我们使用弱监督的学习方法使用点注释来训练悬停网络分割模型，以检测荧光图像中的核。使用点注释的优点是，与像素的注释相比，它们需要更少的精力。为了使用点注释训练悬停的网络模型，我们采用了一种普遍使用的群集标记方法，将点注释转换为精确的细胞核二进制掩模。传统上，这些方法从点注释产生了二进制面具，使该物体周围的区域未标记（通常在模型训练中被忽略）。但是，这些区域可能包含重要信息，有助于确定细胞之间的边界。因此，我们在这些区域使用了熵最小化的损失函数，以鼓励模型在未标记区域上输出更自信的预测。我们的比较研究表明，使用我们的弱训练的悬停网络模型...

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

高度需要对气泡流图像进行自动化和可靠的处理，以分析综合实验系列的大型数据集。由于记录的图像中重叠的气泡投影而引起了特定的困难，这使单个气泡的识别高度复杂。最近的方法着重于将深度学习算法用于此任务，并且已经证明了此类技术的高潜力。主要困难是能够处理不同的图像条件，较高的气体体积分数以及部分遮挡气泡的隐藏段的正确重建。在目前的工作中，我们试图通过基于卷积神经网络（CNN）测试两种以前和两种单独的方法来解决这些观点，以解决后者。为了验证我们的方法论，我们创建了使用合成图像的测试数据集，这些图像进一步证明了我们合并方法的功能和局限性。可以访问生成的数据，代码和训练的模型，以促进实验图像中气泡识别的研究领域的进一步发展。

我们分享了我们最近的发现，以试图培训通用分割网络的各种细胞类型和成像方式。我们的方法建立在广义的U-NET体系结构上，该体系结构允许单独评估每个组件。我们修改了传统的二进制培训目标，以包括三个类以进行直接实例细分。进行了有关培训方案，培训设置，网络骨架和各个模块的详细实验。我们提出的培训方案依次从每个数据集中吸取小匹配，并且在优化步骤之前积累了梯度。我们发现，培训通用网络的关键是所有数据集上的历史监督，并且有必要以公正的方式对每个数据集进行采样。我们的实验还表明，可能存在共同的特征来定义细胞类型和成像方式的细胞边界，这可以允许应用训练有素的模型完全看不见的数据集。一些培训技巧可以进一步提高细分性能，包括交叉渗透损失功能中的班级权重，精心设计的学习率调度程序，较大的图像作物以进行上下文信息以及不平衡类别的其他损失条款。我们还发现，由于它们更可靠的统计估计和更高的语义理解，分割性能可以受益于组规范化层和缺陷的空间金字塔池模块。我们参与了在IEEE国际生物医学成像研讨会（ISBI）2021举行的第六个细胞跟踪挑战（CTC）。我们的方法被评估为在主要曲目的初始提交期间，作为最佳亚军，并在额外的竞争中获得了第三名，以准备摘要出版物。

人群计数是公共场所情境意识的有效工具。使用图像和视频进行自动人群计数是一个有趣但充满挑战的问题，在计算机视觉中引起了极大的关注。在过去的几年中，已经开发了各种深度学习方法来实现最先进的表现。随着时间的流逝，这些方法在许多方面发生了变化，例如模型架构，输入管道，学习范式，计算复杂性和准确性提高等。在本文中，我们对人群计数领域中最重要的贡献进行了系统和全面的评论。 。尽管对该主题的调查很少，但我们的调查是最新的，并且在几个方面都不同。首先，它通过模型体系结构，学习方法（即损失功能）和评估方法（即评估指标）对最重要的贡献进行了更有意义的分类。我们选择了杰出和独特的作品，并排除了类似的作品。我们还通过基准数据集对著名人群计数模型进行分类。我们认为，这项调查可能是新手研究人员了解随着时间的推移和当前最新技术的逐步发展和贡献的好资源。

本文提出了一个统一的框架到（i）找到球，（ii）预测姿势，（iii）在团队体育场景中分段播放器的实例掩码。这些问题对自动体育分析，生产和广播有高兴趣。常见做法是通过利用通用最先进的模型，例如Panoptic-Deeblab来单独解决每个问题，用于玩家分割。除了从单任务模型的乘法乘以增加的复杂性之外，由于团队体育场景的复杂性和特异性，使用现成的架子模型也会阻碍性能，如强大的遮挡和运动模糊。为了规避这些限制，我们的论文提出培训一种单一的模型，它通过组合零件强度场和空间嵌入原理来预测球和玩家掩模和姿势。部件强度场提供球和播放器位置，以及播放器接头位置。然后利用空间嵌入来将播放器实例像素联系到其各自的播放器中心，而且还将播放器接头分组成骷髅。我们展示了拟议模型在DeepSport篮球数据集上的有效性，为单独解决每个单独任务的SOA模型实现了可比性的性能。

本文介绍了Houghnet，这是一种单阶段，无锚，基于投票的，自下而上的对象检测方法。受到广义的霍夫变换的启发，霍尼特通过在该位置投票的总和确定了某个位置的物体的存在。投票是根据对数极极投票领域的近距离和长距离地点收集的。由于这种投票机制，Houghnet能够整合近距离和远程的班级条件证据以进行视觉识别，从而概括和增强当前的对象检测方法，这通常仅依赖于本地证据。在可可数据集中，Houghnet的最佳型号达到$ 46.4 $ $ $ ap $（和$ 65.1 $ $ $ ap_ {50} $），与自下而上的对象检测中的最先进的作品相同，超越了最重要的一项 - 阶段和两阶段方法。我们进一步验证了提案在其他视觉检测任务中的有效性，即视频对象检测，实例分割，3D对象检测和人为姿势估计的关键点检测以及其他“图像”图像生成任务的附加“标签”，其中集成的集成在所有情况下，我们的投票模块始终提高性能。代码可在https://github.com/nerminsamet/houghnet上找到。

显微镜图像中的细胞检测对于研究细胞如何移动和与环境相互作用很重要。最新的基于深度学习的细胞检测方法使用卷积神经网络（CNN）。但是，受到其他计算机视觉应用程序成功的启发，视觉变压器（VIT）也用于此目的。我们提出了一种新型混合CNN-VIT模型，用于显微镜图像中的细胞检测，以利用两种类型的深度学习模型的优势。我们采用有效的CNN，该CNN已在ImageNet数据集上进行了预先训练，以提取图像特征并利用转移学习来减少所需的训练数据的量。提取的图像特征通过卷积和变压器层的组合进一步处理，以便卷积层可以专注于本地信息和变压器层上的全局信息。我们的基于质心细胞检测方法将细胞表示为椭圆，是端到端的训练。此外，我们表明我们提出的模型可以在四个不同的2D显微镜数据集上胜过完全卷积的单阶段探测器。代码可在以下网址找到：https：//github.com/roydenwa/cell-centroid-former

CT灌注（CTP）是一项体检，用于测量对比度溶液通过像素逐像素的大脑通过大脑的通过。目的是为缺血性病变迅速绘制“灌注图”（即脑血体积，脑血流量和峰值的时间），并能够区分核心和甲瘤区域。在缺血性中风的背景下，精确而快速的诊断可以确定脑组织的命运，并在紧急情况下指导干预和治疗。在这项工作中，我们介绍了UnitObrain数据集，这是CTP的第一个开源数据集。它包括一百多名患者的队列，并伴随着患者元数据和最新算法获得的地面真相图。我们还建议使用欧洲图书馆ECVL和EDDL进行图像处理和开发深度学习模型，提出了一种基于神经网络的新型算法。神经网络模型获得的结果与地面真相相匹配，并为所需数量的CT地图的潜在子采样开辟了道路，这对患者施加了重辐射剂量。

晶体中砂岩的晶粒分割从其周围基质/水泥划分薄片是计算机辅助矿物识别和砂岩分类的主要步骤。砂岩的显微图像含有许多矿物颗粒及其周围的基质/水泥。相邻谷物和基质之间的区别通常是模糊的，使晶粒分割困难。文献中存在各种解决方案来处理这些问题;然而，他们对砂岩岩画的不同模式并不强大。在本文中，我们将谷物分割制定为像素 - 明智的两类（即谷物和背景）语义分割任务。我们开发一个基于深度学习的端到端培训框架，名为Deep语义粒度分割网络（DSGSN），数据驱动方法，提供通用解决方案。根据作者的知识，这是探索深度神经网络来解决谷物分割问题的第一个工作。对微观图像的广泛实验强调我们的方法比具有更多参数的各种分段架构获得更好的分割精度。

侧扫声纳强度编码有关海床表面正常变化的信息。但是，其他因素（例如海底几何形状及其材料组成）也会影响回流强度。可以建模这些强度从向前方向上的变化从从测深图和物理特性到测量强度的表面正常的变化，或者可以使用逆模型，该模型从强度开始并模拟表面正常。在这里，我们使用一个逆模型，该模型利用深度学习能够从数据中学习的能力；卷积神经网络用于估计侧扫的正常表面。因此，海床的内部特性仅是隐式学习的。一旦估算了此信息，就可以通过优化框架重建测深图，该框架还包括高度计读数，以提供稀疏的深度轮廓作为约束。最近提出了隐式神经表示学习，以代表这种优化框架中的测深图。在本文中，我们使用神经网络来表示地图并在高度计点的约束和侧can的估计表面正常状态下进行优化。通过从几个侧扫线的不同角度融合多个观测值，通过优化改善了估计的结果。我们通过使用大型侧扫调查的侧扫数据重建高质量的测深，通过重建高质量的测深，证明了该方法的效率和可伸缩性。我们比较了提出的数据驱动的逆模型方法，该方法将侧扫形成前向兰伯特模型。我们通过将每个重建的质量与由多光束传感器构建的数据进行比较来评估它的质量。因此，我们能够讨论每种方法的优点和缺点。

We present a novel method for proposal free instance segmentation that can handle sophisticated object shapes which span large parts of an image and form dense object clusters with crossovers. Our method is based on predicting dense local shape descriptors, which we assemble to form instances. All instances are assembled simultaneously in one go. To our knowledge, our method is the first non-iterative method that yields instances that are composed of learnt shape patches. We evaluate our method on a diverse range of data domains, where it defines the new state of the art on four benchmarks, namely the ISBI 2012 EM segmentation benchmark, the BBBC010 C. elegans dataset, and 2d as well as 3d fluorescence microscopy data of cell nuclei. We show furthermore that our method also applies to 3d light microscopy data of Drosophila neurons, which exhibit extreme cases of complex shape clusters

卷积神经网络（CNN）已成功应用于胸部X射线（CXR）图像。此外，已证明注释的边界框可以改善CNN的可解释性，以定位异常。但是，只有几个相对较小的CXR数据集可用，并且收集它们非常昂贵。在放射科医生的临床工作流程期间，可以计时地，可以以非侵入性的方式收集眼睛跟踪（ET）数据。我们使用从放射科医生记录的ET数据，同时要求CXR报告训练CNN。我们通过将它们与关键字的命令相关联，并使用它们来监督异常的本地化，从而从ET数据中提取摘要。我们表明，此方法改善了模型的解释性，而不会影响其图像级分类。

Applications in the field of augmented reality or robotics often require joint localisation and 6D pose estimation of multiple objects. However, most algorithms need one network per object class to be trained in order to provide the best results. Analysing all visible objects demands multiple inferences, which is memory and time-consuming. We present a new single-stage architecture called CASAPose that determines 2D-3D correspondences for pose estimation of multiple different objects in RGB images in one pass. It is fast and memory efficient, and achieves high accuracy for multiple objects by exploiting the output of a semantic segmentation decoder as control input to a keypoint recognition decoder via local class-adaptive normalisation. Our new differentiable regression of keypoint locations significantly contributes to a faster closing of the domain gap between real test and synthetic training data. We apply segmentation-aware convolutions and upsampling operations to increase the focus inside the object mask and to reduce mutual interference of occluding objects. For each inserted object, the network grows by only one output segmentation map and a negligible number of parameters. We outperform state-of-the-art approaches in challenging multi-object scenes with inter-object occlusion and synthetic training.

如今，表面裂缝是公共基础设施的常见景象。最近的工作通过支持使用背景曲面裂缝的机器学习方法支持结构维护措施，解决了这个问题，使它们易于本地化。然而，这些方法的常见问题是创建一个良好的运行算法，训练数据需要详细地注释属于裂缝的像素。我们的工作提出了一种弱监督的方法，它利用CNN分类器来创建曲面裂纹分割图。我们使用此分类器通过使用其类激活映射和基于贴片的分类方法来创建粗糙的裂缝本地化地图，并用基于阈值的方法熔断器来融合它，以分段为大多数较暗的裂纹像素。分类器有助于抑制背景区域的噪声，这通常是通过标准阈值处理方法被错误地突出显示的裂缝。我们专注于我们的方法的易于实现，并且显示在几个表面裂纹数据集上表现良好，即使用于训练的唯一数据是简单的分类标签，也可以有效地进行分割裂缝。

前所未有的访问多时间卫星图像，为各种地球观察任务开辟了新的视角。其中，农业包裹的像素精确的Panoptic分割具有重大的经济和环境影响。虽然研究人员对单张图像进行了探索了这个问题，但我们争辩说，随着图像的时间序列更好地寻址作物候选的复杂时间模式。在本文中，我们介绍了卫星图像时间序列（坐着）的Panoptic分割的第一端到端，单级方法（坐姿）。该模块可以与我们的新型图像序列编码网络相结合，依赖于时间自我关注，以提取丰富和自适应的多尺度时空特征。我们还介绍了Pastis，第一个开放式访问坐在Panoptic注释的数据集。我们展示了对多个竞争架构的语义细分的编码器的优越性，并建立了坐在的第一封Panoptic细分状态。我们的实施和痛苦是公开的。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。