在嘈杂和致密的荧光显微镜数据中跟踪胚胎的所有核是一项具有挑战性的任务。我们建立在最新的核跟踪方法的基础上，该方法结合了弱监督的学习，从一小部分核中心点注释与整数线性程序（ILP）结合了最佳的细胞谱系提取。我们的工作专门解决了秀丽隐杆线虫胚胎记录的以下具有挑战性的特性：（1）与其他生物的基准记录相比，许多细胞分裂以及（2）很容易被误认为是细胞核的极性体。为了应付（1），我们设计并纳入了学习的细胞分裂检测器。为了应付（2），我们采用了学到的极性身体探测器。我们进一步提出了通过结构化的SVM调整自动化的ILP权重，从而减轻了对各自的网格搜索进行乏味的手动设置的需求。我们的方法的表现优于Fluo-N3DH-CE胚胎数据集上细胞跟踪挑战的先前领导者。我们报告了另外两个秀丽隐杆线虫数据集的进一步广泛的定量评估。我们将公开这些数据集作为未来方法开发的扩展基准。我们的结果表明，我们的方法产生了可观的改进，尤其是在分区事件检测的正确性以及完全正确的轨道段的数量和长度方面。代码：https：//github.com/funkelab/linajea

我们的工作针对自动分析，以量化细菌细菌群体的生长动力学。我们提出了一种创新的方法，通过自动化新的，特定的成本功能的自动化最小化对可变形细胞运动的框架跟踪。这种最小化由专用的玻尔兹曼机器（随机复发神经网络）实现。通过连续的两个成本函数的最小化，对细胞分裂的自动检测进行了类似的处理，从而交替地识别儿童对和父母的识别。我们使用（i）记录模拟细胞菌落的记录来验证提出的自动细胞跟踪算法，这些算法与微流体陷阱和（ii）真实数据密切模仿大肠杆菌的生长动力学。在一批1100个模拟图像框架上，每帧的单元格登记精度范围从94.5％到100％，平均水平很高。我们使用大肠杆菌菌落的实验图像序列（即实际数据）进行的初始测试也产生令人信服的结果，注册精度范围从90％到100％。

我们提出了一种新型的图形神经网络（GNN）方法，用于高通量显微镜视频中的细胞跟踪。通过将整个延时序列建模为直接图，其中细胞实例由其节点及其边缘表示，我们通过查找图中的最大路径来提取整个细胞轨迹。这是由纳入端到端深度学习框架中的几个关键贡献来完成的。我们利用深度度量学习算法来提取细胞特征向量，以区分不同生物细胞的实例并组装相同的细胞实例。我们引入了一种新的GNN块类型，该类型可以对节点和边缘特征向量进行相互更新，从而促进基础消息传递过程。消息传递概念的范围由GNN块的数量确定，这是至关重要的，因为它可以在连续的框架中实现节点和边缘之间的“节点和边缘”之间的“流动”。最后，我们解决了边缘分类问题，并使用已确定的活动边缘来构建单元格的轨道和谱系树。我们通过将其应用于不同细胞类型，成像设置和实验条件的2D和3D数据集，来证明所提出的细胞跟踪方法的强度。我们表明，我们的框架在大多数评估的数据集上都优于当前最新方法。该代码可在我们的存储库中获得：https：//github.com/talbenha/cell-tracker-gnn。

多对象跟踪（MOT）中的当前方法依赖于经历可预测的运动的独立对象轨迹，以有效地跟踪大量对象。诸如挥发物体运动和不完美检测的对抗性条件创造了一个具有挑战性的跟踪景观，其中建立的方法可以产生不充分的结果。开发了多个假设超图（MHHT）以在噪声检测中执行相互依存物体中的MOT。该方法通过超图扩展了传统的多假假设跟踪（MHT）以模拟相关对象运动，允许在具有挑战性的情况下进行鲁棒跟踪。MHHT应用于在胚胎C.杆状内的后期胚胎发生期间进行缝电池跟踪。

线虫秀丽隐杆线虫（秀丽隐杆线虫）被用作模型生物体，以更好地了解发育生物学和神经生物学。秀丽隐杆线虫具有不变的细胞谱系，已使用荧光显微镜图像进行了分类和观察。然而，一旦开始零星的肌肉抽搐，已建立的跟踪细胞的方法就无法概括。我们以方法为基础，该方法将皮肤细胞用作基准标记，尽管随机抽搐，但仍在进行细胞跟踪。特别是，我们提出了一个细胞核分割和跟踪程序，该过程被整合到3D渲染GUI中，以提高在晚期发育过程中跟踪细胞的效率。在三个测试胚胎上描述上述肌肉细胞核的图像上的结果表明，基准标记与经典的跟踪范式结合使用，克服了零星的抽搐。

图提供了一种自然的方式来制定多个对象跟踪（MOT）和多个对象跟踪和分割（MOTS），逐个检测范式中。但是，他们还引入了学习方法的主要挑战，因为定义可以在这种结构化领域运行的模型并不是微不足道的。在这项工作中，我们利用MOT的经典网络流程公式来定义基于消息传递网络（MPN）的完全微分框架。通过直接在图形域上操作，我们的方法可以在整个检测和利用上下文特征上全球推理。然后，它共同预测了数据关联问题的最终解决方案和场景中所有对象的分割掩码，同时利用这两个任务之间的协同作用。我们在几个公开可用的数据集中获得跟踪和细分的最新结果。我们的代码可在github.com/ocetintas/mpntrackseg上找到。

由胰腺管网络的具有挑战性的分割任务激发，本文解决了两个通常遇到生物医学成像问题的问题：分割的拓扑一致性，以及昂贵或困难的注释。我们的贡献如下：a）我们提出了一个拓扑评分，该评分衡量了预测和地面真理分割之间的拓扑和几何一致性，应用于模型选择和验证。 b）我们在时间序列图像数据上为这一困难的嘈杂任务提供了完整的深度学习方法。在我们的方法中，我们首先使用半监管的U-NET体系结构，适用于通用分割任务，该任务共同训练自动编码器和分割网络。然后，随着时间的流逝，我们使用循环的跟踪来进一步改善预测的拓扑。这种半监督的方法使我们能够利用未经通知的数据来学习特征表示，尽管我们的带注释的培训数据的变化非常有限，但该特征表示具有较高可变性的数据。我们的贡献在具有挑战性的分割任务上得到了验证，从嘈杂的实时成像共聚焦显微镜中定位胎儿胰腺中的管状结构。我们表明，我们的半监督模型不仅优于完全监督和预训练的模型，而且还优于在训练过程中考虑拓扑一致性的方法。此外，与经过平均循环得分为0.762的CLDICE的U-NET相比，我们的方法的平均环路得分为0.808。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

Tracking has traditionally been the art of following interest points through space and time. This changed with the rise of powerful deep networks. Nowadays, tracking is dominated by pipelines that perform object detection followed by temporal association, also known as tracking-by-detection. We present a simultaneous detection and tracking algorithm that is simpler, faster, and more accurate than the state of the art. Our tracker, CenterTrack, applies a detection model to a pair of images and detections from the prior frame. Given this minimal input, CenterTrack localizes objects and predicts their associations with the previous frame. That's it. CenterTrack is simple, online (no peeking into the future), and real-time. It achieves 67.8% MOTA on the MOT17 challenge at 22 FPS and 89.4% MOTA on the KITTI tracking benchmark at 15 FPS, setting a new state of the art on both datasets. CenterTrack is easily extended to monocular 3D tracking by regressing additional 3D attributes. Using monocular video input, it achieves 28.3% AMOTA@0.2 on the newly released nuScenes 3D tracking benchmark, substantially outperforming the monocular baseline on this benchmark while running at 28 FPS.

The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

人类生理学中的各种结构遵循特异性形态，通常在非常细的尺度上表达复杂性。这种结构的例子是胸前气道，视网膜血管和肝血管。可以观察到可以观察到可以观察到可以观察到可以观察到空间排列的磁共振成像（MRI），计算机断层扫描（CT），光学相干断层扫描（OCT）等医学成像模式（MRI），计算机断层扫描（CT），可以观察到空间排列的大量2D和3D图像的集合。这些结构在医学成像中的分割非常重要，因为对结构的分析提供了对疾病诊断，治疗计划和预后的见解。放射科医生手动标记广泛的数据通常是耗时且容易出错的。结果，在过去的二十年中，自动化或半自动化的计算模型已成为医学成像的流行研究领域，迄今为止，许多计算模型已经开发出来。在这项调查中，我们旨在对当前公开可用的数据集，细分算法和评估指标进行全面审查。此外，讨论了当前的挑战和未来的研究方向。

我们分享了我们最近的发现，以试图培训通用分割网络的各种细胞类型和成像方式。我们的方法建立在广义的U-NET体系结构上，该体系结构允许单独评估每个组件。我们修改了传统的二进制培训目标，以包括三个类以进行直接实例细分。进行了有关培训方案，培训设置，网络骨架和各个模块的详细实验。我们提出的培训方案依次从每个数据集中吸取小匹配，并且在优化步骤之前积累了梯度。我们发现，培训通用网络的关键是所有数据集上的历史监督，并且有必要以公正的方式对每个数据集进行采样。我们的实验还表明，可能存在共同的特征来定义细胞类型和成像方式的细胞边界，这可以允许应用训练有素的模型完全看不见的数据集。一些培训技巧可以进一步提高细分性能，包括交叉渗透损失功能中的班级权重，精心设计的学习率调度程序，较大的图像作物以进行上下文信息以及不平衡类别的其他损失条款。我们还发现，由于它们更可靠的统计估计和更高的语义理解，分割性能可以受益于组规范化层和缺陷的空间金字塔池模块。我们参与了在IEEE国际生物医学成像研讨会（ISBI）2021举行的第六个细胞跟踪挑战（CTC）。我们的方法被评估为在主要曲目的初始提交期间，作为最佳亚军，并在额外的竞争中获得了第三名，以准备摘要出版物。

地理定位的概念是指确定地球上的某些“实体”的位置的过程，通常使用全球定位系统（GPS）坐标。感兴趣的实体可以是图像，图像序列，视频，卫星图像，甚至图像中可见的物体。由于GPS标记媒体的大规模数据集由于智能手机和互联网而迅速变得可用，而深入学习已经上升以提高机器学习模型的性能能力，因此由于其显着影响而出现了视觉和对象地理定位的领域广泛的应用，如增强现实，机器人，自驾驶车辆，道路维护和3D重建。本文提供了对涉及图像的地理定位的全面调查，其涉及从捕获图像（图像地理定位）或图像内的地理定位对象（对象地理定位）的地理定位的综合调查。我们将提供深入的研究，包括流行算法的摘要，对所提出的数据集的描述以及性能结果的分析来说明每个字段的当前状态。

在血管成形术的临床程序中（即开放式堵塞冠状动脉），在X射线荧光镜检查的指导下，需要将气球和支架等装置（例如气球和支架）放置在动脉中。由于X射线剂量的局限性，所得图像通常是嘈杂的。为了检查这些设备的正确放置，平均进行了多个运动补偿帧以增强视图。因此，设备跟踪是为此目的的必要过程。即使设计为具有易于跟踪的放射性标记的血管成形术设备，但由于标记尺寸较小和血管成形术中的复杂场景，当前的方法难以提供令人满意的结果。在本文中，我们提出了一个用于单个支架跟踪的端到端深度学习框架，该框架由三个层次模块组成：基于U-NET的Landmark检测，基于重新连接的支架提案和功能提取，以及图形卷积神经网络（GCN）基于暂时聚集空间信息和外观特征的支架跟踪。实验表明，与基于点的跟踪模型相比，我们的方法在检测中的性能明显更好。此外，其快速推理速度满足临床要求。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

从空中和卫星图像提取自动化路线图是一个长期存在的挑战。现有算法基于像素级分段，然后是矢量化，或者使用下一个移动预测的迭代图构造。这两种策略都遭受了严重的缺点，特别是高计算资源和不完整的产出。相比之下，我们提出了一种直接在单次通过中缩小最终道路图的方法。关键思想包括组合完全卷积的网络，这些网络负责定位点，例如交叉点，死头和转弯，以及预测这些点之间的链路的图形神经网络。这种策略比迭代方法更有效，并允许我们通过在保持训练端到端的同时消除生成起始位置的需要来简化培训过程。我们评估我们对流行的道路流数据集上现有工作的方法，并实现竞争结果。我们还将速度基准测试，并表明它优于现有的方法。这为嵌入式设备打开了飞行中的可能性。

我们介绍了Caltech Fish计数数据集（CFC），这是一个用于检测，跟踪和计数声纳视频中鱼类的大型数据集。我们将声纳视频识别为可以推进低信噪比计算机视觉应用程序并解决多对象跟踪（MOT）和计数中的域概括的丰富数据来源。与现有的MOT和计数数据集相比，这些数据集主要仅限于城市中的人和车辆的视频，CFC来自自然世界领域，在该域​​中，目标不容易解析，并且无法轻易利用外观功能来进行目标重新识别。 CFC允许​​研究人员训练MOT和计数算法并评估看不见的测试位置的概括性能。我们执行广泛的基线实验，并确定在MOT和计数中推进概括的最新技术的关键挑战和机会。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

We pose video object segmentation as spectral graph clustering in space and time, with one graph node for each pixel and edges forming local space-time neighborhoods. We claim that the strongest cluster in this video graph represents the salient object. We start by introducing a novel and efficient method based on 3D filtering for approximating the spectral solution, as the principal eigenvector of the graph's adjacency matrix, without explicitly building the matrix. This key property allows us to have a fast parallel implementation on GPU, orders of magnitude faster than classical approaches for computing the eigenvector. Our motivation for a spectral space-time clustering approach, unique in video semantic segmentation literature, is that such clustering is dedicated to preserving object consistency over time, which we evaluate using our novel segmentation consistency measure. Further on, we show how to efficiently learn the solution over multiple input feature channels. Finally, we extend the formulation of our approach beyond the segmentation task, into the realm of object tracking. In extensive experiments we show significant improvements over top methods, as well as over powerful ensembles that combine them, achieving state-of-the-art on multiple benchmarks, both for tracking and segmentation.

本文提出了一种延时3D细胞分析的方法。具体而言，我们考虑了准确定位和定量分析亚细胞特征的问题，以及从延时3D共聚焦细胞图像堆栈跟踪单个细胞的问题。细胞的异质性和多维图像的体积提出了对细胞形态发生和发育的完全自动化分析的主要挑战。本文是由路面细胞生长过程和构建定量形态发生模型的动机。我们提出了一种基于深度特征的分割方法，以准确检测和标记每个细胞区域。基于邻接图的方法用于提取分段细胞的亚细胞特征。最后，提出了使用多个单元格特征的基于强大的图形跟踪算法在不同的时间实例中关联单元格。提供了广泛的实验结果，并证明了所提出的方法的鲁棒性。该代码可在GitHub上获得，该方法可通过Bisque Portal作为服务可用。