由于锥形光束计算机断层扫描（CBCT）图像的三维（3D）单个齿的准确和自动分割是一个具有挑战性的问题，因为难以将个体齿与相邻齿和周围的肺泡骨分开。因此，本文提出了一种从牙科CBCT图像识别和分割3D个体齿的全自动方法。所提出的方法通过开发基于深度学习的分层多步模型来解决上述难度。首先，它自动生成上下钳口全景图像，以克服由高维数据和与有限训练数据集相关的维度的诅咒引起的计算复杂度。然后使用所获得的2D全景图像来识别2D单独的牙齿并捕获3D个体齿的兴趣和紧密区域（ROIS）。最后，使用松动和紧密的ROI实现了精确的3D个体齿分割。实验结果表明，牙齿识别的牙齿识别的F1分数为93.35％，对于各个3D齿分割，骰子相似度系数为94.79％。结果表明，该方法为数字牙科提供了有效的临床和实用框架。

我们通过补充每个图像的弱点将内扫描（iOS）和牙科锥形电脑层析术（CBCT）图像集成到一个图像中的完全自动化方法。单独的牙科CBCT可能无法通过有限的图像分辨率和各种CBCT伪像（包括金属诱导的伪像）来描绘牙齿表面的精确细节。 iOS非常准确地扫描窄区域，但它在全拱扫描过程中产生累积缝合误差。该方法不仅要补偿具有iOS的CBCT衍生的牙齿表面的低质量，而且还要校正整个牙弓的IOS的累积拼接误差。此外，整合提供了一种图像中CBCT的IOS和齿根的牙龈结构。所提出的全自动方法包括四个部分; （i）iOS数据（TSIM-iOS）的单个牙齿分割和识别模块; （ii）CBCT数据（TSIM-CBCT）的个体齿分割和识别模块; （iii）IOS和CBCT之间的全球到局部牙齿登记; （iv）全拱ios的缝合纠错。实验结果表明，该方法分别达到了0.11mm和0.30mm的地标和表面距离误差。

Automatic parsing of human anatomies at instance-level from 3D computed tomography (CT) scans is a prerequisite step for many clinical applications. The presence of pathologies, broken structures or limited field-of-view (FOV) all can make anatomy parsing algorithms vulnerable. In this work, we explore how to exploit and conduct the prosperous detection-then-segmentation paradigm in 3D medical data, and propose a steerable, robust, and efficient computing framework for detection, identification, and segmentation of anatomies in CT scans. Considering complicated shapes, sizes and orientations of anatomies, without lose of generality, we present the nine degrees-of-freedom (9-DoF) pose estimation solution in full 3D space using a novel single-stage, non-hierarchical forward representation. Our whole framework is executed in a steerable manner where any anatomy of interest can be directly retrieved to further boost the inference efficiency. We have validated the proposed method on three medical imaging parsing tasks of ribs, spine, and abdominal organs. For rib parsing, CT scans have been annotated at the rib instance-level for quantitative evaluation, similarly for spine vertebrae and abdominal organs. Extensive experiments on 9-DoF box detection and rib instance segmentation demonstrate the effectiveness of our framework (with the identification rate of 97.0% and the segmentation Dice score of 90.9%) in high efficiency, compared favorably against several strong baselines (e.g., CenterNet, FCOS, and nnU-Net). For spine identification and segmentation, our method achieves a new state-of-the-art result on the public CTSpine1K dataset. Last, we report highly competitive results in multi-organ segmentation at FLARE22 competition. Our annotations, code and models will be made publicly available at: https://github.com/alibaba-damo-academy/Med_Query.

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

居住在美国的每个妇女在8次发育侵袭性乳腺癌的可能性下有大约1。有丝分裂细胞计数是评估乳腺癌侵袭性或等级最常见的测试之一。在该预后，必须通过病理学家使用高分辨率显微镜检查组织病理学图像以计算细胞。不幸的是，可以是一种完整的任务，可重复性差，特别是对于非专家来说。最近深入学习网络适用于能够自动定位这些感兴趣区域的医学应用。然而，这些基于区域的网络缺乏利用通常用作唯一检测方法的完整图像CNN产生的分割特征的能力。因此，所提出的方法利用更快的RCNN进行对象检测，同时使用RGB图像特征的UNET产生的分割特征，以实现在Mitos-Atypia 2014分数上的F分数为0.508，计数数据集，优于最先进的攻击方法。

对骨关节炎（OA）的磁共振成像（MRI）扫描的客观评估可以解决当前OA评估的局限性。 OA客观评估是必需的骨，软骨和关节液的分割。大多数提出的分割方法都不执行实例分割，并且遭受了类不平衡问题。这项研究部署了蒙版R-CNN实例分割并改进了IT（改进的面罩R-CNN（IMASKRCNN）），以获得与OA相关组织的更准确的广义分割。该方法的训练和验证是使用骨关节炎倡议（OAI）数据集的500次MRI膝盖和有症状髋关节OA患者的97次MRI扫描进行的。掩盖R-CNN的三个修改产生了iMaskRCNN：添加第二个Roialigned块，在掩码标先中添加了额外的解码器层，并通过跳过连接将它们连接起来。使用Hausdorff距离，骰子评分和变异系数（COV）评估结果。与面膜RCNN相比，iMaskRCNN导致骨骼和软骨分割的改善，这表明股骨的骰子得分从95％增加到98％，胫骨的95％到97％，股骨软骨的71％至80％，81％和81％胫骨软骨的％至82％。对于积液检测，iMaskRCNN 72％比MaskRCNN 71％改善了骰子。 Reader1和Mask R-CNN（0.33），Reader1和ImaskRCNN（0.34），Reader2和Mask R-CNN（0.22），Reader2和iMaskRCNN（0.29）之间的积液检测的COV值（0.34），读取器2和mask r-CNN（0.22）接近COV之间，表明人类读者与蒙版R-CNN和ImaskRCNN之间的一致性很高。蒙版R-CNN和ImaskRCNN可以可靠，同时提取与OA有关的不同规模的关节组织，从而为OA的自动评估构成基础。 iMaskRCNN结果表明，修改改善了边缘周围的网络性能。

3D object detection from LiDAR point cloud is a challenging problem in 3D scene understanding and has many practical applications. In this paper, we extend our preliminary work PointRCNN to a novel and strong point-cloud-based 3D object detection framework, the part-aware and aggregation neural network (Part-A 2 net). The whole framework consists of the part-aware stage and the part-aggregation stage. Firstly, the part-aware stage for the first time fully utilizes free-of-charge part supervisions derived from 3D ground-truth boxes to simultaneously predict high quality 3D proposals and accurate intra-object part locations. The predicted intra-object part locations within the same proposal are grouped by our new-designed RoI-aware point cloud pooling module, which results in an effective representation to encode the geometry-specific features of each 3D proposal. Then the part-aggregation stage learns to re-score the box and refine the box location by exploring the spatial relationship of the pooled intra-object part locations. Extensive experiments are conducted to demonstrate the performance improvements from each component of our proposed framework. Our Part-A 2 net outperforms all existing 3D detection methods and achieves new state-of-the-art on KITTI 3D object detection dataset by utilizing only the LiDAR point cloud data. Code is available at https://github.com/sshaoshuai/PointCloudDet3D.

Letting a deep network be aware of the quality of its own predictions is an interesting yet important problem. In the task of instance segmentation, the confidence of instance classification is used as mask quality score in most instance segmentation frameworks. However, the mask quality, quantified as the IoU between the instance mask and its ground truth, is usually not well correlated with classification score. In this paper, we study this problem and propose Mask Scoring R-CNN which contains a network block to learn the quality of the predicted instance masks. The proposed network block takes the instance feature and the corresponding predicted mask together to regress the mask IoU. The mask scoring strategy calibrates the misalignment between mask quality and mask score, and improves instance segmentation performance by prioritizing more accurate mask predictions during COCO AP evaluation. By extensive evaluations on the COCO dataset, Mask Scoring R-CNN brings consistent and noticeable gain with different models, and outperforms the state-of-the-art Mask R-CNN. We hope our simple and effective approach will provide a new direction for improving instance segmentation. The source code of our method is available at https:// github.com/zjhuang22/maskscoring_rcnn. * The work was done when Zhaojin Huang was an intern in Horizon Robotics Inc.

CT图像中的椎骨定位，分割和识别是众多临床应用的关键。尽管近年来，深度学习策略已为该领域带来了重大改进，但由于其在培训数据集中的代表性不佳，过渡性和病理椎骨仍在困扰大多数现有方法。另外，提出的基于非学习的方法可以利用先验知识来处理这种特定情况。在这项工作中，我们建议将这两种策略结合起来。为此，我们引入了一个迭代循环，在该循环中，单个椎骨被递归地定位，分割和使用深网鉴定，而使用统计先验则实施解剖一致性。在此策略中，通过在图形模型中编码其配置来处理过渡性椎骨识别，该模型将局部深网预测汇总为解剖上一致的最终结果。我们的方法在Verse20挑战基准上取得了最新的结果，并且优于过渡性椎骨的所有方法以及对Verse19挑战基准的概括。此外，我们的方法可以检测和报告不满足解剖学一致性先验的不一致的脊柱区域。我们的代码和模型公开用于研究目的。

The cup-to-disc ratio (CDR) is one of the most significant indicator for glaucoma diagnosis. Different from the use of costly fully supervised learning formulation with pixel-wise annotations in the literature, this study investigates the feasibility of accurate CDR measurement in fundus images using only tight bounding box supervision. For this purpose, we develop a two-task network named as CDRNet for accurate CDR measurement, one for weakly supervised image segmentation, and the other for bounding-box regression. The weakly supervised image segmentation task is implemented based on generalized multiple instance learning formulation and smooth maximum approximation, and the bounding-box regression task outputs class-specific bounding box prediction in a single scale at the original image resolution. To get accurate bounding box prediction, a class-specific bounding-box normalizer and an expected intersection-over-union are proposed. In the experiments, the proposed approach was evaluated by a testing set with 1200 images using CDR error and $F_1$ score for CDR measurement and dice coefficient for image segmentation. A grader study was conducted to compare the performance of the proposed approach with those of individual graders. The experimental results indicate that the proposed approach outperforms the state-of-the-art performance obtained from the fully supervised image segmentation (FSIS) approach using pixel-wise annotation for CDR measurement. Its performance is also better than those of individual graders. In addition, the proposed approach gets performance close to the state-of-the-art obtained from FSIS and the performance of individual graders for optic cup and disc segmentation. The codes are available at \url{https://github.com/wangjuan313/CDRNet}.

物体检测通常需要在现代深度学习方法中基于传统或锚盒的滑动窗口分类器。但是，这些方法中的任何一个都需要框中的繁琐配置。在本文中，我们提供了一种新的透视图，其中检测对象被激励为高电平语义特征检测任务。与边缘，角落，斑点和其他特征探测器一样，所提出的探测器扫描到全部图像的特征点，卷积自然适合该特征点。但是，与这些传统的低级功能不同，所提出的探测器用于更高级别的抽象，即我们正在寻找有物体的中心点，而现代深层模型已经能够具有如此高级别的语义抽象。除了Blob检测之外，我们还预测了中心点的尺度，这也是直接的卷积。因此，在本文中，通过卷积简化了行人和面部检测作为直接的中心和规模预测任务。这样，所提出的方法享有一个无盒设置。虽然结构简单，但它对几个具有挑战性的基准呈现竞争准确性，包括行人检测和面部检测。此外，执行交叉数据集评估，证明所提出的方法的卓越泛化能力。可以访问代码和模型（https://github.com/liuwei16/csp和https://github.com/hasanirtiza/pedestron）。

机器学习和计算机视觉技术近年来由于其自动化，适合性和产生惊人结果的能力而迅速发展。因此，在本文中，我们调查了2014年至2022年之间发表的关键研究，展示了不同的机器学习算法研究人员用来分割肝脏，肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织（肝果，肝肿瘤或肝毒剂）对被调查的研究进行了划分，强调了同时解决多个任务的研究。此外，机器学习算法被归类为受监督或无监督的，如果属于某个方案的工作量很大，则将进一步分区。此外，对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论，强调了组织者的原始贡献和其他研究人员的贡献。同样，在我们的评论中提到了文献中过度使用的指标，这强调了它们与手头的任务的相关性。最后，强调创新研究人员应对需要解决的差距的关键挑战和未来的方向，例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。

我们介绍了一种名为RobustAbnet的新表检测和结构识别方法，以检测表的边界并从异质文档图像中重建每个表的细胞结构。为了进行表检测，我们建议将Cornernet用作新的区域建议网络来生成更高质量的表建议，以更快的R-CNN，这显着提高了更快的R-CNN的定位准确性以进行表检测。因此，我们的表检测方法仅使用轻巧的RESNET-18骨干网络，在三个公共表检测基准（即CTDAR TRACKA，PUBLAYNET和IIIT-AR-13K）上实现最新性能。此外，我们提出了一种新的基于分裂和合并的表结构识别方法，其中提出了一个新型的基于CNN的新空间CNN分离线预测模块将每个检测到的表分为单元格，并且基于网格CNN的CNN合并模块是应用用于恢复生成细胞。由于空间CNN模块可以有效地在整个表图像上传播上下文信息，因此我们的表结构识别器可以坚固地识别具有较大的空白空间和几何扭曲（甚至弯曲）表的表。得益于这两种技术，我们的表结构识别方法在包括SCITSR，PubTabnet和CTDAR TrackB2-Modern在内的三个公共基准上实现了最先进的性能。此外，我们进一步证明了我们方法在识别具有复杂结构，大空间以及几何扭曲甚至弯曲形状的表上的表格上的优势。

B型主动脉解剖（TBAD）是最严重的心血管事件之一，其特征在于每年的年龄发病率，以及疾病预后的严重程度。目前，计算机断层摄影血管造影（CTA）已被广泛采用TBAD的诊断和预后。 CTA中真菌（TL），假腔（FL）和假腔血栓（FLT）的精确分割对于解剖学特征的精确定量，CTA是至关重要的。然而，现有的作品仅关注TL和FL而不考虑FLT。在本文中，我们提出了ImageTBAD，TBAD的第一个3D计算断层造影血管造影（CTA）图像数据集具有TL，FL和FLT的注释。该建议的数据集包含100个TBAD CTA图像，与现有的医学成像数据集相比，这是体面的大小。由于FLT几乎可以沿着主动脉出现具有不规则形状的主动脉，FLT的分割呈现了各种各样的分割问题，其中目标存在于具有不规则形状的各种位置。我们进一步提出了一种用于TBAD的自动分割的基线方法。结果表明，基线方法可以通过现有的主动脉和TL分段实现与现有工作的可比结果。然而，FLT的分割精度仅为52％，这使大型改进室并显示了我们数据集的挑战。为了促进进一步研究这一具有挑战性的问题，我们的数据集和代码将发布给公众。

定向对象检测是在空中图像中的具有挑战性的任务，因为航空图像中的物体以任意的方向显示并且经常密集包装。主流探测器使用五个参数或八个主角表示描述了旋转对象，这遭受了定向对象定义的表示模糊性。在本文中，我们提出了一种基于平行四边形的面积比的新型表示方法，称为ARP。具体地，ARP回归定向对象的最小边界矩形和三个面积比。三个面积比包括指向物体与最小的外接矩形的面积比和两个平行四边形到最小的矩形。它简化了偏移学习，消除了面向对象的角度周期性或标签点序列的问题。为了进一步弥补近横向物体的混淆问题，采用对象和其最小的外缘矩形的面积比来指导每个物体的水平或定向检测的选择。此外，使用水平边界盒和三个面积比的旋转高效交叉点（R-EIOU）丢失和三个面积比旨在优化用于旋转对象的边界盒回归。遥感数据集的实验结果，包括HRSC2016，DOTA和UCAS-AOD，表明我们的方法达到了卓越的检测性能，而不是许多最先进的方法。

In object detection, keypoint-based approaches often suffer a large number of incorrect object bounding boxes, arguably due to the lack of an additional look into the cropped regions. This paper presents an efficient solution which explores the visual patterns within each cropped region with minimal costs. We build our framework upon a representative one-stage keypoint-based detector named Corner-Net. Our approach, named CenterNet, detects each object as a triplet, rather than a pair, of keypoints, which improves both precision and recall. Accordingly, we design two customized modules named cascade corner pooling and center pooling, which play the roles of enriching information collected by both top-left and bottom-right corners and providing more recognizable information at the central regions, respectively. On the MS-COCO dataset, CenterNet achieves an AP of 47.0%, which outperforms all existing one-stage detectors by at least 4.9%. Meanwhile, with a faster inference speed, CenterNet demonstrates quite comparable performance to the top-ranked two-stage detectors. Code is available at https://github.com/ Duankaiwen/CenterNet.

晚期钆增强磁共振成像（LGE MRI）的左心房（LA）和心房瘢痕分割是临床实践中的重要任务。 ％，引导消融治疗和预测心房颤动（AF）患者的治疗结果。然而，由于图像质量差，各种La形状，薄壁和周围增强区域，自动分割仍然具有挑战性。以前的方法通常独立解决了这两个任务，并忽略了洛杉矶和疤痕之间的内在空间关系。在这项工作中，我们开发了一个新的框架，即atrialjsqnet，其中La分段，在La表面上的瘢痕投影以及疤痕量化，在端到端的样式中进行。我们通过明确的表面投影提出了一种形状注意（SA），以利用LA和LA瘢痕之间的固有相关性。具体而言，SA方案嵌入到多任务架构中以执行联合LA分段和瘢痕量化。此外，引入了空间编码（SE）丢失以包含目标的连续空间信息，以便在预测的分割中减少嘈杂的斑块。我们从Miccai2018 La挑战中评估了60 LGE MRIS上提出的框架。在公共数据集上的广泛实验表明了拟议的ATRIALJSQNET的效果，从而实现了最先进的竞争性能。明确探索了LA分割和瘢痕量化之间的相关性，并对这两个任务显示出显着的性能改进。一旦稿件接受通过https://zmiclab.github.io/projects.html，就会公开发布的代码和结果。

医学成像数据中的胰腺分割对于临床胰腺诊断和治疗至关重要。然而，即使是利用完全跨斜神经网络（FCNS）的最新算法，胰腺形状和体积的较大人口变化也会引起巨大的分割困难。具体而言，胰腺分割遭受2D方法中空间信息的损失，以及3D方法的高计算成本。为了减轻这些问题，我们提出了一个概率的映射引导的双向复发性UNET（PBR-UNET）体系结构，该体系结构融合了板板内的信息和层间概率图，然后将其融合到本地3D混合正则化方案中，随后是BI - 方向复发网络优化。 PBR-UNET方法由一个初始估计模块组成，用于有效提取像素级概率图和主要分割模块，用于通过2.5D U-NET体系结构传播混合信息。具体而言，通过将输入图像与相邻切片的概率图组合到多通道混合数据中，然后层次汇总整个分割网络的混合信息，来推断本地3D信息。此外，开发了双向反复优化机制，以更新远期和向后方向的混合信息。这允许拟议的网络充分利用本地上下文信息。对NIH Pancreas-CT数据集进行了定量和定性评估，与其他最新方法相比，我们提出的PBR-UNET方法获得了更好的分割结果，计算成本较少。

晚期钆增强磁共振成像（LGE MRI）通常用于可视化和量化左心房（LA）疤痕。疤痕的位置和程度提供了心理生理学和心房颤动进展的重要信息（AF）。因此，LGE MRI的La Scar分段和量化可用于AF患者的计算机辅助诊断和治疗分层。由于手动描绘可能是耗时的，并且经过专家内和专家间变异性，因此非常需要自动化这种计算，这然而仍然仍然具有挑战性和研究。本文旨在为La腔，墙壁，瘢痕和消融差距分割和LGE MRI的定量提供系统审查，以及AF研究的相关文献。具体而言，我们首先总结AF相关的成像技术，特别是LGE MRI。然后，我们详细介绍了四个计算任务的方法，并总结了每个任务中应用的验证策略。最后，概述了未来可能的未来发展，简要调查了上述方法的潜在临床应用。审查表明，该主题的研究仍处于早期阶段。虽然已经提出了几种方法，但特别是对于LA分割，由于与图像采集的高度变化相关的性能问题和图像采集差异有关的性能问题，仍有很大的算法发展。

大多数最先进的实例级人类解析模型都采用了两阶段的基于锚的探测器，因此无法避免启发式锚盒设计和像素级别缺乏分析。为了解决这两个问题，我们设计了一个实例级人类解析网络，该网络在像素级别上无锚固且可解决。它由两个简单的子网络组成：一个用于边界框预测的无锚检测头和一个用于人体分割的边缘引导解析头。无锚探测器的头继承了像素样的优点，并有效地避免了对象检测应用中证明的超参数的敏感性。通过引入部分感知的边界线索，边缘引导的解析头能够将相邻的人类部分与彼此区分开，最多可在一个人类实例中，甚至重叠的实例。同时，利用了精炼的头部整合盒子级别的分数和部分分析质量，以提高解析结果的质量。在两个多个人类解析数据集（即CIHP和LV-MHP-V2.0）和一个视频实例级人类解析数据集（即VIP）上进行实验，表明我们的方法实现了超过全球级别和实例级别的性能最新的一阶段自上而下的替代方案。