在Connectomics领域，主要问题是3D神经元分段。虽然基于深度学习的方法取得了显着的准确性，但仍然存在错误，特别是在具有图像缺陷的区域中。一种常见类型的缺陷是连续缺失的图像部分。这里的数据沿一些轴丢失，所得到的神经元分割在间隙上分开。为了解决这个问题，我们提出了一种基于神经元点云表示的新方法。我们将其作为分类问题和训练素材，是最先进的点云分类模型，以确定应该合并哪种神经元。我们表明我们的方法不仅强烈表现，而且可以合理地缩放到超出其他方法试图解决的问题。此外，我们的点云表示在数据方面是高效的，维持高性能，数据对于其他方法是不可行的。我们认为这是对其他校对任务使用点云表示的可行性的指标。

先进的体积成像方法和遗传编码的活性指标已允许在\ textit {caenorhabditis elegans}中对全脑活性进行全面表征。然而，线虫神经系统的恒定运动和变形对行为动物中的密集填充神经元的一致构成了巨大的挑战。在这里，我们提出了一种级联解决方案，用于在自由移动的\ textit {c中长期和快速识别头发神经节神经元。秀丽隐杆线}。首先，通过深度学习算法检测到来自荧光图像的潜在神经元区。第二，二维神经元区域被融合到三维神经元实体中。第三，通过利用神经元和神经元之间的相对位置信息的神经元密度分布，多级人工神经网络将工程的神经元向量转化为数字神经元身份。有了少量的培训样品，我们的自下而上的方法能够处理每一卷 - $ 1024 \ times 1024 \ times 18 $ in Voxels-少于1秒钟，并获得了$ 91 \％\％$ $ $ 91 \％的神经元检测及以上的准确性$ 80 \％$ in Neuronal跟踪在长时间的视频录制中。我们的工作代表了迈向快速和完全自动化算法的一步，用于解码自然主义行为的全部大脑活动。

在本文中，我们提出了一种从3D点云生成分层的体积拓扑图的方法。我们的地图中有三个基本的分层级别：$ Storey - Region - 卷$。我们的方法的优点在输入和输出中反映。在输入方面，我们接受多层点云和建筑结构，倾斜的屋顶或天花板。在输出方面，我们可以使用不同维度的度量信息来生成结果，适用于不同的机器人应用。算法通过从3D Voxel占用映射生成$卷$来生成体积表示。然后，我们加入$段落$ s（$卷$之间的连接），将小$卷$组合成一个大多数$地区$，并使用2D分段方法进行更好的拓扑表示。我们在几个可自由的数据集中评估我们的方法。实验突出了我们的方法的优势。

There are multiple scales of abstraction from which we can describe the same image, depending on whether we are focusing on fine-grained details or a more global attribute of the image. In brain mapping, learning to automatically parse images to build representations of both small-scale features (e.g., the presence of cells or blood vessels) and global properties of an image (e.g., which brain region the image comes from) is a crucial and open challenge. However, most existing datasets and benchmarks for neuroanatomy consider only a single downstream task at a time. To bridge this gap, we introduce a new dataset, annotations, and multiple downstream tasks that provide diverse ways to readout information about brain structure and architecture from the same image. Our multi-task neuroimaging benchmark (MTNeuro) is built on volumetric, micrometer-resolution X-ray microtomography images spanning a large thalamocortical section of mouse brain, encompassing multiple cortical and subcortical regions. We generated a number of different prediction challenges and evaluated several supervised and self-supervised models for brain-region prediction and pixel-level semantic segmentation of microstructures. Our experiments not only highlight the rich heterogeneity of this dataset, but also provide insights into how self-supervised approaches can be used to learn representations that capture multiple attributes of a single image and perform well on a variety of downstream tasks. Datasets, code, and pre-trained baseline models are provided at: https://mtneuro.github.io/ .

Point cloud is an important type of geometric data structure. Due to its irregular format, most researchers transform such data to regular 3D voxel grids or collections of images. This, however, renders data unnecessarily voluminous and causes issues. In this paper, we design a novel type of neural network that directly consumes point clouds, which well respects the permutation invariance of points in the input. Our network, named PointNet, provides a unified architecture for applications ranging from object classification, part segmentation, to scene semantic parsing. Though simple, PointNet is highly efficient and effective. Empirically, it shows strong performance on par or even better than state of the art. Theoretically, we provide analysis towards understanding of what the network has learnt and why the network is robust with respect to input perturbation and corruption.

背景和目的：电子显微镜（EM）的进步现在允许数百微米组织的三维（3D）成像具有纳米规模的分辨率，为研究大脑的超微结构提供新的机会。在这项工作中，我们介绍了一种可自由的GACSON软件，用于3D-EM脑组织样本中的骨髓轴突的可视化，分割，评估和形态分析。方法：Gacson软件配备了图形用户界面（GUI）。它自动分段粒细胞轴突的轴外空间及其相应的髓鞘护套，并允许手动分段，校对和分段组件的交互式校正。 GaCson分析骨髓轴突的形态，如轴突口，轴突偏心，髓鞘厚度或G比。结果：我们通过在假手术或创伤性脑损伤（TBI）之后，通过分割和分析Myelizing ansoce在大鼠躯体损伤（TBI）后的六3D-EM体积中的Myelized轴突来说明Gacson的使用。我们的研究结果表明，在损伤后五个月的TBI动物在躯体抑制皮质中近义Cortex中的近期骨髓轴突的等同直径。结论：我们的结果表明，GACSON是3D-EM卷中肢体化轴突的可视化，分割，评估和形态分析的有价值的工具。在麻省理工学院许可证下，Gacson在Https://github.com/andreabehan/g-acson免费提供。

Three-dimensional geometric data offer an excellent domain for studying representation learning and generative modeling. In this paper, we look at geometric data represented as point clouds. We introduce a deep AutoEncoder (AE) network with state-of-the-art reconstruction quality and generalization ability. The learned representations outperform existing methods on 3D recognition tasks and enable shape editing via simple algebraic manipulations, such as semantic part editing, shape analogies and shape interpolation, as well as shape completion. We perform a thorough study of different generative models including GANs operating on the raw point clouds, significantly improved GANs trained in the fixed latent space of our AEs, and Gaussian Mixture Models (GMMs). To quantitatively evaluate generative models we introduce measures of sample fidelity and diversity based on matchings between sets of point clouds. Interestingly, our evaluation of generalization, fidelity and diversity reveals that GMMs trained in the latent space of our AEs yield the best results overall.

Robust object recognition is a crucial skill for robots operating autonomously in real world environments. Range sensors such as LiDAR and RGBD cameras are increasingly found in modern robotic systems, providing a rich source of 3D information that can aid in this task. However, many current systems do not fully utilize this information and have trouble efficiently dealing with large amounts of point cloud data. In this paper, we propose VoxNet, an architecture to tackle this problem by integrating a volumetric Occupancy Grid representation with a supervised 3D Convolutional Neural Network (3D CNN). We evaluate our approach on publicly available benchmarks using LiDAR, RGBD, and CAD data. VoxNet achieves accuracy beyond the state of the art while labeling hundreds of instances per second.

由胰腺管网络的具有挑战性的分割任务激发，本文解决了两个通常遇到生物医学成像问题的问题：分割的拓扑一致性，以及昂贵或困难的注释。我们的贡献如下：a）我们提出了一个拓扑评分，该评分衡量了预测和地面真理分割之间的拓扑和几何一致性，应用于模型选择和验证。 b）我们在时间序列图像数据上为这一困难的嘈杂任务提供了完整的深度学习方法。在我们的方法中，我们首先使用半监管的U-NET体系结构，适用于通用分割任务，该任务共同训练自动编码器和分割网络。然后，随着时间的流逝，我们使用循环的跟踪来进一步改善预测的拓扑。这种半监督的方法使我们能够利用未经通知的数据来学习特征表示，尽管我们的带注释的培训数据的变化非常有限，但该特征表示具有较高可变性的数据。我们的贡献在具有挑战性的分割任务上得到了验证，从嘈杂的实时成像共聚焦显微镜中定位胎儿胰腺中的管状结构。我们表明，我们的半监督模型不仅优于完全监督和预训练的模型，而且还优于在训练过程中考虑拓扑一致性的方法。此外，与经过平均循环得分为0.762的CLDICE的U-NET相比，我们的方法的平均环路得分为0.808。

Figure 1: Semantic parsing of a large-scale point cloud. Left: the raw point cloud. Middle: the results of parsing the point cloud into disjoint spaces (i.e. the floor plan). Right: the results of parsing a detected room (marked with the black circle) into semantic elements.

与许多研究领域相关的管状网络样结构（例如血管，神经元或道路）的准确分割与许多研究领域有关。对于这种结构，拓扑是它们最重要的特征。特别保留连接性：在血管网络的情况下，缺少连接的容器完全改变了血液流动的动力学。我们介绍了一种新颖的相似性度量，称为Centerlinedice（短CLDICE），该度量是根据分割掩模及其（形态）骨骼的相交进行计算的。从理论上讲，我们证明，CLDICE保证拓扑保存至二进制2D和3D分割的同型等效性。扩展这一点，我们提出了一种计算高效，可区分的损失函数（软性的），用于训练任意的神经分割网络。我们在五个公共数据集上基准了软性损失，包括船只，道路和神经元（2D和3D）。对软性播放的培训可通过更准确的连通性信息，更高的图形相似性和更好的体积分数进行分割。

最近，使用像涂鸦这样的弱注释进行弱监督的图像分割引起了人们的关注，因为与像素/体素水平上的耗时和标签密集型标记相比，这种注释更容易获得。但是，由于涂鸦缺乏感兴趣区域（ROI）的结构信息，因此现有的基于涂鸦的方法的边界定位不良。此外，大多数当前方法都是为2D图像分割而设计的，如果直接应用于图像切片，它们不会完全利用体积信息。在本文中，我们提出了一个基于涂鸦的体积图像分割，Scribble2D5，该图像对3D各向异性图像进行分割并改善边界预测。为了实现这一目标，我们使用提出的标签传播模块增强了2.5D注意的UNET，以扩展涂鸦的语义信息以及静态和主动边界预测的组合，以学习ROI的边界并正常其形状。在三个公共数据集上进行的广泛实验证明了Scribble2d5显着优于当前基于涂鸦的方法，并处理了完全监督的方法的性能。我们的代码可在线提供。

我们展示了Pytorch Connectomics（Pytc），一个开源深度学习框架，用于体积显微镜图像的语义和实例分割，基于Pytorch。我们展示了Pytc在Connectomics领域的有效性，其旨在在纳米分辨率下进行线粒体，突触像Mitochondria这样的细胞器，以了解动物脑中的神经元通信，代谢和发育。 Pytc是一个可伸缩且灵活的工具箱，可以在不同的尺度上处理数据集，并支持多任务和半监督学习，以更好地利用昂贵的专家注释和培训期间的大量未标记数据。通过在不编码的情况下改变配置选项并且适用于不同组织和成像方式的其他2D和3D分段任务，可以在Pytc中容易地实现这些功能。定量方面，我们的框架在Cremi挑战中实现了突触裂缝分割的最佳性能（以相对6.1美元\％$）和线粒体和神经元核细胞分割的竞争性能。代码和教程在https://connectomics.readthedocs.io上公开提供。

Grasp learning has become an exciting and important topic in robotics. Just a few years ago, the problem of grasping novel objects from unstructured piles of clutter was considered a serious research challenge. Now, it is a capability that is quickly becoming incorporated into industrial supply chain automation. How did that happen? What is the current state of the art in robotic grasp learning, what are the different methodological approaches, and what machine learning models are used? This review attempts to give an overview of the current state of the art of grasp learning research.

有许多方法可以使用弱监管来培训网络到分段2D图像。相比之下，现有的3D方法依赖于3D图像卷的2D片的子集的全监督。在本文中，我们提出了一种真正无弱监督的方法，即我们只需要在目标对象的表面上提供一组稀疏的3D点，这是一项可以快速完成的便捷任务。我们使用3D点以使3D模板变形，使其大致与目标对象轮廓匹配，并且我们介绍了利用粗略模板提供的监控以培训网络以找到准确边界的体系结构。我们评估我们在计算机断层扫描（CT），磁共振图像（MRI）和电子显微镜（EM）图像数据集中的方法的性能。我们将表明，在减少监督成本下，它始终以3D弱监管方式表现出更传统的方法。

Learning universal representations across different applications domain is an open research problem. In fact, finding universal architecture within the same application but across different types of datasets is still unsolved problem too, especially in applications involving processing 3D point clouds. In this work we experimentally test several state-of-the-art learning-based methods for 3D point cloud registration against the proposed non-learning baseline registration method. The proposed method either outperforms or achieves comparable results w.r.t. learning based methods. In addition, we propose a dataset on which learning based methods have a hard time to generalize. Our proposed method and dataset, along with the provided experiments, can be used in further research in studying effective solutions for universal representations. Our source code is available at: github.com/DavidBoja/greedy-grid-search.

We consider the problem of finding an accurate representation of neuron shapes, extracting sub-cellular features, and classifying neurons based on neuron shapes. In neuroscience research, the skeleton representation is often used as a compact and abstract representation of neuron shapes. However, existing methods are limited to getting and analyzing "curve" skeletons which can only be applied for tubular shapes. This paper presents a 3D neuron morphology analysis method for more general and complex neuron shapes. First, we introduce the concept of skeleton mesh to represent general neuron shapes and propose a novel method for computing mesh representations from 3D surface point clouds. A skeleton graph is then obtained from skeleton mesh and is used to extract sub-cellular features. Finally, an unsupervised learning method is used to embed the skeleton graph for neuron classification. Extensive experiment results are provided and demonstrate the robustness of our method to analyze neuron morphology.

机器学习和计算机视觉技术近年来由于其自动化，适合性和产生惊人结果的能力而迅速发展。因此，在本文中，我们调查了2014年至2022年之间发表的关键研究，展示了不同的机器学习算法研究人员用来分割肝脏，肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织（肝果，肝肿瘤或肝毒剂）对被调查的研究进行了划分，强调了同时解决多个任务的研究。此外，机器学习算法被归类为受监督或无监督的，如果属于某个方案的工作量很大，则将进一步分区。此外，对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论，强调了组织者的原始贡献和其他研究人员的贡献。同样，在我们的评论中提到了文献中过度使用的指标，这强调了它们与手头的任务的相关性。最后，强调创新研究人员应对需要解决的差距的关键挑战和未来的方向，例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。

肺癌是最致命的癌症之一，部分诊断和治疗取决于肿瘤的准确描绘。目前是最常见的方法的人以人为本的分割，须遵守观察者间变异性，并且考虑到专家只能提供注释的事实，也是耗时的。最近展示了有前途的结果，自动和半自动肿瘤分割方法。然而，随着不同的研究人员使用各种数据集和性能指标验证了其算法，可靠地评估这些方法仍然是一个开放的挑战。通过2018年IEEE视频和图像处理（VIP）杯竞赛创建的计算机断层摄影扫描（LOTUS）基准测试的肺起源肿瘤分割的目标是提供唯一的数据集和预定义的指标，因此不同的研究人员可以开发和以统一的方式评估他们的方法。 2018年VIP杯始于42个国家的全球参与，以获得竞争数据。在注册阶段，有129名成员组成了来自10个国家的28个团队，其中9个团队将其达到最后阶段，6队成功完成了所有必要的任务。简而言之，竞争期间提出的所有算法都是基于深度学习模型与假阳性降低技术相结合。三种决赛选手开发的方法表明，有希望的肿瘤细分导致导致越来越大的努力应降低假阳性率。本次竞争稿件概述了VIP-Cup挑战，以及所提出的算法和结果。

We introduce Similarity Group Proposal Network (SGPN), a simple and intuitive deep learning framework for 3D object instance segmentation on point clouds. SGPN uses a single network to predict point grouping proposals and a corresponding semantic class for each proposal, from which we can directly extract instance segmentation results. Important to the effectiveness of SGPN is its novel representation of 3D instance segmentation results in the form of a similarity matrix that indicates the similarity between each pair of points in embedded feature space, thus producing an accurate grouping proposal for each point. Experimental results on various 3D scenes show the effectiveness of our method on 3D instance segmentation, and we also evaluate the capability of SGPN to improve 3D object detection and semantic segmentation results. We also demonstrate its flexibility by seamlessly incorporating 2D CNN features into the framework to boost performance.