本工作详细介绍了3D级不变特征变换（SIFT）算法的高效实现，用于从大组体积的体积图像数据的机器学习的目的。 3D SIFT代码的主要操作在图形处理单元（GPU）上实现，包括从刻度空间金字塔的卷积，子采样和4D峰值检测。使用3D MRI人脑体积的不同人的3D MRI人脑体积来量化性能改进。基于二进制强大的独立基本特征（简要）代码提出了计算有效的3D Keypoint描述符，包括新颖的描述符，我们调用排名强大的独立基本特征（Rrief），并与原始3D Sift-andal方法\ CITEP {Toews2013 effity}相比。 。 GPU实现提供了超出优化CPU实现的大约7倍的加速，其中33秒到0.2秒，用于具有大约3000个关键点的3D尺寸（145,174,145）体素的3D卷到0.2秒。值得注意的加速包括卷积操作（20x），4d峰值检测（3x），子采样（3x）和高斯金字塔结构（2x）。高效的描述符与标准SIFT-RANDS描述符相比，使用2x的加速和6倍的内存节省，以减少的关键点对应关系，在计算效率和算法性能之间揭示折衷。我们实现的加速将允许对较大数据集进行更有效的分析。我们的优化GPU实现了3D Sift-Rank Extractor的HTTPS://github.com/carluerjb/3d_sift_cuda可用。

尽管提取了通过手工制作和基于学习的描述符实现的本地特征的进步，但它们仍然受到不符合非刚性转换的不变性的限制。在本文中，我们提出了一种计算来自静止图像的特征的新方法，该特征对于非刚性变形稳健，以避免匹配可变形表面和物体的问题。我们的变形感知当地描述符，命名优惠，利用极性采样和空间变压器翘曲，以提供旋转，尺度和图像变形的不变性。我们通过将等距非刚性变形应用于模拟环境中的对象作为指导来提供高度辨别的本地特征来培训模型架构端到端。该实验表明，我们的方法优于静止图像中的实际和现实合成可变形对象的不同数据集中的最先进的手工制作，基于学习的图像和RGB-D描述符。描述符的源代码和培训模型在https://www.verlab.dcc.ufmg.br/descriptors/neUrips2021上公开可用。

小天体的任务在很大程度上依赖于光学特征跟踪，以表征和相对导航。尽管深度学习导致了功能检测和描述方面的巨大进步，但由于大规模，带注释的数据集的可用性有限，因此培训和验证了空间应用程序的数据驱动模型具有挑战性。本文介绍了Astrovision，这是一个大规模数据集，由115,970个密集注释的，真实的图像组成，这些图像是过去和正在进行的任务中捕获的16个不同物体的真实图像。我们利用Astrovision开发一组标准化基准，并对手工和数据驱动的功能检测和描述方法进行详尽的评估。接下来，我们采用Astrovision对最先进的，深刻的功能检测和描述网络进行端到端培训，并在多个基准测试中表现出改善的性能。将公开使用完整的基准管道和数据集，以促进用于空间应用程序的计算机视觉算法的发展。

面部特征跟踪是成像跳芭式（BCG）的关键组成部分，其中需要精确定量面部关键点的位移，以获得良好的心率估计。皮肤特征跟踪能够在帕金森病中基于视频的电机降解量化。传统的计算机视觉算法包括刻度不变特征变换（SIFT），加速强大的功能（冲浪）和LUCAS-KANADE方法（LK）。这些长期代表了最先进的效率和准确性，但是当存在常见的变形时，如图所示，如图所示，如此。在过去的五年中，深度卷积神经网络对大多数计算机视觉任务的传统方法表现优于传统的传统方法。我们提出了一种用于特征跟踪的管道，其应用卷积堆积的AutoEncoder，以将图像中最相似的裁剪标识到包含感兴趣的特征的参考裁剪。 AutoEncoder学会将图像作物代表到特定于对象类别的深度特征编码。我们在面部图像上培训AutoEncoder，并验证其在手动标记的脸部和手视频中通常验证其跟踪皮肤功能的能力。独特的皮肤特征（痣）的跟踪误差是如此之小，因为我们不能排除他们基于$ \ chi ^ 2 $ -test的手动标签。对于0.6-4.2像素的平均误差，我们的方法在所有情况下都表现出了其他方法。更重要的是，我们的方法是唯一一个不分歧的方法。我们得出的结论是，我们的方法为特征跟踪，特征匹配和图像配准比传统算法创建更好的特征描述符。

本文的目的是通过提出一种新颖的方案，提高图像取证中复制伪造检测（CMFD）的准确性，主要贡献正在不断发展循环域覆盖（ECDC）算法。该方案集成了基于块和基于关键点的伪造检测方法。首先，从整个图像中提取逻辑极性空间和比例不变特征变换（SIFT）中的加速强大功能（SURF）。其次，采用广义2最近邻（G2NN）来获得大规模匹配的对。然后，采用随机样本共识（RANSAC）算法来滤除不匹配的对，从而允许粗略地位伪造区域。要更准确地展示这些伪造地区，我们提出了高效准确的ECDC算法呈现它们。该算法可以通过从联合演化的圆形域中提取块特征来找到满意的阈值区域，这些域在匹配对上以匹配的对。最后，应用形态学操作来优化检测到的伪造区域。实验结果表明，与其他最先进的CMFD方案相比，所提出的CMFD方案可以在各种攻击下实现更好的检测性能。

我们报告了一个新的模型，该模型将深度卷积神经网络（CNN）与生物视觉和基本粒子物理学联系起来。 CNN中的信息传播是通过与光学系统的类比建模的，该信息集中在瓶颈附近，其中2D空间分辨率折叠了大约焦点$ 1 \ times 1 = 1 $。 3D空间$（x，y，t）$由$（x，y）$在图像平面和CNN层$ t $中定义通过光轴和位于$（x，y）=（0,0）$的图像中心像素的信息传播方向，最尖锐的空间焦点仅限于图像平面中的混淆圈。我们的新颖见解是将主要光射线$（0,0，t）$建模为几何等同于$ n $的r^{n+} $中的正矫正$ i（x，y）\中的内侧向量 - 通道激活空间，例如沿着$ rgb $ color Space中的灰度（或亮度）矢量$（t，t，t）$。因此，信息集中在能量电位$ e（x，y，t）= \ | i（x，y，t）\ |^2 $中，特别是对于瓶颈层$ t $ t $ generic CNNS，是高度集中的和对称的关于空间起源$（0,0，t）$的对称，并表现出玻色子粒子的众所周知的“ sombrero”电位。这种对称性在分类中被打破，其中通用预训练的CNN模型的瓶颈层表现出对角度$ \ theta \在U（1）$中同时在图像平面和激活特征空间中同时定义的斜角$ \ theta \。最初的观察结果验证了我们的假设，可以从通用的预训练的CNN激活图和基于微小的存储器分类方案，而没有训练或调整。使用合并的一热$+ U（1）$损失从头开始培训可改善包括Imagenet在内的所有测试的任务的分类。

我们在并行计算机架构上的图像的自适应粒子表示（APR）上的离散卷积运算符的本机实现数据结构和算法。 APR是一个内容 - 自适应图像表示，其本地地将采样分辨率局部调整到图像信号。已经开发为大，稀疏图像的像素表示的替代方案，因为它们通常在荧光显微镜中发生。已经显示出降低存储，可视化和处理此类图像的存储器和运行时成本。然而，这要求图像处理本身在APRS上运行，而无需中间恢复为像素。然而，设计高效和可扩展的APR-Native图像处理原语是APR的不规则内存结构的复杂性。这里，我们提供了使用可以在离散卷积方面配制的各种算法有效和本地地处理APR图像所需的算法建筑块。我们表明APR卷积自然地导致缩放 - 自适应算法，可在多核CPU和GPU架构上有效地平行化。与基于像素的算法和概念性数据的卷积相比，我们量化了加速度。我们在单个NVIDIA GeForce RTX 2080 Gaming GPU上实现了最多1 TB / s的像素等效吞吐量，而不是基于像素的实现的存储器最多两个数量级。

点云注册是许多应用程序（例如本地化，映射，跟踪和重建）的基本任务。成功的注册依赖于提取鲁棒和歧视性的几何特征。现有的基于学习的方法需要高计算能力来同时处理大量原始点。尽管这些方法取得了令人信服的结果，但由于高计算成本，它们很难在现实情况下应用。在本文中，我们介绍了一个框架，该框架使用图形注意网络有效地从经济上提取密集的特征，以进行点云匹配和注册（DFGAT）。 DFGAT的检测器负责在大型原始数据集中找到高度可靠的关键点。 DFGAT的描述符将这些关键点与邻居相结合，以提取不变的密度特征，以准备匹配。图形注意力网络使用了丰富点云之间关系的注意机制。最后，我们将其视为最佳运输问题，并使用Sinkhorn算法找到正匹配和负面匹配。我们对KITTI数据集进行了彻底的测试，并评估了该方法的有效性。结果表明，与其他最先进的方法相比，使用有效紧凑的关键点选择和描述可以实现最佳性能匹配指标，并达到99.88％注册的最高成功率。

在图像登记中，许多努力已经致力于开发流行的标准化互信息标准的替代方案。同时对这些努力，越来越多的作品已经证明了登记准确性的大量收益也可以通过对准图像的结构表示而不是图像本身来实现的。在这条研究路径之后，我们提出了一种基于从诸如梯度矢量流场的结构信息的正则化矢量字段的对准来提出一种新方法，如梯度向量流字段，我们调用\ Texit {Vector Field Mettionity}。我们的方法可以通过将矢量字段相似与基于强度的注册的替换方法相似，以直接的方式与任何现有的登记框架组合。在我们的实验中，我们表明所提出的方法在几个公共图像数据集上使用多样性的成像方式和解剖位置对几个公共图像数据集进行了比较。

In this paper, we present a novel scale-and rotation-invariant interest point detector and descriptor, coined SURF (Speeded Up Robust Features). It approximates or even outperforms previously proposed schemes with respect to repeatability, distinctiveness, and robustness, yet can be computed and compared much faster.This is achieved by relying on integral images for image convolutions; by building on the strengths of the leading existing detectors and descriptors (in casu, using a Hessian matrix-based measure for the detector, and a distribution-based descriptor); and by simplifying these methods to the essential. This leads to a combination of novel detection, description, and matching steps. The paper presents experimental results on a standard evaluation set, as well as on imagery obtained in the context of a real-life object recognition application. Both show SURF's strong performance.

在许多临床应用中，内窥镜图像之间的特征匹配和查找对应关系是从临床序列中进行快速异常定位的许多临床应用中的关键步骤。尽管如此，由于内窥镜图像中存在较高的纹理可变性，稳健和准确的特征匹配的发展成为一项具有挑战性的任务。最近，通过卷积神经网络（CNN）提取的深度学习技术已在各种计算机视觉任务中获得了吸引力。但是，他们都遵循一个有监督的学习计划，其中需要大量注释的数据才能达到良好的性能，这通常不总是可用于医疗数据数据库。为了克服与标记的数据稀缺性有关的限制，自我监督的学习范式最近在许多应用程序中表现出了巨大的成功。本文提出了一种基于深度学习技术的内窥镜图像匹配的新型自我监督方法。与标准手工制作的本地功能描述符相比，我们的方法在精度和召回方面优于它们。此外，与选择基于精度和匹配分数的基于最先进的基于深度学习的监督方法相比，我们的自我监管的描述符提供了竞争性能。

图像生物标准化倡议（IBSI）旨在通过标准化从图像中提取图像生物标志物（特征）的计算过程来提高射致研究的再现性。我们之前建立了169个常用特征的参考值，创建了标准的射频图像处理方案，并开发了用于垄断研究的报告指南。但是，若干方面没有标准化。在这里，我们提出了在射频中使用卷积图像过滤器的参考手册的初步版本。滤波器，例如高斯滤波器的小波或拉普拉斯，在强调特定图像特征（如边缘和Blob）中发挥重要组成部分。已发现从过滤滤波器响应图派生的功能可重复差。此参考手册构成了持续工作的基础，用于标准化卷积滤波器中的覆盖物中的持续工作，并在这项工作进行时更新。

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

Automatically identifying feature correspondences between multimodal images is facing enormous challenges because of the significant differences both in radiation and geometry. To address these problems, we propose a novel feature matching method, named R2FD2, that is robust to radiation and rotation differences.Our R2FD2 is conducted in two critical contributions, consisting of a repeatable feature detector and a rotation-invariant feature descriptor. In the first stage, a repeatable feature detector called the Multi-channel Auto-correlation of the Log-Gabor is presented for feature detection, which combines the multi-channel auto-correlation strategy with the Log-Gabor wavelets to detect interest points with high repeatability and uniform distribution. In the second stage, a rotation-invariant feature descriptor is constructed, named the Rotation-invariant Maximum index map of the Log-Gabor, which consists of two components: fast assignment of dominant orientation and construction of feature representation. In the process of fast assignment of dominant orientation, a Rotation-invariant Maximum Index Map is built to address rotation deformations. Then, the proposed RMLG incorporates the rotation-invariant RMIM with the spatial configuration of DAISY to depict a more discriminative feature representation, which improves RMLGs resistance to radiation and rotation variances.

由于点云数据的稀缺性质，在大规模环境中使用激光雷达识别使用激光雷达的地方是具有挑战性的。在本文中，我们提出了BVMATCH，基于LIDAR的帧到帧位置识别框架，其能够估计2D相对姿势。基于地面区域可以近似作为平面的假设，我们将地面区域统一地分散到网格和项目3D LIDAR扫描到鸟瞰图（BV）图像。我们进一步使用了一组Log-Gabor过滤器来构建一个最大索引图（MIM），用于编码图像中结构的方向信息。我们从理论上分析MIM的方向特征，并引入了一种名为鸟瞰图特征变换（BVFT）的新颖描述符。所提出的BVFT对BV图像的旋转和强度变化不敏感。利用BVFT描述符，统一LIDAR将识别和将估算任务统一到BVMATCT框架中。在三个大规模数据集上进行的实验表明，BVMATCH在召回的位置识别和姿势估计精度的召回速率方面优于最先进的方法。

We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.

An object recognition system has been developed that uses a new class of local image features. The features are invariantto image scaling, translation, and rotation, and partially invariant to illumination changes and affine or 3D projection. These features share similar properties with neurons in inferior temporal cortex that are used for object recognition in primate vision. Features are efficiently detected through a staged filtering approach that identifies stable points in scale space. Image keys are created that allow for local geometric deformations by representing blurred image gradients in multiple orientation planes and at multiple scales. The keys are used as input to a nearest-neighbor indexing method that identifies candidate object matches. Final verification of each match is achieved by finding a low-residual least-squares solution for the unknown model parameters. Experimental results show that robust object recognition can be achieved in cluttered partially-occluded images with a computation time of under 2 seconds.

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

传播相位对比度同步同步rotron MicrotoMography（PPC-SR $ {\ mu} $ CT）是对考古遗骸内部结构的非侵入性和非破坏性访问的黄金标准。在该分析中，需要分割虚拟标本以分开不同的部件或材料，通常需要相当多的人力努力的过程。在MicrotoMograph成像（ASEMI）项目的自动分割中，我们开发了一种自动分割这些容量图像的工具，使用手动分段样本来调谐和培训机器学习模型。对于一套四个古埃及动物木乃伊标本，与手动细分切片相比，达到了94-98％的整体准确性，使用深度学习（97-99％）接近现货商业软件的结果较低的复杂性。对分段输出的定性分析表明，我们的结果在对来自深度学习的人的可用性方面接近，证明了这些技术的使用。

兴趣点检测是计算机视觉和图像处理中最根本，最关键的问题之一。在本文中，我们对图像特征信息（IFI）提取技术进行了全面综述，以进行利益点检测。为了系统地介绍现有的兴趣点检测方法如何从输入图像中提取IFI，我们提出了IFI提取技术的分类学检测。根据该分类法，我们讨论了不同类型的IFI提取技术以进行兴趣点检测。此外，我们确定了与现有的IFI提取技术有关的主要未解决的问题，以及以前尚未讨论过的任何兴趣点检测方法。提供了现有的流行数据集和评估标准，并评估和讨论了18种最先进方法的性能。此外，还详细阐述了有关IFI提取技术的未来研究方向。