在双胞胎输血综合征（TTTS）中，单座管胎盘中的异常血管吻合可能会在两个胎儿之间产生不均匀的流量。在当前的实践中，通过使用激光消融闭合异常吻合来对TTT进行手术治疗。该手术在最小的侵入性中依赖于胎儿镜检查。有限的视野使吻合术识别成为外科医生的具有挑战性的任务。为了应对这一挑战，我们提出了一个基于学习的框架，用于视野扩展的体内胎儿镜框架注册。该框架的新颖性依赖于基于学习的关键点提案网络以及基于胎儿镜图像细分和（ii）不一致的同符的编码策略（i）无关的关键点。我们在来自6个不同女性的6个TTT手术的6个术中序列的数据集中验证了我们的框架，这是根据最新的最新算法状态，该算法依赖于胎盘血管的分割。与艺术的状态相比，提出的框架的性能更高，为稳健的马赛克在TTTS手术期间提供背景意识铺平了道路。

胎儿镜检查激光​​光凝是一种广泛采用的方法，用于治疗双胞胎输血综合征（TTTS）。该过程涉及光凝病理吻合术以调节双胞胎之间的血液交换。由于观点有限，胎儿镜的可操作性差，可见性差和照明的可变性，因此该程序尤其具有挑战性。这些挑战可能导致手术时间增加和消融不完全。计算机辅助干预措施（CAI）可以通过识别场景中的关键结构并通过视频马赛克来扩展胎儿镜观景领域，从而为外科医生提供决策支持和背景意识。由于缺乏设计，开发和测试CAI算法的高质量数据，该领域的研究受到了阻碍。通过作为MICCAI2021内窥镜视觉挑战组织的胎儿镜胎盘胎盘分割和注册（FETREG2021）挑战，我们发布了第一个Largescale Multencentre TTTS数据集，用于开发广义和可靠的语义分割和视频摩擦质量algorithms。对于这一挑战，我们发布了一个2060张图像的数据集，该数据集是从18个体内TTTS胎儿镜检查程序和18个简短视频剪辑的船只，工具，胎儿和背景类别的像素通道。七个团队参与了这一挑战，他们的模型性能在一个看不见的测试数据集中评估了658个从6个胎儿镜程序和6个短剪辑的图像的图像。这项挑战为创建通用解决方案提供了用于胎儿镜面场景的理解和摩西式解决方案的机会。在本文中，我们介绍了FETREG2021挑战的发现，以及报告TTTS胎儿镜检查中CAI的详细文献综述。通过这一挑战，它的分析和多中心胎儿镜数据的发布，我们为该领域的未来研究提供了基准。

尽管提取了通过手工制作和基于学习的描述符实现的本地特征的进步，但它们仍然受到不符合非刚性转换的不变性的限制。在本文中，我们提出了一种计算来自静止图像的特征的新方法，该特征对于非刚性变形稳健，以避免匹配可变形表面和物体的问题。我们的变形感知当地描述符，命名优惠，利用极性采样和空间变压器翘曲，以提供旋转，尺度和图像变形的不变性。我们通过将等距非刚性变形应用于模拟环境中的对象作为指导来提供高度辨别的本地特征来培训模型架构端到端。该实验表明，我们的方法优于静止图像中的实际和现实合成可变形对象的不同数据集中的最先进的手工制作，基于学习的图像和RGB-D描述符。描述符的源代码和培训模型在https://www.verlab.dcc.ufmg.br/descriptors/neUrips2021上公开可用。

在许多临床应用中，内窥镜图像之间的特征匹配和查找对应关系是从临床序列中进行快速异常定位的许多临床应用中的关键步骤。尽管如此，由于内窥镜图像中存在较高的纹理可变性，稳健和准确的特征匹配的发展成为一项具有挑战性的任务。最近，通过卷积神经网络（CNN）提取的深度学习技术已在各种计算机视觉任务中获得了吸引力。但是，他们都遵循一个有监督的学习计划，其中需要大量注释的数据才能达到良好的性能，这通常不总是可用于医疗数据数据库。为了克服与标记的数据稀缺性有关的限制，自我监督的学习范式最近在许多应用程序中表现出了巨大的成功。本文提出了一种基于深度学习技术的内窥镜图像匹配的新型自我监督方法。与标准手工制作的本地功能描述符相比，我们的方法在精度和召回方面优于它们。此外，与选择基于精度和匹配分数的基于最先进的基于深度学习的监督方法相比，我们的自我监管的描述符提供了竞争性能。

我们提出了一种使用图像增强的自我监督训练方法，用于学习视图的视觉描述符。与通常需要复杂数据集的现有作品（例如注册的RGBD序列）不同，我们在无序的一组RGB图像上训练。这允许从单个相机视图（例如，在带有安装式摄像机的现有机器人单元格中学习）学习。我们使用数据增强创建合成视图和密集的像素对应关系。尽管数据记录和设置要求更简单，但我们发现我们的描述符与现有方法具有竞争力。我们表明，对合成对应的培训提供了各种相机视图的描述符的一致性。我们将训练与来自多种视图的几何对应关系进行比较，并提供消融研究。我们还使用从固定式摄像机中学到的描述符显示了一个机器人箱进行挑选实验，以定义掌握偏好。

This paper presents an accurate, highly efficient, and learning-free method for large-scale odometry estimation using spinning radar, empirically found to generalize well across very diverse environments -- outdoors, from urban to woodland, and indoors in warehouses and mines - without changing parameters. Our method integrates motion compensation within a sweep with one-to-many scan registration that minimizes distances between nearby oriented surface points and mitigates outliers with a robust loss function. Extending our previous approach CFEAR, we present an in-depth investigation on a wider range of data sets, quantifying the importance of filtering, resolution, registration cost and loss functions, keyframe history, and motion compensation. We present a new solving strategy and configuration that overcomes previous issues with sparsity and bias, and improves our state-of-the-art by 38%, thus, surprisingly, outperforming radar SLAM and approaching lidar SLAM. The most accurate configuration achieves 1.09% error at 5Hz on the Oxford benchmark, and the fastest achieves 1.79% error at 160Hz.

关键点检测和描述是计算机视觉系统中常用的构建块，特别是用于机器人和自主驾驶。然而，大多数迄今为止的技术都集中在标准相机上，几乎没有考虑到Fisheye相机，这些摄像机通常用于城市驾驶和自动停车处。在本文中，我们提出了一种用于鱼眼图像的新型培训和评估管道。我们利用SuperPoint作为我们的基线，这是一个自我监督的Keypoint检测器和描述符，该探测器和描述符已经实现了最先进的同位估计。我们介绍了一种Fisheye适应管道，以便在未造成的Fisheye图像上培训。我们通过在牛津机Robotcar数据集上引入用于检测可重复性和描述符的鱼眼基于评估方法来评估HPAPTES基准测试的性能。

自发运动评估可以预测高风险婴儿的长期发育障碍。为了开发用于后续疾病的自动预测的算法，需要通过婴儿姿势估计的段和关节的高精度定位。训练了四种类型的卷积神经网络，并在新颖的婴儿姿势数据集上进行培训，并从临床国际社会中涵盖了1224个视频的大变化。将网络的本地化性能评估为估计的关键点位置和人类专家注释之间的偏差。还评估了计算效率，以确定神经网络在临床实践中的可行性。表现最佳的神经网络对人类专家注释的帧间扩散具有类似的本地化误差，同时仍然有效地运行。总体而言，我们的研究结果表明，婴儿自发运动的姿势估计有巨大的潜力，支持研究潜冲在早期检测儿童发育疾病的潜在脑损伤的发育障碍，这些脑卒中与人为水平绩效的录像量。

跟踪球员和团队运动中的球是分析表现或增强游戏体验的关键。当这些数据的唯一来源是广播视频时，需要运动场注册系统来估算同型并重新投影球或从图像空间到场地的球员。本文描述了在MMSPorts 2022 Camera Callibration Challenge的背景下，一个新的篮球法庭注册框架。该方法基于通过用透视感知约束采样的关键点的位置的编码器编码网络的估计。篮子位置的回归和重型数据增强技术使该模型稳健地对不同的领域。消融研究表明，我们的贡献对挑战测试集的积极影响。与挑战基线相比，我们的方法将平方误差除以4.7。

Image animation consists of generating a video sequence so that an object in a source image is animated according to the motion of a driving video. Our framework addresses this problem without using any annotation or prior information about the specific object to animate. Once trained on a set of videos depicting objects of the same category (e.g. faces, human bodies), our method can be applied to any object of this class. To achieve this, we decouple appearance and motion information using a self-supervised formulation. To support complex motions, we use a representation consisting of a set of learned keypoints along with their local affine transformations. A generator network models occlusions arising during target motions and combines the appearance extracted from the source image and the motion derived from the driving video. Our framework scores best on diverse benchmarks and on a variety of object categories. Our source code is publicly available 1 .

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。

Video provides us with the spatio-temporal consistency needed for visual learning. Recent approaches have utilized this signal to learn correspondence estimation from close-by frame pairs. However, by only relying on close-by frame pairs, those approaches miss out on the richer long-range consistency between distant overlapping frames. To address this, we propose a self-supervised approach for correspondence estimation that learns from multiview consistency in short RGB-D video sequences. Our approach combines pairwise correspondence estimation and registration with a novel SE(3) transformation synchronization algorithm. Our key insight is that self-supervised multiview registration allows us to obtain correspondences over longer time frames; increasing both the diversity and difficulty of sampled pairs. We evaluate our approach on indoor scenes for correspondence estimation and RGB-D pointcloud registration and find that we perform on-par with supervised approaches.

In this paper, we propose an end-to-end framework that jointly learns keypoint detection, descriptor representation and cross-frame matching for the task of image-based 3D localization. Prior art has tackled each of these components individually, purportedly aiming to alleviate difficulties in effectively train a holistic network. We design a self-supervised image warping correspondence loss for both feature detection and matching, a weakly-supervised epipolar constraints loss on relative camera pose learning, and a directional matching scheme that detects key-point features in a source image and performs coarse-to-fine correspondence search on the target image. We leverage this framework to enforce cycle consistency in our matching module. In addition, we propose a new loss to robustly handle both definite inlier/outlier matches and less-certain matches. The integration of these learning mechanisms enables end-to-end training of a single network performing all three localization components. Bench-marking our approach on public data-sets, exemplifies how such an end-to-end framework is able to yield more accurate localization that out-performs both traditional methods as well as state-of-the-art weakly supervised methods.

超声（US）广泛用于实时成像，无辐射和便携性的优势。在临床实践中，分析和诊断通常依赖于美国序列，而不是单个图像来获得动态的解剖信息。对于新手来说，这是一项挑战，因为使用患者的足够视频进行练习是临床上不可行的。在本文中，我们提出了一个新颖的框架，以综合高保真美国视频。具体而言，合成视频是通过基于给定驾驶视频的动作来动画源内容图像来生成的。我们的亮点是三倍。首先，利用自我监督学习的优势，我们提出的系统以弱监督的方式进行了培训，以进行关键点检测。然后，这些关键点为处理美国视频中的复杂动态动作提供了重要信息。其次，我们使用双重解码器将内容和纹理学习解除，以有效地减少模型学习难度。最后，我们采用了对抗性训练策略，并采用了GAN损失，以进一步改善生成的视频的清晰度，从而缩小了真实和合成视频之间的差距。我们在具有高动态运动的大型内部骨盆数据集上验证我们的方法。广泛的评估指标和用户研究证明了我们提出的方法的有效性。

对于视网膜图像匹配（RIM），我们提出了SuperRetina，这是第一个具有可训练的键盘检测器和描述符的端到端方法。 SuperRetina以一种新颖的半监督方式接受了训练。一小部分（近100张）图像未完全标记，并用于监督网络以检测血管树上的关键点。为了攻击手动标记的不完整性，我们提出了进行性逐步扩展，以丰富每个训练时期的关键点标签。通过利用基于关键的改进的三重态损失作为描述损失，超级逆局以完全输入图像大小产生高度歧视性描述符。在多个现实世界数据集上进行了广泛的实验证明了超级丽菌的生存能力。即使手动标记被自动标记取代，因此使训练过程完全免费手动通道，超级retina也可以与多个强大的基线进行比较，以进行两个RIM任务，即图像注册和身份验证。 SuperRetina将是开源。

瑜伽是全球广受好评的，广泛推荐的健康生活实践。在执行瑜伽时保持正确的姿势至关重要。在这项工作中，我们采用了从人类姿势估计模型中的转移学习来提取整个人体的136个关键点，以训练一个随机的森林分类器，该分类器用于估算瑜伽室。在内部收集的内部收集的瑜伽视频数据库中评估了结果，该数据库是从4个不同的相机角度记录的51个主题。我们提出了一个三步方案，用于通过对1）看不见的帧，2）看不见的受试者进行测试来评估瑜伽分类器的普遍性。我们认为，对于大多数应用程序，对看不见的主题的验证精度和看不见的摄像头是最重要的。我们经验分析了三个公共数据集，转移学习的优势以及目标泄漏的可能性。我们进一步证明，分类精度在很大程度上取决于所采用的交叉验证方法，并且通常会产生误导。为了促进进一步的研究，我们已公开提供关键点数据集和代码。

作为智能机器人的一项基本任务，Visual Slam在过去几十年中取得了长足的进步。但是，在高度弱质地的环境下，强大的大满贯仍然非常具有挑战性。在本文中，我们提出了一个名为RWT-Slam的新型视觉大满贯系统，以解决这个问题。我们修改LOFTR网络，该网络能够在低纹理的场景下产生密集的点匹配以生成特征描述符。为了将新功能集成到流行的Orb-Slam框架中，我们开发了功能面具，以滤除不可靠的功能并采用KNN策略来增强匹配的鲁棒性。我们还对新的描述符进行了视觉词汇，以有效地循环结束。在TUM和Openloris等各种公共数据集以及我们自己的数据中测试了由此产生的RWT-SLAM。结果显示在高度弱质地的环境下表现非常有希望。

在本文中，我们建议超越建立的基于视觉的本地化方法，该方法依赖于查询图像和3D点云之间的视觉描述符匹配。尽管通过视觉描述符匹配关键点使本地化高度准确，但它具有重大的存储需求，提出了隐私问题，并需要长期对描述符进行更新。为了优雅地应对大规模定位的实用挑战，我们提出了Gomatch，这是基于视觉的匹配的替代方法，仅依靠几何信息来匹配图像键点与地图的匹配，这是轴承矢量集。我们的新型轴承矢量表示3D点，可显着缓解基于几何的匹配中的跨模式挑战，这阻止了先前的工作在现实环境中解决本地化。凭借额外的仔细建筑设计，Gomatch在先前的基于几何的匹配工作中改善了（1067m，95.7升）和（1.43m，34.7摄氏度），平均中位数姿势错误，同时需要7个尺寸，同时需要7片。与最佳基于视觉的匹配方法相比，几乎1.5/1.7％的存储容量。这证实了其对现实世界本地化的潜力和可行性，并为不需要存储视觉描述符的城市规模的视觉定位方法打开了未来努力的大门。

小天体的任务在很大程度上依赖于光学特征跟踪，以表征和相对导航。尽管深度学习导致了功能检测和描述方面的巨大进步，但由于大规模，带注释的数据集的可用性有限，因此培训和验证了空间应用程序的数据驱动模型具有挑战性。本文介绍了Astrovision，这是一个大规模数据集，由115,970个密集注释的，真实的图像组成，这些图像是过去和正在进行的任务中捕获的16个不同物体的真实图像。我们利用Astrovision开发一组标准化基准，并对手工和数据驱动的功能检测和描述方法进行详尽的评估。接下来，我们采用Astrovision对最先进的，深刻的功能检测和描述网络进行端到端培训，并在多个基准测试中表现出改善的性能。将公开使用完整的基准管道和数据集，以促进用于空间应用程序的计算机视觉算法的发展。

面部特征跟踪是成像跳芭式（BCG）的关键组成部分，其中需要精确定量面部关键点的位移，以获得良好的心率估计。皮肤特征跟踪能够在帕金森病中基于视频的电机降解量化。传统的计算机视觉算法包括刻度不变特征变换（SIFT），加速强大的功能（冲浪）和LUCAS-KANADE方法（LK）。这些长期代表了最先进的效率和准确性，但是当存在常见的变形时，如图所示，如图所示，如此。在过去的五年中，深度卷积神经网络对大多数计算机视觉任务的传统方法表现优于传统的传统方法。我们提出了一种用于特征跟踪的管道，其应用卷积堆积的AutoEncoder，以将图像中最相似的裁剪标识到包含感兴趣的特征的参考裁剪。 AutoEncoder学会将图像作物代表到特定于对象类别的深度特征编码。我们在面部图像上培训AutoEncoder，并验证其在手动标记的脸部和手视频中通常验证其跟踪皮肤功能的能力。独特的皮肤特征（痣）的跟踪误差是如此之小，因为我们不能排除他们基于$ \ chi ^ 2 $ -test的手动标签。对于0.6-4.2像素的平均误差，我们的方法在所有情况下都表现出了其他方法。更重要的是，我们的方法是唯一一个不分歧的方法。我们得出的结论是，我们的方法为特征跟踪，特征匹配和图像配准比传统算法创建更好的特征描述符。