掌握进行手术所需的技术技能是一项极具挑战性的任务。基于视频的评估使外科医生可以收到有关其技术技能的反馈，以促进学习和发展。目前，此反馈主要来自手动视频评论，该视频审查是耗时的，限制了在许多情况下跟踪外科医生进展的可行性。在这项工作中，我们引入了一种基于运动的方法，以自动评估手术病例视频饲料的手术技能。拟议的管道首先可靠地轨道轨迹，以创建运动轨迹，然后使用这些轨迹来预测外科医生的技术技能水平。跟踪算法采用了一个简单而有效的重新识别模块，与其他最新方法相比，它可以改善ID-开关。这对于创建可靠的工具轨迹至关重要，当仪器定期在屏幕上和屏幕外移动或定期遮盖。基于运动的分类模型采用最先进的自我发明变压器网络来捕获对技能评估至关重要的短期和长期运动模式。在体内（Cholec80）数据集上评估了所提出的方法，其中专家评级的目标技能评估对Calot三角解剖的评估被用作定量技能度量。我们将基于变压器的技能评估与传统的机器学习方法进行比较，并使用拟议的和最新的跟踪方法进行比较。我们的结果表明，使用可靠跟踪方法的运动轨迹对仅根据视频流进行评估的外科医生技能是有益的。

本研究的目标是开发新的可靠开放式手术缝合培训医学院的仿真系统，以便在资源有限或国内设置。即，我们开发了一种工具和手本地化的算法，以及根据简单的网络摄像头视频数据，计算出用于评估外科技能的运动指标。二十五位参与者使用我们的模拟器执行多个缝合任务。 yolo网络已被修改为多任务网络，以便工具本地化和工具手动交互检测。这是通过分割YOLO检测头来实现的，使得它们支持两项任务，以对计算机运行时间最小的添加。此外，基于系统的结果，计算了运动指标。这些指标包括传统的指标，如时间和路径长度以及评估技术参与者使用的新度量来控制工具。双重任务网络性能与两个网络的性能类似，而计算负载仅略大于一个网络。此外，运动指标显示专家和新手之间的显着差异。虽然视频捕获是微创手术的重要组成部分，但它不是开放手术的整体组成部分。因此，需要新的算法，重点关注当前的独特挑战，是开放的手术视频存在。在本研究中，开发了一种双任务网络来解决本地化任务和手动工具交互任务。双网络可以很容易地扩展到多任务网络，这可能对具有多个层的图像有用，并且用于评估这些不同层之间的交互。

开放程序代表全球手术的主要形式。人工智能（AI）有可能优化手术实践并改善患者结果，但努力主要集中在微创技术上。我们的工作通过策划，从YouTube，从YouTube，Open Surgical视频的最大数据集克服了培训AI模型的现有数据限制：1997年从50个国家上传的23个外科手术的视频。使用此数据集，我们开发了一种能够实时了解外科行为，手和工具的多任务AI模型 - 程序流程和外科医生技能的构建块。我们表明我们的模型推广了各种外科类型和环境。说明这种普遍性，我们直接应用了YouTube培训的模型，分析了在学术医疗中心前瞻性收集的开放式手术，并确定了与手动效率相关的外科技能的运动学描述符。我们的开放外科（AVOS）数据集和培训模式的注释视频将可用于进一步发展外科艾。

Timely and effective feedback within surgical training plays a critical role in developing the skills required to perform safe and efficient surgery. Feedback from expert surgeons, while especially valuable in this regard, is challenging to acquire due to their typically busy schedules, and may be subject to biases. Formal assessment procedures like OSATS and GEARS attempt to provide objective measures of skill, but remain time-consuming. With advances in machine learning there is an opportunity for fast and objective automated feedback on technical skills. The SimSurgSkill 2021 challenge (hosted as a sub-challenge of EndoVis at MICCAI 2021) aimed to promote and foster work in this endeavor. Using virtual reality (VR) surgical tasks, competitors were tasked with localizing instruments and predicting surgical skill. Here we summarize the winning approaches and how they performed. Using this publicly available dataset and results as a springboard, future work may enable more efficient training of surgeons with advances in surgical data science. The dataset can be accessed from https://console.cloud.google.com/storage/browser/isi-simsurgskill-2021.

近年来，多个对象跟踪引起了研究人员的极大兴趣，它已成为计算机视觉中的趋势问题之一，尤其是随着自动驾驶的最新发展。 MOT是针对不同问题的关键视觉任务之一，例如拥挤的场景中的闭塞，相似的外观，小物体检测难度，ID切换等，以应对这些挑战，因为研究人员试图利用变压器的注意力机制，与田径的相互关系，与田径的相互关系，图形卷积神经网络，与暹罗网络不同帧中对象的外观相似性，他们还尝试了基于IOU匹配的CNN网络，使用LSTM的运动预测。为了将这些零散的技术在雨伞下采用，我们研究了过去三年发表的一百多篇论文，并试图提取近代研究人员更关注的技术来解决MOT的问题。我们已经征集了许多应用，可能性以及MOT如何与现实生活有关。我们的评论试图展示研究人员使用过时的技术的不同观点，并为潜在的研究人员提供了一些未来的方向。此外，我们在这篇评论中包括了流行的基准数据集和指标。

由于卷积神经网络（CNN）在过去的十年中检测成功，多对象跟踪（MOT）通过检测方法的使用来控制。随着数据集和基础标记网站的发布，研究方向已转向在跟踪时在包括重新识别对象的通用场景（包括重新识别（REID））上的最佳准确性。在这项研究中，我们通过提供专用的行人数据集并专注于对性能良好的多对象跟踪器的深入分析来缩小监视的范围）现实世界应用的技术。为此，我们介绍SOMPT22数据集；一套新的，用于多人跟踪的新套装，带有带注释的简短视频，该视频从位于杆子上的静态摄像头捕获，高度为6-8米，用于城市监视。与公共MOT数据集相比，这提供了室外监视的MOT的更为集中和具体的基准。我们分析了该新数据集上检测和REID网络的使用方式，分析了将MOT跟踪器分类为单发和两阶段。我们新数据集的实验结果表明，SOTA远非高效率，而单一跟踪器是统一快速执行和准确性的良好候选者，并具有竞争性的性能。该数据集将在以下网址提供：sompt22.github.io

本文旨在解决多个对象跟踪（MOT），这是计算机视觉中的一个重要问题，但由于许多实际问题，尤其是阻塞，因此仍然具有挑战性。确实，我们提出了一种新的实时深度透视图 - 了解多个对象跟踪（DP-MOT）方法，以解决MOT中的闭塞问题。首先提出了一个简单但有效的主题深度估计（SODE），以在2D场景中自动以无监督的方式自动订购检测到的受试者的深度位置。使用SODE的输出，提出了一个新的活动伪3D KALMAN滤波器，即具有动态控制变量的Kalman滤波器的简单但有效的扩展，以动态更新对象的运动。此外，在数据关联步骤中提出了一种新的高阶关联方法，以合并检测到的对象之间的一阶和二阶关系。与标准MOT基准的最新MOT方法相比，提出的方法始终达到最先进的性能。

数据关联是遵循逐个检测范式跟踪的任何多个对象跟踪方法（MOT）方法的关键组件。为了生成完整的轨迹，这种方法采用数据关联过程来在每个时间步长期间建立检测和现有目标之间的分配。最近的数据关联方法试图解决多维线性分配任务或网络流量最小化问题，或者要么通过多个假设跟踪解决。但是，在推论过程中，每个序列帧都需要计算最佳分配的优化步骤，并在任何给定的解决方案中添加显着的计算复杂性。为此，在这项工作的背景下，我们介绍了基于变压器的作业决策网络（TADN），该决策网络（TADN）可以解决数据关联，而无需在推理过程中进行任何明确的优化。特别是，TADN可以在网络的单个正向传球中直接推断检测和活动目标之间的分配对。我们已经将TADN整合到了一个相当简单的MOT框架中，我们设计了一种新颖的培训策略，用于有效的端到端培训，并在两个流行的基准上展示了我们在线视觉跟踪MOT的高潜力，即Mot17和Mot17和UA-DETRAC。我们提出的方法在大多数评估指标中的最新方法都优于最先进的方法，尽管它作为跟踪器的简单性质缺乏重要的辅助组件，例如闭塞处理或重新识别。我们的方法的实现可在https://github.com/psaltaath/tadn-mot上公开获得。

最近的多目标跟踪（MOT）系统利用高精度的对象探测器;然而，培训这种探测器需要大量标记的数据。虽然这种数据广泛适用于人类和车辆，但其他动物物种显着稀缺。我们目前稳健的置信跟踪（RCT），一种算法，旨在保持鲁棒性能，即使检测质量差。与丢弃检测置信信息的先前方法相比，RCT采用基本上不同的方法，依赖于精确的检测置信度值来初始化曲目，扩展轨道和滤波器轨道。特别地，RCT能够通过有效地使用低置信度检测（以及单个物体跟踪器）来最小化身份切换，以保持对象的连续轨道。为了评估在存在不可靠的检测中的跟踪器，我们提出了一个挑战的现实世界水下鱼跟踪数据集，Fishtrac。在对FISHTRAC以及UA-DETRAC数据集的评估中，我们发现RCT在提供不完美的检测时优于其他算法，包括最先进的深单和多目标跟踪器以及更经典的方法。具体而言，RCT具有跨越方法的最佳平均热量，可以成功返回所有序列的结果，并且具有比其他方法更少的身份交换机。

多对象跟踪（MOT）的目标是检测和跟踪场景中的所有对象，同时为每个对象保留唯一的标识符。在本文中，我们提出了一种新的可靠的最新跟踪器，该跟踪器可以结合运动和外观信息的优势，以及摄像机运动补偿以及更准确的Kalman滤波器状态矢量。我们的新跟踪器在Mot17和Mot20测试集的Motchallenge [29，11]的数据集[29，11]中，Bot-Sort-Reid排名第一，就所有主要MOT指标而言：MOTA，IDF1和HOTA。对于Mot17：80.5 Mota，80.2 IDF1和65.0 HOTA。源代码和预培训模型可在https://github.com/niraharon/bot-sort上找到

对人类对象相互作用的理解在第一人称愿景（FPV）中至关重要。遵循相机佩戴者操纵的对象的视觉跟踪算法可以提供有效的信息，以有效地建模此类相互作用。在过去的几年中，计算机视觉社区已大大提高了各种目标对象和场景的跟踪算法的性能。尽管以前有几次尝试在FPV域中利用跟踪器，但仍缺少对最先进跟踪器的性能的有条理分析。这项研究差距提出了一个问题，即应使用当前的解决方案``现成''还是应进行更多特定领域的研究。本文旨在为此类问题提供答案。我们介绍了FPV中单个对象跟踪的首次系统研究。我们的研究广泛分析了42个算法的性能，包括通用对象跟踪器和基线FPV特定跟踪器。分析是通过关注FPV设置的不同方面，引入新的绩效指标以及与FPV特定任务有关的。这项研究是通过引入Trek-150（由150个密集注释的视频序列组成的新型基准数据集）来实现的。我们的结果表明，FPV中的对象跟踪对当前的视觉跟踪器构成了新的挑战。我们强调了导致这种行为的因素，并指出了可能的研究方向。尽管遇到了困难，但我们证明了跟踪器为需要短期对象跟踪的FPV下游任务带来好处。我们预计，随着新的和FPV特定的方法学会得到研究，通用对象跟踪将在FPV中受欢迎。

The problem of tracking multiple objects in a video sequence poses several challenging tasks. For tracking-bydetection, these include object re-identification, motion prediction and dealing with occlusions. We present a tracker (without bells and whistles) that accomplishes tracking without specifically targeting any of these tasks, in particular, we perform no training or optimization on tracking data. To this end, we exploit the bounding box regression of an object detector to predict the position of an object in the next frame, thereby converting a detector into a Tracktor. We demonstrate the potential of Tracktor and provide a new state-of-the-art on three multi-object tracking benchmarks by extending it with a straightforward re-identification and camera motion compensation.We then perform an analysis on the performance and failure cases of several state-of-the-art tracking methods in comparison to our Tracktor. Surprisingly, none of the dedicated tracking methods are considerably better in dealing with complex tracking scenarios, namely, small and occluded objects or missing detections. However, our approach tackles most of the easy tracking scenarios. Therefore, we motivate our approach as a new tracking paradigm and point out promising future research directions. Overall, Tracktor yields superior tracking performance than any current tracking method and our analysis exposes remaining and unsolved tracking challenges to inspire future research directions.

我们介绍了Caltech Fish计数数据集（CFC），这是一个用于检测，跟踪和计数声纳视频中鱼类的大型数据集。我们将声纳视频识别为可以推进低信噪比计算机视觉应用程序并解决多对象跟踪（MOT）和计数中的域概括的丰富数据来源。与现有的MOT和计数数据集相比，这些数据集主要仅限于城市中的人和车辆的视频，CFC来自自然世界领域，在该域​​中，目标不容易解析，并且无法轻易利用外观功能来进行目标重新识别。 CFC允许​​研究人员训练MOT和计数算法并评估看不见的测试位置的概括性能。我们执行广泛的基线实验，并确定在MOT和计数中推进概括的最新技术的关键挑战和机会。

Generic Object Tracking (GOT) is the problem of tracking target objects, specified by bounding boxes in the first frame of a video. While the task has received much attention in the last decades, researchers have almost exclusively focused on the single object setting. Multi-object GOT benefits from a wider applicability, rendering it more attractive in real-world applications. We attribute the lack of research interest into this problem to the absence of suitable benchmarks. In this work, we introduce a new large-scale GOT benchmark, LaGOT, containing multiple annotated target objects per sequence. Our benchmark allows researchers to tackle key remaining challenges in GOT, aiming to increase robustness and reduce computation through joint tracking of multiple objects simultaneously. Furthermore, we propose a Transformer-based GOT tracker TaMOS capable of joint processing of multiple objects through shared computation. TaMOs achieves a 4x faster run-time in case of 10 concurrent objects compared to tracking each object independently and outperforms existing single object trackers on our new benchmark. Finally, TaMOs achieves highly competitive results on single-object GOT datasets, setting a new state-of-the-art on TrackingNet with a success rate AUC of 84.4%. Our benchmark, code, and trained models will be made publicly available.

多目标跟踪（MOT）的典型管道是使用探测器进行对象本地化，并在重新识别（RE-ID）之后进行对象关联。该管道通过对象检测和重新ID的最近进展部分而部分地激励，并且部分地通过现有的跟踪数据集中的偏差激励，其中大多数物体倾向于具有区分外观和RE-ID模型足以建立关联。为了响应这种偏见，我们希望重新强调多目标跟踪的方法也应该在对象外观不充分辨别时起作用。为此，我们提出了一个大型数据集，用于多人跟踪，人类具有相似的外观，多样化的运动和极端关节。由于数据集包含主要组跳舞视频，我们将其命名为“DanceTrack”。我们预计DanceTrack可以提供更好的平台，以开发更多的MOT算法，这些算法依赖于视觉识别并更依赖于运动分析。在我们的数据集上，我们在数据集上基准测试了几个最先进的追踪器，并在与现有基准测试中遵守DanceTrack的显着性能下降。 DataSet，项目代码和竞争服务器播放：\ url {https://github.com/danceTrack}。

Tracking has traditionally been the art of following interest points through space and time. This changed with the rise of powerful deep networks. Nowadays, tracking is dominated by pipelines that perform object detection followed by temporal association, also known as tracking-by-detection. We present a simultaneous detection and tracking algorithm that is simpler, faster, and more accurate than the state of the art. Our tracker, CenterTrack, applies a detection model to a pair of images and detections from the prior frame. Given this minimal input, CenterTrack localizes objects and predicts their associations with the previous frame. That's it. CenterTrack is simple, online (no peeking into the future), and real-time. It achieves 67.8% MOTA on the MOT17 challenge at 22 FPS and 89.4% MOTA on the KITTI tracking benchmark at 15 FPS, setting a new state of the art on both datasets. CenterTrack is easily extended to monocular 3D tracking by regressing additional 3D attributes. Using monocular video input, it achieves 28.3% AMOTA@0.2 on the newly released nuScenes 3D tracking benchmark, substantially outperforming the monocular baseline on this benchmark while running at 28 FPS.

跟踪和识别玩家是基于计算机视觉冰球分析的基本步骤。跟踪生成的数据用于许多其他下游任务，例如游戏事件检测和游戏策略分析。播放器跟踪和识别是一个具有挑战性的问题，因为与行人相比，曲棍球运动员的运动是快节奏和非线性的。还有显着的摄像头淘气和放大曲棍球广播视频。识别冰球中的玩家是挑战，因为同一团队的球员几乎相同，泽西号码是玩家之间唯一的鉴别因素。本文介绍了一种用于跟踪和识别广播NHL曲棍球视频中的玩家的自动化系统。该系统由三个组件（1）播放器跟踪组成，（2）团队识别和（3）播放器识别。由于没有公开可用的数据集，用于培训三个组件的数据集手动注释。利用艺术跟踪算法的状态来执行播放器跟踪，从而获得多目标跟踪精度（MOTA）得分为94.5％。对于团队识别，Away-Team Jerseys被分组为单一课程，并根据他们的泽西颜色在课堂上分组。然后在团队识别数据集上培训卷积神经网络。团队识别网络在测试集中获得97％的准确性。引入了一种新颖的播放器识别模型，其利用时间一维卷积网络来识别来自玩家边界框序列的玩家。播放器识别模型进一步利用了可用的NHL游戏名册数据，以获得83％的玩家识别精度。

内镜窦和头骨基础手术（Essbss）是一个具有挑战性和潜在的危险的外科手术，客观技能评估是提高手术训练有效性的关键组成部分，重新​​验证外科医生的技能，并降低手术创伤和并发症手术室的速度。由于外科手术的复杂性，操作风格的变化，以及新的外科技能的快速发展，外科技能评估仍然是一个具有挑战性的问题。这项工作提出了一种新颖的高斯过程学习的启发式自动客观外科手术技能评估方法。不同于经典的外科技能评估算法，所提出的方法1）利用外科仪器相对运动中的运动学特征，而不是使用特定的外科任务或统计数据实时评估技能; 2）提供信息丰富的反馈，而不是总结分数; 3）能够逐步从新数据逐步学习，而不是根据固定的数据集。该方法将仪器运动投射到内窥镜坐标中以减少数据维度。然后，它提取投影数据的运动学特征，并学习外科技能水平与高斯过程学习技术的特征之间的关系。该方法在全内镜颅底和尸体上的鼻窦手术中核实。这些手术具有不同的病理学，需要不同的治疗并具有不同的复杂性。实验结果表明，该方法达到了100 \％的预测精度，用于完整的外科手术和90 \％的实时预测评估精度。

在本文中，我们通过预测其未来的3D表示，提出了一种追踪单眼视频中的人员的方法。为实现这一目标，我们首先以强大的方式从一个框架举起人们3D。这一提升包括关于人的3D姿势的信息，他或她在3D空间中的位置，以及3D外观。当我们跟踪一个人时，我们在托管表示中收集3D观察。鉴于我们观察的3D性质，我们为以前的每个属性建立了时间模型。我们使用这些模型来预测Tracklet的未来状态，包括3D位置，3D外观和3D姿势。对于未来的帧，我们以概率的方式计算轨迹的预测状态与单帧观测之间的相似性。使用简单的匈牙利匹配解决了关联，并且匹配用于更新相应的Tracklet。我们评估我们在各种基准和报告最先进的结果上的方法。

This paper presents a new large scale multi-person tracking dataset -- \texttt{PersonPath22}, which is over an order of magnitude larger than currently available high quality multi-object tracking datasets such as MOT17, HiEve, and MOT20 datasets. The lack of large scale training and test data for this task has limited the community's ability to understand the performance of their tracking systems on a wide range of scenarios and conditions such as variations in person density, actions being performed, weather, and time of day. \texttt{PersonPath22} dataset was specifically sourced to provide a wide variety of these conditions and our annotations include rich meta-data such that the performance of a tracker can be evaluated along these different dimensions. The lack of training data has also limited the ability to perform end-to-end training of tracking systems. As such, the highest performing tracking systems all rely on strong detectors trained on external image datasets. We hope that the release of this dataset will enable new lines of research that take advantage of large scale video based training data.