a) original (b) hole+constraints (c) hole filled (d) constraints (e) constrained retarget (f) reshuffleFigure 1: Structural image editing. Left to right: (a) the original image; (b) a hole is marked (magenta) and we use line constraints (red/green/blue) to improve the continuity of the roofline; (c) the hole is filled in; (d) user-supplied line constraints for retargeting;(e) retargeting using constraints eliminates two columns automatically; and (f) user translates the roof upward using reshuffling.

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

许多传统的计算机视觉算法通过要求生成图像中的每个补丁都与训练图像中的补丁相似，反之亦然。最近，这种经典方法已被补丁歧视者所取代。对抗方法避免了找到最近的贴片邻居的计算负担，但通常需要很长的训练时间，并且可能无法匹配斑块的分布。在本文中，我们利用了最近开发的切片瓦斯坦距离，并开发了一种算法，该算法明确有效地最大程度地减少了两个图像中斑块分布之间的距离。我们的方法在概念上很简单，不需要培训，并且可以在几行代码中实现。在许多图像生成任务上，我们表明我们的结果通常优于单片图像，不需要训练，并且可以在几秒钟内生成高质量的图像。我们的实施可从https://github.com/ariel415el/gpdm获得

GAN能够进行一代视频培训的生成和操纵任务。然而，这些单一视频GAN需要不合理的时间来训练单个视频，使它们几乎不切实际。在本文中，我们提出了从单个视频发电的GaN的必要性，并为各种生成和操纵任务引入非参数基准。我们恢复古典时空补丁 - 最近的邻居接近并使其适应可扩展的无条件生成模型，而无需任何学习。这种简单的基线令人惊讶地优于视觉质量和现实主义（通过定量和定性评估确认）的单视频导航，并且不成比例地更快（运行时从几天减少到秒）。除了不同的视频生成之外，我们使用相同的框架展示了其他应用程序，包括视频类比和时空复回靶向。我们所提出的方法很容易缩放到全高清视频。这些观察结果表明，古典方法（如果正确调整），这些任务的大幅优于重度深度学习机械。这为单视频生成和操作任务设置了新的基线，并且不太重要 - 首次从单个视频中从单个视频中产生多样化。

We propose "factor matting", an alternative formulation of the video matting problem in terms of counterfactual video synthesis that is better suited for re-composition tasks. The goal of factor matting is to separate the contents of video into independent components, each visualizing a counterfactual version of the scene where contents of other components have been removed. We show that factor matting maps well to a more general Bayesian framing of the matting problem that accounts for complex conditional interactions between layers. Based on this observation, we present a method for solving the factor matting problem that produces useful decompositions even for video with complex cross-layer interactions like splashes, shadows, and reflections. Our method is trained per-video and requires neither pre-training on external large datasets, nor knowledge about the 3D structure of the scene. We conduct extensive experiments, and show that our method not only can disentangle scenes with complex interactions, but also outperforms top methods on existing tasks such as classical video matting and background subtraction. In addition, we demonstrate the benefits of our approach on a range of downstream tasks. Please refer to our project webpage for more details: https://factormatte.github.io

在机器学习中调用多种假设需要了解歧管的几何形状和维度，理论决定了需要多少样本。但是，在应用程序数据中，采样可能不均匀，歧管属性是未知的，并且（可能）非纯化；这意味着社区必须适应本地结构。我们介绍了一种用于推断相似性内核提供数据的自适应邻域的算法。从本地保守的邻域（Gabriel）图开始，我们根据加权对应物进行迭代率稀疏。在每个步骤中，线性程序在全球范围内产生最小的社区，并且体积统计数据揭示了邻居离群值可能违反了歧管几何形状。我们将自适应邻域应用于非线性维度降低，地球计算和维度估计。与标准算法的比较，例如使用K-Nearest邻居，证明了它们的实用性。

The quantitative evaluation of optical flow algorithms by Barron et al. (1994) led to significant advances in performance. The challenges for optical flow algorithms today go beyond the datasets and evaluation methods proposed in that paper. Instead, they center on problems associated with complex natural scenes, including nonrigid motion, real sensor noise, and motion discontinuities. We propose a new set of benchmarks and evaluation methods for the next generation of optical flow algorithms. To that end, we contribute four types of data to test different aspects of optical flow algorithms: (1) sequences with nonrigid motion where the ground-truth flow is determined by A preliminary version of this paper appeared in the IEEE International Conference on Computer Vision (Baker et al. 2007).

最近，Deep Models已经建立了SOTA性能，用于低分辨率图像介绍，但它们缺乏与现代相机（如4K或更多相关的现代相机）以及大孔相关的分辨率的保真度。我们为4K及以上代表现代传感器的照片贡献了一个介绍的基准数据集。我们展示了一个新颖的框架，结合了深度学习和传统方法。我们使用现有的深入介质模型喇嘛合理地填充孔，建立三个由结构，分割，深度组成的指南图像，并应用多个引导的贴片amatch，以产生八个候选候选图像。接下来，我们通过一个新型的策划模块来喂食所有候选构图，该模块选择了8x8反对称成对偏好矩阵的列求和良好的介绍。我们框架的结果受到了8个强大基线的用户的压倒性优先，其定量指标的改进高达7.4，而不是最好的基线喇嘛，而我们的技术与4种不同的SOTA配对时，我们的技术都会改善每个座椅，以使我们的每个人都非常偏爱用户，而不是用户偏爱用户。强大的超级分子基线。

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

我们在并行计算机架构上的图像的自适应粒子表示（APR）上的离散卷积运算符的本机实现数据结构和算法。 APR是一个内容 - 自适应图像表示，其本地地将采样分辨率局部调整到图像信号。已经开发为大，稀疏图像的像素表示的替代方案，因为它们通常在荧光显微镜中发生。已经显示出降低存储，可视化和处理此类图像的存储器和运行时成本。然而，这要求图像处理本身在APRS上运行，而无需中间恢复为像素。然而，设计高效和可扩展的APR-Native图像处理原语是APR的不规则内存结构的复杂性。这里，我们提供了使用可以在离散卷积方面配制的各种算法有效和本地地处理APR图像所需的算法建筑块。我们表明APR卷积自然地导致缩放 - 自适应算法，可在多核CPU和GPU架构上有效地平行化。与基于像素的算法和概念性数据的卷积相比，我们量化了加速度。我们在单个NVIDIA GeForce RTX 2080 Gaming GPU上实现了最多1 TB / s的像素等效吞吐量，而不是基于像素的实现的存储器最多两个数量级。

拼图解决问题，从一组非重叠的无序视觉碎片构建一个连贯的整体，是许多应用的基础，然而，过去二十年的大部分文献都集中在较不太现实的谜题上正方形。在这里，我们正规化一种新型的拼图拼图，其中碎片是通过用任意数量的直切割的全局多边形/图像切割而产生的一般凸多边形，这是由庆祝的懒人辅助er序列的产生模型。我们分析了这种难题的理论特性，包括在碎片被几何噪声被污染时解决它们的固有挑战。为了应对此类困难并获得易行的解决方案，我们摘要作为一种具有分层循环约束和分层重建过程的多体弹簧质量动态系统的问题。我们定义了评估指标，并在普通植物和图案谜题上呈现实验结果，以表明它们是完全自动溶解的。

Figure 1: Example inpainting results of our method on images of natural scene, face and texture. Missing regions are shown in white. In each pair, the left is input image and right is the direct output of our trained generative neural networks without any post-processing.

着色是一个计算机辅助过程，旨在为灰色图像或视频赋予色彩。它可用于增强黑白图像，包括黑白照片，老式电影和科学成像结果。相反，不着色是将颜色图像或视频转换为灰度。灰度图像或视频是指没有颜色信息的亮度信息的图像或视频。它是一些下游图像处理应用程序的基础，例如模式识别，图像分割和图像增强。与图像脱色不同，视频脱色不仅应考虑每个视频框架中的图像对比度保存，而且还应尊重视频框架之间的时间和空间一致性。研究人员致力于通过平衡时空的一致性和算法效率来开发脱色方法。随着数码相机和手机的流行，研究人员越来越关注图像和视频着色和脱色。本文概述了过去二十年来图像和视频着色和脱色方法的进度。

近年来，在平衡（超级）图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势，用于平衡（超级）图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是，该调查还通过涵盖了超图形分区和流算法来扩展先前的调查，并额外关注并行算法。

面部特征跟踪是成像跳芭式（BCG）的关键组成部分，其中需要精确定量面部关键点的位移，以获得良好的心率估计。皮肤特征跟踪能够在帕金森病中基于视频的电机降解量化。传统的计算机视觉算法包括刻度不变特征变换（SIFT），加速强大的功能（冲浪）和LUCAS-KANADE方法（LK）。这些长期代表了最先进的效率和准确性，但是当存在常见的变形时，如图所示，如图所示，如此。在过去的五年中，深度卷积神经网络对大多数计算机视觉任务的传统方法表现优于传统的传统方法。我们提出了一种用于特征跟踪的管道，其应用卷积堆积的AutoEncoder，以将图像中最相似的裁剪标识到包含感兴趣的特征的参考裁剪。 AutoEncoder学会将图像作物代表到特定于对象类别的深度特征编码。我们在面部图像上培训AutoEncoder，并验证其在手动标记的脸部和手视频中通常验证其跟踪皮肤功能的能力。独特的皮肤特征（痣）的跟踪误差是如此之小，因为我们不能排除他们基于$ \ chi ^ 2 $ -test的手动标签。对于0.6-4.2像素的平均误差，我们的方法在所有情况下都表现出了其他方法。更重要的是，我们的方法是唯一一个不分歧的方法。我们得出的结论是，我们的方法为特征跟踪，特征匹配和图像配准比传统算法创建更好的特征描述符。

Stereo matching is one of the most active research areas in computer vision. While a large number of algorithms for stereo correspondence have been developed, relatively little work has been done on characterizing their performance. In this paper, we present a taxonomy of dense, two-frame stereo methods. Our taxonomy is designed to assess the different components and design decisions made in individual stereo algorithms. Using this taxonomy, we compare existing stereo methods and present experiments evaluating the performance of many different variants. In order to establish a common software platform and a collection of data sets for easy evaluation, we have designed a stand-alone, flexible C++ implementation that enables the evaluation of individual components and that can easily be extended to include new algorithms. We have also produced several new multi-frame stereo data sets with ground truth and are making both the code and data sets available on the Web. Finally, we include a comparative evaluation of a large set of today's best-performing stereo algorithms.

通常，非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图，而其他部件在两个扫描之间堵塞，则重叠区域是两个扫描的子集。在最常规的设置中，没有给出先前的模板形状，并且没有可用的标记或显式特征点对应关系。因此，这种情况是局部匹配问题，其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。

本文为工程产品的计算模型或仅返回分类信息的过程提供了一种新的高效和健壮方法，用于罕见事件概率估计，例如成功或失败。对于此类模型，大多数用于估计故障概率的方法，这些方法使用结果的数值来计算梯度或估计与故障表面的接近度。即使性能函数不仅提供了二进制输出，系统的状态也可能是连续输入变量域中定义的不平滑函数，甚至是不连续的函数。在这些情况下，基于经典的梯度方法通常会失败。我们提出了一种简单而有效的算法，该算法可以从随机变量的输入域进行顺序自适应选择点，以扩展和完善简单的基于距离的替代模型。可以在连续采样的任何阶段完成两个不同的任务：（i）估计失败概率，以及（ii）如果需要进一步改进，则选择最佳的候选者进行后续模型评估。选择用于模型评估的下一个点的建议标准最大化了使用候选者分类的预期概率。因此，全球探索与本地剥削之间的完美平衡是自动维持的。该方法可以估计多种故障类型的概率。此外，当可以使用模型评估的数值来构建平滑的替代物时，该算法可以容纳此信息以提高估计概率的准确性。最后，我们定义了一种新的简单但一般的几何测量，这些测量是对稀有事实概率对单个变量的全局敏感性的定义，该度量是作为所提出算法的副产品获得的。

Self-similarity based super-resolution (SR) algorithms are able to produce visually pleasing results without extensive training on external databases. Such algorithms exploit the statistical prior that patches in a natural image tend to recur within and across scales of the same image. However, the internal dictionary obtained from the given image may not always be sufficiently expressive to cover the textural appearance variations in the scene. In this paper, we extend self-similarity based SR to overcome this drawback. We expand the internal patch search space by allowing geometric variations. We do so by explicitly localizing planes in the scene and using the detected perspective geometry to guide the patch search process. We also incorporate additional affine transformations to accommodate local shape variations. We propose a compositional model to simultaneously handle both types of transformations. We extensively evaluate the performance in both urban and natural scenes. Even without using any external training databases, we achieve significantly superior results on urban scenes, while maintaining comparable performance on natural scenes as other state-of-the-art SR algorithms.

图像分割的随机沃克方法是半自动图像分割的流行工具，尤其是在生物医学领域。但是，它的线性渐近运行时间和内存要求使应用于增加大小不切实际的3D数据集。我们提出了一个分层框架，据我们所知，这是克服这些随机沃克算法的限制并实现sublinear的运行时间和持续的内存复杂性的尝试。该框架的目的是 - 与基线​​方法相比，而不是改善细分质量，以使交互式分割在核心外数据集中成为可能。确认该方法的合成数据和CT-ORG数据集进行了定量评估，其中确认了算法运行时间的预期改进，同时确认了高分段质量。即使对于数百千兆字节的大小，增量（即互动更新）运行时间也已在标准PC上以秒为单位。在一个小案例研究中，证明了当前生物医学研究对大型现实世界的适用性。在广泛使用的卷渲染和处理软件Voreen（https://www.uni-muenster.de/voreen/）的5.2版5.2版中，介绍方法的实现公开可用。