图像取证是一个上升的话题，因为值得信赖的多媒体内容对于现代社会至关重要。像其他与视觉相关的应用一样，法医分析在很大程度上依赖于适当的图像表示。尽管很重要，但目前对这种表示的理论理解仍然有限，其关键作用的忽视程度不同。对于这个差距，我们试图从理论，实施和应用的角度研究以法医为导向的图像表示作为一个独特的问题。我们的工作始于基本原则的抽象，法医的表示应该满足，尤其是揭示了鲁棒性，可解释性和覆盖范围的关键性。在理论层面上，我们为取证的新表示框架提出了一个称为密​​集不变表示（dir）的新表示框架，该框架的特征是具有数学保证的稳定描述。在实现级别上，讨论了DIR的离散计算问题，并设计相应的准确和快速解决方案具有通用性质和恒定的复杂性。我们在密集域模式检测和匹配实验上演示了上述论点，从而提供了与最新描述符的比较结果。此外，在应用程序级别上，提出的DIR最初是在被动和主动取证中探索的，即复制移动伪造的检测和感知散列，在满足此类法医任务的要求方面表现出了好处。

图像表示是计算机视觉和模式识别中的一个重要主题。它在一系列应用中扮演了了解视觉内容的基本作用。据报道，基于矩的图像表示在满足其由于其有益的数学特性而满足语义描述的核心条件，特别是几何不变性和独立性。本文介绍了对图像表示的正交矩的全面调查，涵盖了快速/准确计算，鲁棒性/不变性优化，定义扩展和应用程序的最新进步。我们还为各种广泛使用的正交瞬间创建一个软件包，并在同一基地中评估此类方法。提出的理论分析，软件实施和评估结果可以支持社区，特别是在开发新颖的技术和促进现实世界的应用方面。

复制伪造是对图像的复制和粘贴特定贴片的操纵，并具有潜在的非法或不道德用途。法医伪造的法医方法的最新进展显示出在检测准确性和鲁棒性方面的成功越来越大。但是，对于具有高自相似性或强烈信号损坏的图像，现有算法通常会表现出效率低下的过程和不可靠的结果。这主要是由于低级视觉表示与高级语义概念之间的固有语义差距。在本文中，我们提出了一项最初的研究，该研究试图减轻复制移动伪造检测中的语义差距问题，并通过空间汇集当地矩不变式以用于中级图像表示。我们的检测方法将传统作品扩展到两个方面：1）我们首次将视野模型介绍到该领域，这可能意味着法医研究的新观点； 2）我们提出了一个单词到短语功能描述和匹配管道，涵盖了数字图像的空间结构和视觉显着性信息。广泛的实验结果表明，在克服语义差距引起的相关问题时，我们的框架优于最先进的算法。

本文的目的是通过提出一种新颖的方案，提高图像取证中复制伪造检测（CMFD）的准确性，主要贡献正在不断发展循环域覆盖（ECDC）算法。该方案集成了基于块和基于关键点的伪造检测方法。首先，从整个图像中提取逻辑极性空间和比例不变特征变换（SIFT）中的加速强大功能（SURF）。其次，采用广义2最近邻（G2NN）来获得大规模匹配的对。然后，采用随机样本共识（RANSAC）算法来滤除不匹配的对，从而允许粗略地位伪造区域。要更准确地展示这些伪造地区，我们提出了高效准确的ECDC算法呈现它们。该算法可以通过从联合演化的圆形域中提取块特征来找到满意的阈值区域，这些域在匹配对上以匹配的对。最后，应用形态学操作来优化检测到的伪造区域。实验结果表明，与其他最先进的CMFD方案相比，所提出的CMFD方案可以在各种攻击下实现更好的检测性能。

我们介绍了一种确定全局特征解耦的方法，并显示其适用于提高数据分析性能的适用性，并开放了新的场所以进行功能传输。我们提出了一种新的形式主义，该形式主义是基于沿特征梯度遵循轨迹来定义对子曼群的转换的。通过这些转换，我们定义了一个归一化，我们证明，它允许解耦可区分的特征。通过将其应用于采样矩，我们获得了用于正骨的准分析溶液，正尾肌肉是峰度的归一化版本，不仅与平均值和方差相关，而且还与偏度相关。我们将此方法应用于原始数据域和过滤器库的输出中，以基于全局描述符的回归和分类问题，与使用经典（未删除）描述符相比，性能得到一致且显着的改进。

兴趣点检测是计算机视觉和图像处理中最根本，最关键的问题之一。在本文中，我们对图像特征信息（IFI）提取技术进行了全面综述，以进行利益点检测。为了系统地介绍现有的兴趣点检测方法如何从输入图像中提取IFI，我们提出了IFI提取技术的分类学检测。根据该分类法，我们讨论了不同类型的IFI提取技术以进行兴趣点检测。此外，我们确定了与现有的IFI提取技术有关的主要未解决的问题，以及以前尚未讨论过的任何兴趣点检测方法。提供了现有的流行数据集和评估标准，并评估和讨论了18种最先进方法的性能。此外，还详细阐述了有关IFI提取技术的未来研究方向。

从随机字段或纹理中提取信息是科学中无处不在的任务，从探索性数据分析到分类和参数估计。从物理学到生物学，它往往通过功率谱分析来完成，这通常过于有限，或者使用需要大型训练的卷积神经网络（CNNS）并缺乏解释性。在本文中，我们倡导使用散射变换（Mallat 2012），这是一种强大的统计数据，它来自CNNS的数学思想，但不需要任何培训，并且是可解释的。我们表明它提供了一种相对紧凑的汇总统计数据，具有视觉解释，并在广泛的科学应用中携带大多数相关信息。我们向该估算者提供了非技术性介绍，我们认为它可以使数据分析有利于多种科学领域的模型和参数推断。有趣的是，了解散射变换的核心操作允许人们解读CNN的内部工作的许多关键方面。

图像生物标准化倡议（IBSI）旨在通过标准化从图像中提取图像生物标志物（特征）的计算过程来提高射致研究的再现性。我们之前建立了169个常用特征的参考值，创建了标准的射频图像处理方案，并开发了用于垄断研究的报告指南。但是，若干方面没有标准化。在这里，我们提出了在射频中使用卷积图像过滤器的参考手册的初步版本。滤波器，例如高斯滤波器的小波或拉普拉斯，在强调特定图像特征（如边缘和Blob）中发挥重要组成部分。已发现从过滤滤波器响应图派生的功能可重复差。此参考手册构成了持续工作的基础，用于标准化卷积滤波器中的覆盖物中的持续工作，并在这项工作进行时更新。

本文介绍了一个固定的厄贡点过程的统计模型，该模型是根据在方形窗口中观察到的单个实现估计的。使用随机几何形状中的现有方法，很难用大量颗粒形成复杂的几何形状进行建模。受到采样最大渗透模型的梯度下降算法的最新作品的启发，我们描述了一个模型，该模型允许快速采样新的配置，从而再现了给定观察的统计数据。从初始随机配置开始，其粒子根据能量的梯度移动，以匹配一组规定的矩（功能）。我们的矩是通过相谐波操作员在点模式的小波变换上定义的。它们允许一个人捕获粒子之间的多尺度相互作用，同时按照模型的结构的尺度明确控制矩数。我们介绍了具有各种几何结构的点过程的数值实验，并通过光谱和拓扑数据分析评估模型的质量。

信号处理是几乎任何传感器系统的基本组件，具有不同科学学科的广泛应用。时间序列数据，图像和视频序列包括可以增强和分析信息提取和量化的代表性形式的信号。人工智能和机器学习的最近进步正在转向智能，数据驱动，信号处理的研究。该路线图呈现了最先进的方法和应用程序的关键概述，旨在突出未来的挑战和对下一代测量系统的研究机会。它涵盖了广泛的主题，从基础到工业研究，以简明的主题部分组织，反映了每个研究领域的当前和未来发展的趋势和影响。此外，它为研究人员和资助机构提供了识别新前景的指导。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them.Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field.

随着数据采集技术的发展，在许多领域收集并广泛使用多通道数据。其中大多数可以表示为各种类型的矢量功能。用于识别某些感兴趣模式的传染媒介功能的特征提取是一个关键但具有挑战性的任务。在本文中，我们专注于构建一般矢量功能的时刻不变。具体地，我们定义旋转仿射变换以描述一般矢量功能的真实变形，然后设计一个结构框，以系统地生成对该变换模型的不变性的高斯 - 海密力矩。这是在文献中提出了统一帧的第一次，以构建一般矢量功能的正交时刻不变。鉴于某种类型的多通道数据，我们演示了如何利用新方法来派生所有可能的不变性并消除它们之间的各种依赖性。对于RGB图像，2D和3D流字段，我们获得了具有低订单和低度的不变性的完整和独立集。基于综合性和流行的矢量值数据集，进行了实验，以评估这些不变量的稳定性和可辨别性，以及它们对噪声的鲁棒性。结果清楚地表明，我们撰写文件中提出的那一刻不变性的性能比其他以前使用的时刻在RGB图像分类中的传染媒介函数中的不变性，2D矢量字段中的涡旋检测和3D流场匹配的模板匹配。

标准卷积神经网络（CNN）的卷积层与翻译一样。然而，卷积和完全连接的层与其他仿射几何变换并不是等等的或不变的。最近，提出了一类新的CNN，其中CNN的常规层被均衡卷积，合并和批量归一化层代替。 eprovariant神经网络中的最终分类层对于不同的仿射几何变换（例如旋转，反射和翻译）是不变的，并且标量值是通过消除过滤器响应的空间尺寸，使用卷积和向下缩采样的整个网络或平均值来获得。接管过滤器响应。在这项工作中，我们建议整合正交力矩，该矩将功能的高阶统计数据作为编码全局不变性在旋转，反射和翻译中的有效手段。结果，网络的中间层变得模棱两可，而分类层变得不变。出于这个目的，考虑使用最广泛使用的Zernike，伪菜单和正交傅立叶粉刺矩。通过在旋转的MNIST和CIFAR10数据集上集成了组等级CNN（G-CNN）的体系结构中的不变过渡和完全连接的层来评估所提出的工作的有效性。

生成的对抗网络由于研究人员的最新性能在生成新图像时仅使用目标分布的数据集，因此引起了研究人员的关注。已经表明，真实图像的频谱和假图像之间存在差异。由于傅立叶变换是一种徒图映射，因此说该模型在学习原始分布方面有一个重大问题是一个公平的结论。在这项工作中，我们研究了当前gan的架构和数学理论中提到的缺点的可能原因。然后，我们提出了一个新模型，以减少实际图像和假图像频谱之间的差异。为此，我们使用几何深度学习的蓝图为频域设计了一个全新的架构。然后，我们通过将原始数据的傅立叶域表示作为训练过程中的主要特征来表明生成图像的质量的有希望的改善。

Automatically identifying feature correspondences between multimodal images is facing enormous challenges because of the significant differences both in radiation and geometry. To address these problems, we propose a novel feature matching method, named R2FD2, that is robust to radiation and rotation differences.Our R2FD2 is conducted in two critical contributions, consisting of a repeatable feature detector and a rotation-invariant feature descriptor. In the first stage, a repeatable feature detector called the Multi-channel Auto-correlation of the Log-Gabor is presented for feature detection, which combines the multi-channel auto-correlation strategy with the Log-Gabor wavelets to detect interest points with high repeatability and uniform distribution. In the second stage, a rotation-invariant feature descriptor is constructed, named the Rotation-invariant Maximum index map of the Log-Gabor, which consists of two components: fast assignment of dominant orientation and construction of feature representation. In the process of fast assignment of dominant orientation, a Rotation-invariant Maximum Index Map is built to address rotation deformations. Then, the proposed RMLG incorporates the rotation-invariant RMIM with the spatial configuration of DAISY to depict a more discriminative feature representation, which improves RMLGs resistance to radiation and rotation variances.

由于机器学习（ML）系统变得普遍存在，因此保护其安全性至关重要。然而，最近已经证明，动机的对手能够通过使用语义转换扰乱测试数据来误导ML系统。虽然存在丰富的研究机构，但为ML模型提供了可提供的稳健性保证，以防止$ \ ell_p $ norm界限对抗对抗扰动，抵御语义扰动的保证仍然很广泛。在本文中，我们提供了TSS - 一种统一的框架，用于针对一般对抗性语义转换的鲁棒性认证。首先，根据每个转换的性质，我们将常见的变换划分为两类，即可解决的（例如，高斯模糊）和差异可解的（例如，旋转）变换。对于前者，我们提出了特定于转型的随机平滑策略并获得强大的稳健性认证。后者类别涵盖涉及插值错误的变换，我们提出了一种基于分层采样的新方法，以证明稳健性。我们的框架TSS利用这些认证策略并结合了一致性增强的培训，以提供严谨的鲁棒性认证。我们对十种挑战性语义转化进行了广泛的实验，并表明TSS显着优于现有技术。此外，据我们所知，TSS是第一种在大规模想象数据集上实现非竞争认证稳健性的方法。例如，我们的框架在ImageNet上实现了旋转攻击的30.4％认证的稳健准确性（在$ \ PM 30 ^ \ CIC $）。此外，要考虑更广泛的转换，我们展示了TSS对自适应攻击和不可预见的图像损坏，例如CIFAR-10-C和Imagenet-C。

Translating or rotating an input image should not affect the results of many computer vision tasks. Convolutional neural networks (CNNs) are already translation equivariant: input image translations produce proportionate feature map translations. This is not the case for rotations. Global rotation equivariance is typically sought through data augmentation, but patch-wise equivariance is more difficult. We present Harmonic Networks or H-Nets, a CNN exhibiting equivariance to patch-wise translation and 360-rotation. We achieve this by replacing regular CNN filters with circular harmonics, returning a maximal response and orientation for every receptive field patch.H-Nets use a rich, parameter-efficient and fixed computational complexity representation, and we show that deep feature maps within the network encode complicated rotational invariants. We demonstrate that our layers are general enough to be used in conjunction with the latest architectures and techniques, such as deep supervision and batch normalization. We also achieve state-of-the-art classification on rotated-MNIST, and competitive results on other benchmark challenges.

We observe that despite their hierarchical convolutional nature, the synthesis process of typical generative adversarial networks depends on absolute pixel coordinates in an unhealthy manner. This manifests itself as, e.g., detail appearing to be glued to image coordinates instead of the surfaces of depicted objects. We trace the root cause to careless signal processing that causes aliasing in the generator network. Interpreting all signals in the network as continuous, we derive generally applicable, small architectural changes that guarantee that unwanted information cannot leak into the hierarchical synthesis process. The resulting networks match the FID of StyleGAN2 but differ dramatically in their internal representations, and they are fully equivariant to translation and rotation even at subpixel scales. Our results pave the way for generative models better suited for video and animation. * This work was done during an internship at NVIDIA. 35th Conference on Neural Information Processing Systems (NeurIPS 2021).

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。