小波散射变换创造了几何不变和变形稳定性。在多个信号域中，与其他非学习表示形式相比，它可以产生更多的判别性表示，并且在某些任务中，尤其是在有限的标记数据和高度结构化的信号中，它都超越了学习的表示。通常选择散射转换中使用的小波过滤器，以通过参数化的母小波创建紧密的框架。在这项工作中，我们研究了这种标准的小波滤网构造是否最佳。为了关注Morlet小波，我们建议学习过滤器的量表，方向和纵横比，以产生散射变换的特定问题参数化。我们表明，我们学到的散射转换版本在标准散射变换上在小样本分类设置中产生了显着的性能增长。此外，我们的经验结果表明，传统的滤纸结构对于提取有效表示的散射转换可能并不总是必要的。

从随机字段或纹理中提取信息是科学中无处不在的任务，从探索性数据分析到分类和参数估计。从物理学到生物学，它往往通过功率谱分析来完成，这通常过于有限，或者使用需要大型训练的卷积神经网络（CNNS）并缺乏解释性。在本文中，我们倡导使用散射变换（Mallat 2012），这是一种强大的统计数据，它来自CNNS的数学思想，但不需要任何培训，并且是可解释的。我们表明它提供了一种相对紧凑的汇总统计数据，具有视觉解释，并在广泛的科学应用中携带大多数相关信息。我们向该估算者提供了非技术性介绍，我们认为它可以使数据分析有利于多种科学领域的模型和参数推断。有趣的是，了解散射变换的核心操作允许人们解读CNN的内部工作的许多关键方面。

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.

A wavelet scattering network computes a translation invariant image representation, which is stable to deformations and preserves high frequency information for classification. It cascades wavelet transform convolutions with non-linear modulus and averaging operators. The first network layer outputs SIFT-type descriptors whereas the next layers provide complementary invariant information which improves classification. The mathematical analysis of wavelet scattering networks explain important properties of deep convolution networks for classification.A scattering representation of stationary processes incorporates higher order moments and can thus discriminate textures having same Fourier power spectrum. State of the art classification results are obtained for handwritten digits and texture discrimination, with a Gaussian kernel SVM and a generative PCA classifier.

在混合神经网络中，昂贵的卷积层被不可训练的固定变换所取代，参数大幅减少。在以前的作品中，通过用小波代替卷积来获得良好的结果。然而，基于小波的混合网络继承了小波沿曲线及其轴偏置的消失力矩。我们建议使用剪力岩对重要图像功能（例如边缘，脊和斑点）的强大支持。最终的网络称为复杂的剪切网络（COSHNET）。它在针对Resnet-50和Resnet-18的时装摄影师上进行了测试，分别获得了92.2％和90.7％和91.8％的测试。所提出的网络具有49.9k参数，而RESNET-18的参数为11.18m，使用较少的拖鞋52倍。最后，我们在Resnet要求的200个时期与200个时期进行了培训，不需要任何高参数调整或正则化。代码：https：//github.com/ujjawal-k-panchal/coshnet

We propose a novel antialiasing method to increase shift invariance in convolutional neural networks (CNNs). More precisely, we replace the conventional combination "real-valued convolutions + max pooling" ($\mathbb R$Max) by "complex-valued convolutions + modulus" ($\mathbb C$Mod), which produce stable feature representations for band-pass filters with well-defined orientations. In a recent work, we proved that, for such filters, the two operators yield similar outputs. Therefore, $\mathbb C$Mod can be viewed as a stable alternative to $\mathbb R$Max. To separate band-pass filters from other freely-trained kernels, in this paper, we designed a "twin" architecture based on the dual-tree complex wavelet packet transform, which generates similar outputs as standard CNNs with fewer trainable parameters. In addition to improving stability to small shifts, our experiments on AlexNet and ResNet showed increased prediction accuracy on natural image datasets such as ImageNet and CIFAR10. Furthermore, our approach outperformed recent antialiasing methods based on low-pass filtering by preserving high-frequency information, while reducing memory usage.

我们提出了一个新的图神经网络（GNN）模块，该模块基于最近提出的几何散射变换的松弛，该变换由图形小波滤波器组成。我们可学习的几何散射（腿）模块可以使小波的自适应调整能够鼓励乐队通道特征在学习的表示中出现。与许多流行的GNN相比，我们的腿部模块在GNN中的结合能够学习长期图形关系，这些GNN通常依赖于邻居之间的平滑度或相似性来编码图形结构。此外，与竞争性GNN相比，其小波先验会导致简化的架构，学到的参数明显少得多。我们证明了基于腿的网络在图形分类基准上的预测性能，以及在生化图数据探索任务中学到的功能的描述性质量。我们的结果表明，基于腿部的网络匹配或匹配流行的GNN，以及在许多数据集上，尤其是在生化域中的原始几何散射结构，同时保留了手工制作的（非学习）几何散射的某些数学特性。

频率信息位于纹理之间区分的基础上，因此在不同的对象之间。古典CNN架构将频率学习限制通过固定滤波器大小，缺乏明确控制它的方法。在这里，我们建立了具有高斯衍生基础的结构化接收场滤波器。然而，而不是使用预定的衍生顺序，通常导致基本函数的固定频率响应，我们学习这些。我们表明，通过学习基础的顺序，我们可以准确地学习滤波器的频率，因此适应底层学习任务的最佳频率。我们研究了分数衍生物的良好数学制剂，以在训练期间适应过滤频率。与标准CNN和我们构建的标准CNN和高斯衍生CNN滤波器网络相比，我们的配方导致参数节省和数据效率。

We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.

联合时频散射（JTFS）是时频域中的卷积算子，以各种速率和尺度提取光谱调制。它提供了原发性听觉皮层中光谱接收场（STRF）的理想化模型，因此可以作为孤立音频事件规模的人类感知判断的生物学合理替代物。然而，JTFS和STRF的先前实现仍然不在音频生成的知觉相似性度量和评估方法的标准工具包中。我们将此问题追溯到三个局限性：不同的性能，速度和灵活性。在本文中，我们提出了Python中时间频率散射的实现。与先前的实现不同，我们的将Numpy，Pytorch和Tensorflow作为后端可容纳，因此可以在CPU和GPU上移植。我们通过三个应用说明了JTF的有用性：光谱调制的无监督流形学习，乐器的监督分类以及生物声音的质地重新合成。

学习概括不见于没有人类监督的有效视觉表现是一个基本问题，以便将机器学习施加到各种各样的任务。最近，分别是SIMCLR和BYOL的两个自我监督方法，对比学习和潜在自动启动的家庭取得了重大进展。在这项工作中，我们假设向这些算法添加显式信息压缩产生更好，更强大的表示。我们通过开发与条件熵瓶颈（CEB）目标兼容的SIMCLR和BYOL配方来验证这一点，允许我们衡量并控制学习的表示中的压缩量，并观察它们对下游任务的影响。此外，我们探讨了Lipschitz连续性和压缩之间的关系，显示了我们学习的编码器的嘴唇峰常数上的易触摸下限。由于Lipschitz连续性与稳健性密切相关，这为什么压缩模型更加强大提供了新的解释。我们的实验证实，向SIMCLR和BYOL添加压缩显着提高了线性评估精度和模型鲁棒性，跨各种域移位。特别是，Byol的压缩版本与Reset-50的ImageNet上的76.0％的线性评估精度达到了76.0％的直线评价精度，并使用Reset-50 2x的78.8％。

在这项工作中，我们设计了一个完全复杂的神经网络，用于虹膜识别的任务。与一般物体识别的问题不同，在实际值的神经网络可以用于提取相关特征的情况下，虹膜识别取决于从输入的虹膜纹理提取两个相位和幅度信息，以便更好地表示其生物识别内容。这需要提取和处理不能由实值神经网络有效处理的相位信息。在这方面，我们设计了一个完全复杂的神经网络，可以更好地捕获虹膜纹理的多尺度，多分辨率和多向阶段和多向阶段和幅度特征。我们展示了具有用于生成经典iRIscode的Gabor小波的提出的复合值虹膜识别网络的强烈对应关系;然而，所提出的方法使得能够为IRIS识别量身定​​制的自动复数特征学习的新能力。我们对三个基准数据集进行实验 - Nd-Crosssensor-2013，Casia-Iris-千和Ubiris.v2 - 并显示了拟议网络的虹膜识别任务的好处。我们利用可视化方案来传达复合网络的方式，与标准的实际网络相比，从虹膜纹理提取根本不同的特征。

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

我们分析了旋转模糊性在应​​用于球形图像的卷积神经网络（CNN）中的作用。我们比较了被称为S2CNN的组等效网络的性能和经过越来越多的数据增强量的标准非等级CNN。所选的体系结构可以视为相应设计范式的基线参考。我们的模型对投影到球体的MNIST或FashionMnist数据集进行了训练和评估。对于固有旋转不变的图像分类的任务，我们发现，通过大大增加数据增强量和网络的大小，标准CNN可以至少达到与Equivariant网络相同的性能。相比之下，对于固有的等效性语义分割任务，非等级网络的表现始终超过具有较少参数的模棱两可的网络。我们还分析和比较了不同网络的推理潜伏期和培训时间，从而实现了对等效架构和数据扩展之间的详细权衡考虑，以解决实际问题。实验中使用的均衡球网络可在https://github.com/janegerken/sem_seg_s2cnn上获得。

许多应用程序需要神经网络的鲁棒性或理想的不变性，以使输入数据的某些转换。最常见的是，通过使用对抗性培训或定义包括设计所需不变性的网络体系结构来解决此要求。在这项工作中，我们提出了一种方法，使网络体系结构通过基于固定标准从（可能连续的）轨道中选择一个元素，从而使网络体系结构相对于小组操作证明是不变的。简而言之，我们打算在将数据馈送到实际网络之前“撤消”任何可能的转换。此外，我们凭经验分析了通过训练或体系结构结合不变性的不同方法的特性，并在鲁棒性和计算效率方面证明了我们方法的优势。特别是，我们研究了图像旋转（可以持续到离散化工件）以及3D点云分类的可证明的方向和缩放不变性方面的鲁棒性。

Deep convolutional networks have proven to be very successful in learning task specific features that allow for unprecedented performance on various computer vision tasks. Training of such networks follows mostly the supervised learning paradigm, where sufficiently many input-output pairs are required for training. Acquisition of large training sets is one of the key challenges, when approaching a new task. In this paper, we aim for generic feature learning and present an approach for training a convolutional network using only unlabeled data. To this end, we train the network to discriminate between a set of surrogate classes. Each surrogate class is formed by applying a variety of transformations to a randomly sampled 'seed' image patch. In contrast to supervised network training, the resulting feature representation is not class specific. It rather provides robustness to the transformations that have been applied during training. This generic feature representation allows for classification results that outperform the state of the art for unsupervised learning on several popular datasets . While such generic features cannot compete with class specific features from supervised training on a classification task, we show that they are advantageous on geometric matching problems, where they also outperform the SIFT descriptor.

自动目标识别（ATR）算法将给定的合成孔径雷达（SAR）图像分类为已知的目标类之一，使用一组可用于每个类的训练图像。最近，如果有丰富的训练数据可用，在类中均匀地采样及其姿势，则已经显示出学习方法可以实现最先进的分类精度。在本文中，我们考虑了ATR的任务，其中一组培训图像有限。我们提出了一种数据增强方法，以结合域知识并提高数据密集型学习算法的概括能力，例如卷积神经网络（CNN）。提出的数据增强方法采用有限的持久性稀疏建模方法，利用广角合成孔径雷达（SAR）图像的普遍观察到的特征。具体而言，我们利用空间结构域中的散射中心的稀疏性以及方位角域中散射系数的平滑结构，以解决过度分析模型拟合的缺陷问题。使用此估计的模型，我们合成了给定数据中没有可用的姿势和子像素翻译的新图像来增强CNN的培训数据。实验结果表明，对于训练数据饥饿的区域，提出的方法为结果ATR算法的泛化性能提供了显着增长。

几何深度学习取得了长足的进步，旨在概括从传统领域到非欧几里得群岛的结构感知神经网络的设计，从而引起图形神经网络（GNN），这些神经网络（GNN）可以应用于形成的图形结构数据，例如社会，例如，网络，生物化学和材料科学。尤其是受欧几里得对应物的启发，尤其是图形卷积网络（GCN）通过提取结构感知功能来成功处理图形数据。但是，当前的GNN模型通常受到各种现象的限制，这些现象限制了其表达能力和推广到更复杂的图形数据集的能力。大多数模型基本上依赖于通过本地平均操作对图形信号的低通滤波，从而导致过度平滑。此外，为了避免严重的过度厚度，大多数流行的GCN式网络往往是较浅的，并且具有狭窄的接收场，导致侵犯。在这里，我们提出了一个混合GNN框架，该框架将传统的GCN过滤器与通过几何散射定义的带通滤波器相结合。我们进一步介绍了一个注意框架，该框架允许该模型在节点级别上从不同过滤器的组合信息进行本地参与。我们的理论结果确定了散射过滤器的互补益处，以利用图表中的结构信息，而我们的实验显示了我们方法对各种学习任务的好处。

现有的球形卷积神经网络（CNN）框架在计算方面既可以扩展又是旋转等值的。连续的方法捕获旋转模棱两可，但通常在计算上是过时的。离散的方法提供了更有利的计算性能，但付出了损失。我们开发了一个混合离散（迪斯科）组卷积，该卷积同时均具有等效性，并且在计算上可扩展到高分辨率。虽然我们的框架可以应用于任何紧凑的组，但我们专注于球体。我们的迪斯科球形卷积不仅表现出$ \ text {so}（3）$ rotational equivariance，而且还表现出一种渐近$ \ text {so}（3）/\ text {so}（so}（so}（2）$ rotationation eporational ecorivarianciancience，对于许多应用程序（其中$ \ text {so}（n）$是特殊的正交组，代表$ n $ dimensions中的旋转）。通过稀疏的张量实现，我们可以在球体上的像素数量进行线性缩放，以供计算成本和内存使用情况。对于4K球形图像，与最有效的替代替代品量球卷积相比，我们意识到节省了$ 10^9 $的计算成本和$ 10^4 $的内存使用情况。我们将迪斯科球形CNN框架应用于球体上的许多基准密集预测问题，例如语义分割和深度估计，在所有这些问题上，我们都达到了最先进的性能。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.