基于人工神经网络（基于ANN）的损耗压缩机最近在多个来源获得了惊人的结果。它们的成功可能归因于在高维环境空间中识别低维歧管的结构的能力。实际上，先前的工作表明，基于ANN的压缩机可以实现某些此类来源的最佳熵距离曲线。相比之下，我们确定了具有圆形结构的两个低维歧管的最佳熵差异权，并表明基于最新的ANN压缩机无法最佳地压缩它们。

我们考虑使用随机球形代码的高维信号$ x $的有损压缩表示之间的分布连接，并在添加白色高斯噪声（AWGN）下的$ X $观察$ x $。我们展示了比特率 - $ R $压缩版的Wassersein距离$ x $及其在AWGN-噪声比率下的AWGN噪声比率下的观察2 ^ {2R} -1 $ 2 ^ {2r} -1 $中的下线性。我们利用此事实基于AWGN损坏的$ x $的AWGN损坏版本的估算者的风险连接到与其比特率 - $ r $量化版本相同的估算器所获得的风险。我们通过在压缩约束下导出推导问题的各种新结果来展示这种联系的有用性，包括Minimax估计，稀疏回归，压缩感和远程源编码中的线性估计的普遍性。

速率 - 失真（R-D）函数，信息理论中的关键数量，其特征在于，通过任何压缩算法，通过任何压缩算法将数据源可以压缩到保真标准的基本限制。随着研究人员推动了不断提高的压缩性能，建立给定数据源的R-D功能不仅具有科学的兴趣，而且还在可能的空间上揭示了改善压缩算法的可能性。以前的解决此问题依赖于数据源上的分布假设（Gibson，2017）或仅应用于离散数据。相比之下，本文使得第一次尝试播放常规（不一定是离散的）源仅需要i.i.d的算法的算法。数据样本。我们估计高斯和高尺寸香蕉形源的R-D三明治界，以及GaN生成的图像。我们在自然图像上的R-D上限表示在各种比特率的PSNR中提高最先进的图像压缩方法的性能的空间。

在本文中，我们研究了与具有多种激活函数的浅神经网络相对应的变异空间的近似特性。我们介绍了两个主要工具，用于估计这些空间的度量熵，近似率和$ n $宽度。首先，我们介绍了平滑参数化词典的概念，并在非线性近似速率，度量熵和$ n $ widths上给出了上限。上限取决于参数化的平滑度。该结果适用于与浅神经网络相对应的脊功能的字典，并且在许多情况下它们的现有结果改善了。接下来，我们提供了一种方法，用于下限度量熵和$ n $ widths的变化空间，其中包含某些类别的山脊功能。该结果给出了$ l^2 $ approximation速率，度量熵和$ n $ widths的变化空间的急剧下限具有界变化的乙状结激活函数。

Several problems in stochastic analysis are defined through their geometry, and preserving that geometric structure is essential to generating meaningful predictions. Nevertheless, how to design principled deep learning (DL) models capable of encoding these geometric structures remains largely unknown. We address this open problem by introducing a universal causal geometric DL framework in which the user specifies a suitable pair of geometries $\mathscr{X}$ and $\mathscr{Y}$ and our framework returns a DL model capable of causally approximating any ``regular'' map sending time series in $\mathscr{X}^{\mathbb{Z}}$ to time series in $\mathscr{Y}^{\mathbb{Z}}$ while respecting their forward flow of information throughout time. Suitable geometries on $\mathscr{Y}$ include various (adapted) Wasserstein spaces arising in optimal stopping problems, a variety of statistical manifolds describing the conditional distribution of continuous-time finite state Markov chains, and all Fr\'echet spaces admitting a Schauder basis, e.g. as in classical finance. Suitable, $\mathscr{X}$ are any compact subset of any Euclidean space. Our results all quantitatively express the number of parameters needed for our DL model to achieve a given approximation error as a function of the target map's regularity and the geometric structure both of $\mathscr{X}$ and of $\mathscr{Y}$. Even when omitting any temporal structure, our universal approximation theorems are the first guarantees that H\"older functions, defined between such $\mathscr{X}$ and $\mathscr{Y}$ can be approximated by DL models.

在有损压缩的背景下，Blau＆Michaeli（2019）采用了感知质量的数学概念，并定义了信息率 - 失真 - 感知功能，概括了经典速率 - 失真概况。我们考虑一个通用表示的概念，其中一个人可以修复编码器并改变解码器以实现失真和感知约束的集合中的任何点。我们证明，相应的信息理论通用率 - 失真 - 感知功能在近似意义上可操作地实现。在MSE失真下，我们表明高斯来源的整个失真 - 感知概况可以通过渐近率的相同速率的单个编码器来实现。然后，我们在任意分布的情况下表征了用于固定表示的可实现的失真感知区域，识别上述结果近似地保持的条件，并且在速率预先固定时研究该情况。这激发了对跨RDP权衡大致普遍的实际结构的研究，从而减轻了为每个目标设计新编码器的需要。我们为MNIST和SVHN提供实验结果，表明在图像压缩任务上，通过机器学习模型实现的操作权衡与固定编码器相比只遭受小额惩罚。

信息理论措施已广泛采用学习和决策问题的特征。受到这一点的启发，我们介绍了Shannon Sense的信息损失的弱形式，ii）在考虑一系列有损的连续表示（特征）时，错误（MPE）意义上的最小概率的操作损失连续观察。我们展示了几个结果揭示了这种相互作用的结果。我们的第一个结果在采用离散的损耗表示（量化）而不是原始原始观察时，在其各自的操作损失的函数中提供弱的信息损失形式的下限。从这后，我们的主要结果表明，在考虑一般的持续陈述时，特定形式的消失信息丧失（渐近信息充足的弱势概念）意味着消失的MPE损失（或渐近运营充足机会）。我们的理论调查结果支持观察到选择要捕捉信息充足性的特征表示是适当的学习，但如果预期目标在分类中实现MPE，这种选择是一种相当保守的设计原则。支持这一表明，在某些结构条件下，我们表明，可以采取信息充足的替代概念（严格弱于互信息意义上的纯粹足够的充足），以实现运动充足。

我们引入了一个深度学习模型，该模型通常可以近似于常规条件分布（RCD）。所提出的模型分为三个阶段：首先从给定的度量空间$ \ mathcal {x} $到$ \ mathbb {r}^d $通过功能映射进行线性化输入，然后这些线性化的功能由深层馈电的神经网络处理，然后通过Bahdanau等人引入的注意机制的概率扩展，将网络的输出转换为$ 1 $ -WASSERSTEIN SPACE $ \ MATHCAL {P} _1（\ Mathbb {r}^d）$。 （2014）。我们发现，使用我们的框架构建的模型可以从$ \ mathbb {r}^d $到$ \ mathcal {p} _1（\ mathbb {r}^d）$均匀地在紧凑的集合上近似任何连续功能。当近似$ \ mathcal {p} _1（\ mathbb {r}^d）$ - 有价值的函数时，我们确定了两种避免维数的诅咒的方法。第一个策略描述了$ c（\ mathbb {r}^d，\ mathcal {p} _1（\ mathbb {r}^d））$中的函数，可以在$ \ mathbb {r}的任何紧凑子集上有效地近似地近似^D $。第二种方法描述了$ \ mathbb {r}^d $的紧凑子集，其中最多的$ c（\ mathbb {r}^d，\ mathcal {p} _1 _1（\ mathbb {r}^d））$可以有效地近似。结果经过实验验证。

使用具有与查询依赖性噪声的20个问题估计框架，我们研究了在单位立方体上移动目标的非自适应搜索策略，该策略在分段恒定速度模型下具有未知的初始位置和速度未知。在这个搜索问题中，有一个甲骨文在任何时候都知道目标的瞬时位置。我们的任务是尽可能几次查询甲骨文，以在任何指定的时间准确估算目标的位置。我们首先研究了Oracle对每个查询的答案被离散噪声损坏，然后将我们的结果推广到添加剂白色高斯噪声的情况。在我们的公式中，性能标准是分辨率，该分辨率定义为真实位置和估计位置之间的最大$ l_ \ infty $距离。我们通过推导非肌电和渐近界限来表征最佳的非自适应查询程序的最低分辨率，并具有有限数量的查询。当查询数量满足一定条件时，我们的边界在一阶渐近含义上是紧密的，并且当目标以恒定速度移动时，我们的边界在更强的二阶渐近感中紧密。为了证明我们的结果，我们将当前的问题与渠道编码联系起来，从有限的区块长度信息理论借用想法，并根据可能的量化目标轨迹的数量构建界限。

我们考虑一个非线性逆问题$ \ mathbf {y} = f（\ mathbf {ax}）$，其中观察$ \ mathbf {y} \ in \ mathbb {r} ^ m $ in $ \ mathbf的组件非线性转换\ MathBB {R} ^ M $，$ \ MATHBF {X} \ IN \ MATHBB {R} ^ $是兴趣的信号，$ \ MATHBF {A} $是已知的线性映射。通过正确指定非线性处理功能，可以将该模型统治到许多信号处理问题，包括压缩感测和相位检索。我们本文的主要目标是了解传感矩阵的影响，或更具体地是感测矩阵的频谱，难以从$ \ mathbf {y} $恢复$ \ mathbf {x} $。为了实现这一目标，我们研究了最成功的恢复方法之一的性能，即期望传播算法（EP）。我们为$ \ mathbf {a} $的频谱的尖端定义了一个概念，并显示了在EP性能方面的这一措施的重要性。频谱的刺激是否可以伤害或帮助EP的恢复性能取决于$ F $。我们根据函数$ F $定义某些数量，使我们能够描述谱对EP恢复刺激的影响。基于我们的框架，我们能够表明，例如，在阶段检索问题中，具有尖光频谱的矩阵对于EP更好，而在1位压缩的感测问题中，较少的尖峰（平坦）频谱提供更好的恢复。我们的结果统一并基本上概括了比较子高斯和正交矩阵的现有结果，并为设计最佳感测系统提供平台。

高维模型通常具有较大的内存足迹，必须在训练后进行量化，然后将其部署在资源受限的边缘设备上以进行推理任务。在这项工作中，我们开发了一个信息理论框架，用于量化从训练数据$（\ mathbf {x}，\ mathbf {y}）$的线性回归剂的问题，用于某些基本统计关系$ \ mathbf {y} = \ Mathbf {X} \ BoldSymbol {\ Theta} + \ Mathbf {V} $。博学的模型是对潜在参数$ \ boldsymbol {\ theta} \ in \ mathbb {r}^d $的估计值，仅使用$ bd $ bits来代表，其中$ b \ in（0，in 0，0，in（0） \ infty）$是预先指定的预算，$ d $是维度。在此设置下，我们为Minimax风险提供了信息理论的下限，并建议使用基于嵌入的算法进行匹配的上限，该算法紧密到恒定因素。上限和上限共同表征了达到与未量化设置相当的性能风险所需的最小阈值位预算。我们还提出了在计算上有效且最佳的随机hadamard嵌入到下限的轻度对数因子。我们的模型量化策略可以概括，我们通过将方法和上限扩展到两层relu神经网络以进行非线性回归来显示其功效。数值模拟表明，我们提出的方案的性能得到改善，以及其与下限的亲密关系。

我们在限制下研究了一阶优化算法，即使用每个维度的$ r $ bits预算进行量化下降方向，其中$ r \ in（0，\ infty）$。我们提出了具有收敛速率的计算有效优化算法，与信息理论性能匹配：（i）：（i）具有访问精确梯度甲骨文的平稳且强烈的符合目标，以及（ii）一般凸面和非平滑目标访问嘈杂的亚级别甲骨文。这些算法的关键是一种多项式复杂源编码方案，它在量化它之前将矢量嵌入随机子空间中。这些嵌入使得具有很高的概率，它们沿着转换空间的任何规范方向的投影很小。结果，量化这些嵌入，然后对原始空间进行逆变换产生一种源编码方法，具有最佳的覆盖效率，同时仅利用每个维度的$ r $ bits。我们的算法保证了位预算$ r $的任意值的最佳性，其中包括次线性预算制度（$ r <1 $），以及高预算制度（$ r \ geq 1 $），虽然需要$ o \ left（n^2 \右）$乘法，其中$ n $是尺寸。我们还提出了使用Hadamard子空间对这种编码方案的有效放松扩展以显着提高梯度稀疏方案的性能。数值模拟验证我们的理论主张。我们的实现可在https://github.com/rajarshisaha95/distoptconstrocncomm上获得。

We describe an end-to-end trainable model for image compression based on variational autoencoders. The model incorporates a hyperprior to effectively capture spatial dependencies in the latent representation. This hyperprior relates to side information, a concept universal to virtually all modern image codecs, but largely unexplored in image compression using artificial neural networks (ANNs). Unlike existing autoencoder compression methods, our model trains a complex prior jointly with the underlying autoencoder. We demonstrate that this model leads to state-of-the-art image compression when measuring visual quality using the popular MS-SSIM index, and yields rate-distortion performance surpassing published ANN-based methods when evaluated using a more traditional metric based on squared error (PSNR). Furthermore, we provide a qualitative comparison of models trained for different distortion metrics.

训练神经网络的一种常见方法是将所有权重初始化为独立的高斯向量。我们观察到，通过将权重初始化为独立对，每对由两个相同的高斯向量组成，我们可以显着改善收敛分析。虽然已经研究了类似的技术来进行随机输入[Daniely，Neurips 2020]，但尚未使用任意输入进行分析。使用此技术，我们展示了如何显着减少两层relu网络所需的神经元数量，均在逻辑损失的参数化设置不足的情况下，大约$ \ gamma^{ - 8} $ [Ji and telgarsky，ICLR， 2020]至$ \ gamma^{ - 2} $，其中$ \ gamma $表示带有神经切线内核的分离边距，以及在与平方损失的过度参数化设置中，从大约$ n^4 $ [song [song]和Yang，2019年]至$ n^2 $，隐含地改善了[Brand，Peng，Song和Weinstein，ITCS 2021]的近期运行时间。对于参数不足的设置，我们还证明了在先前工作时改善的新下限，并且在某些假设下是最好的。

分布式平均值估计（DME）是联邦学习中的一个中央构建块，客户将本地梯度发送到参数服务器，以平均和更新模型。由于通信限制，客户经常使用有损压缩技术来压缩梯度，从而导致估计不准确。当客户拥有多种网络条件（例如限制的通信预算和数据包损失）时，DME更具挑战性。在这种情况下，DME技术通常会导致估计误差显着增加，从而导致学习绩效退化。在这项工作中，我们提出了一种名为Eden的强大DME技术，该技术自然会处理异质通信预算和数据包损失。我们为伊甸园提供了有吸引力的理论保证，并通过经验进行评估。我们的结果表明，伊甸园对最先进的DME技术持续改进。

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。

我们研究神经网络表达能力的基本限制。给定两组$ f $，$ g $的实值函数，我们首先证明了$ f $中的功能的一般下限，可以在$ l^p（\ mu）$ norm中通过$ g中的功能近似$，对于任何$ p \ geq 1 $和任何概率度量$ \ mu $。下限取决于$ f $的包装数，$ f $的范围以及$ g $的脂肪震动尺寸。然后，我们实例化了$ g $对应于分段的馈电神经网络的情况，并详细描述了两组$ f $：h {\“ o} lder balls和多变量单调函数。除了匹配（已知或新的）上限与日志因素外，我们的下限还阐明了$ l^p $ Norm或SUP Norm中近似之间的相似性或差异，解决了Devore等人的开放问题（2021年））。我们的证明策略与SUP Norm案例不同，并使用了Mendelson（2002）的关键概率结果。

自动编码是表示学习的一种流行方法。常规的自动编码器采用对称编码编码程序和简单的欧几里得潜在空间，以无监督的方式检测隐藏的低维结构。这项工作介绍了一个图表自动编码器，其中具有不对称编码编码过程，该过程可以包含其他半监督信息，例如类标签。除了增强使用复杂的拓扑结构和几何结构处理数据的能力外，这些模型还可以成功区分附近的数据，但仅与少量监督相交并与歧管相交。此外，该模型仅需要较低的复杂性编码器，例如局部线性投影。我们讨论了此类网络的理论近似能力，基本上取决于数据歧管的固有维度，而不是观测值的维度。我们对合成和现实世界数据的数值实验验证了所提出的模型可以有效地通过附近的多类，但分离不同类别，重叠的歧管和具有非平凡拓扑的歧管的数据。

Consider the multivariate nonparametric regression model. It is shown that estimators based on sparsely connected deep neural networks with ReLU activation function and properly chosen network architecture achieve the minimax rates of convergence (up to log nfactors) under a general composition assumption on the regression function. The framework includes many well-studied structural constraints such as (generalized) additive models. While there is a lot of flexibility in the network architecture, the tuning parameter is the sparsity of the network. Specifically, we consider large networks with number of potential network parameters exceeding the sample size. The analysis gives some insights into why multilayer feedforward neural networks perform well in practice. Interestingly, for ReLU activation function the depth (number of layers) of the neural network architectures plays an important role and our theory suggests that for nonparametric regression, scaling the network depth with the sample size is natural. It is also shown that under the composition assumption wavelet estimators can only achieve suboptimal rates.

我们描述了一种新型有损压缩方法，称为DIFFC，该方法基于无条件扩散生成模型。与依靠转换编码和量化来限制传输信息的现代压缩方案不同，DIFFC依赖于高斯噪声损坏的像素的有效通信。我们实施了概念证明，并发现尽管缺乏编码器变换，但它的工作原理表现出色，超过了Imagenet 64x64上最先进的生成压缩方法。 DIFFC仅使用单个模型在任意比特率上编码和DENOISE损坏的像素。该方法进一步提供了对渐进编码的支持，即从部分位流进行解码。我们执行速率分析，以更深入地了解其性能，为多元高斯数据以及一般分布的初始结果提供分析结果。此外，我们表明，基于流动的重建可以比祖先采样在高比特率上获得3 dB的增长。