Morphological neural networks allow to learn the weights of a structuring function knowing the desired output image. However, those networks are not intrinsically robust to lighting variations in images with an optical cause, such as a change of light intensity. In this paper, we introduce a morphological neural network which possesses such a robustness to lighting variations. It is based on the recent framework of Logarithmic Mathematical Morphology (LMM), i.e. Mathematical Morphology defined with the Logarithmic Image Processing (LIP) model. This model has a LIP additive law which simulates in images a variation of the light intensity. We especially learn the structuring function of a LMM operator robust to those variations, namely : the map of LIP-additive Asplund distances. Results in images show that our neural network verifies the required property.
translated by 谷歌翻译
在本文中，我们提出了一种方法，以最大程度地减少训练有素的卷积神经网络（Convnet）的计算复杂性。这个想法是要近似给定的Convnet的所有元素，并替换原始的卷积过滤器和参数（汇总和偏置系数；以及激活函数），并有效地近似计算复杂性。低复杂性卷积过滤器是通过基于Frobenius Norm的二进制（零）线性编程方案获得的，该方案在一组二元理性的集合上获得。最终的矩阵允许无乘法计算，仅需要添加和位移动操作。这样的低复杂性结构为低功率，高效的硬件设计铺平了道路。我们将方法应用于三种不同复杂性的用例中：（i）“轻”但有效的转换供面部检测（约有1000个参数）； （ii）另一个用于手写数字分类的（超过180000个参数）； （iii）一个明显更大的Convnet：Alexnet，$ \ $ \ $ 120万美元。我们评估了不同近似级别的各个任务的总体绩效。在所有考虑的应用中，都得出了非常低的复杂性近似值，以保持几乎相等的分类性能。
translated by 谷歌翻译
计算光学成像（COI）系统利用其设置中的光学编码元素（CE）在单个或多个快照中编码高维场景，并使用计算算法对其进行解码。 COI系统的性能很大程度上取决于其主要组件的设计：CE模式和用于执行给定任务的计算方法。常规方法依赖于随机模式或分析设计来设置CE的分布。但是，深神经网络（DNNS）的可用数据和算法功能已在CE数据驱动的设计中开辟了新的地平线，该设计共同考虑了光学编码器和计算解码器。具体而言，通过通过完全可区分的图像形成模型对COI测量进行建模，该模型考虑了基于物理的光及其与CES的相互作用，可以在端到端优化定义CE和计算解码器的参数和计算解码器（e2e）方式。此外，通过在同一框架中仅优化CE，可以从纯光学器件中执行推理任务。这项工作调查了CE数据驱动设计的最新进展，并提供了有关如何参数化不同光学元素以将其包括在E2E框架中的指南。由于E2E框架可以通过更改损耗功能和DNN来处理不同的推理应用程序，因此我们提出低级任务，例如光谱成像重建或高级任务，例如使用基于任务的光学光学体系结构来增强隐私的姿势估计，以维护姿势估算。最后，我们说明了使用全镜DNN以光速执行的分类和3D对象识别应用程序。
translated by 谷歌翻译
间接飞行时间（ITOF）相机是一个有希望的深度传感技术。然而，它们容易出现由多路径干扰（MPI）和低信噪比（SNR）引起的错误。传统方法，在去噪后，通过估计编码深度的瞬态图像来减轻MPI。最近，在不使用中间瞬态表示的情况下，共同去噪和减轻MPI的数据驱动方法已经成为最先进的。在本文中，我们建议重新审视瞬态代表。使用数据驱动的Priors，我们将其插入/推断ITOF频率并使用它们来估计瞬态图像。给定直接TOF（DTOF）传感器捕获瞬态图像，我们将我们的方法命名为ITOF2DTOF。瞬态表示是灵活的。它可以集成与基于规则的深度感测算法，对低SNR具有强大，并且可以处理实际上出现的模糊场景（例如，镜面MPI，光学串扰）。我们在真正深度传感方案中展示了先前方法上的ITOF2DTOF的好处。
translated by 谷歌翻译
空间变化暴露（SVE）是高动态（HDR）成像（HDRI）的有希望的选择。被称为单射HDRI的SVE的HDRI是一种有效的解决方案，以避免重影文物。然而，恢复从真实世界的图像与SVE恢复全分辨率的HDR图像是非常具有挑战性的，因为：a）在拜耳图案中，通过相机捕获具有不同曝光的三分之一的像素，B）捕获的一些捕获像素过于和暴露。对于以前的挑战，设计了一种空间变化的卷积（SVC）来设计以改变曝光的携带携带的拜耳图像。对于后者，提出了一种曝光 - 引导方法，以防止来自暴露和暴露的像素的干扰。最后，联合去脱模和HDRI深度学习框架被形式化以包括两种新型组件，并实现端到端的单次HDRI。实验表明，所提出的端到端框架避免了累积误差问题并超越了相关的最先进的方法。
translated by 谷歌翻译
最近，由于高性能，深度学习方法已成为生物学图像重建和增强问题的主要研究前沿，以及其超快速推理时间。但是，由于获得监督学习的匹配参考数据的难度，对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是，已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中，我们概述了在古典逆问题的背景下的连贯性观点，并讨论其对生物成像的应用，包括电子，荧光和去卷积显微镜，光学衍射断层扫描和功能性神经影像。
translated by 谷歌翻译
提出了一种称为误差损失网络（ELN）的新型模型，以构建监督学习的误差损失函数。 ELN的结构类似于径向基函数（RBF）神经网络，但其输入是误差样本，输出是与该误差样本相对应的损耗。这意味着ELN的非线性输入输出映射器会创建误差损失函数。拟议的ELN为大量错误损失函数提供了统一模型，其中包括一些信息理论学习（ITL）损失函数作为特殊情况。 ELN的激活函数，权重参数和网络大小可以从误差样本中进行预先确定或学到。在此基础上，我们提出了一个新的机器学习范式，其中学习过程分为两个阶段：首先，使用ELN学习损失函数；其次，使用学习的损失功能继续执行学习。提出了实验结果，以证明新方法的理想性能。
translated by 谷歌翻译
除了极其非线性的情况外，如果不是数十亿个参数来解决或至少要获得良好的解决方案，并且众所周知，众所周知，众所周知，并且通过深化和扩大其拓扑来实现复杂性的神经网络增加更好近似所需的非线性水平。然而，紧凑的拓扑始终优先于更深的拓扑，因为它们提供了使用较少计算单元和更少参数的优势。这种兼容性以减少的非线性的价格出现，因此有限的解决方案搜索空间。我们提出了使用自动多项式内核估计的1维多项式神经网络（1DPNN）模型，用于1维卷积神经网络（1dcnns），并且从第一层引入高度的非线性，这可以补偿深度的需要和/或宽拓扑。我们表明，这种非线性使得模型能够产生比与音频信号相关的各种分类和回归问题的常规1dcnn的计算和空间复杂性更好的结果，即使它在神经元水平上引入了更多的计算和空间复杂性。实验在三个公共数据集中进行，并证明，在解决的问题上，所提出的模型可以在更少的时间内从数据中提取比1dcnn更多的相关信息，并且存储器较少。
translated by 谷歌翻译
本文涉及专业示范的学习安全控制法。我们假设系统动态和输出测量图的适当模型以及相应的错误界限。我们首先提出强大的输出控制屏障功能（ROCBF）作为保证安全的手段，通过控制安全集的前向不变性定义。然后，我们提出了一个优化问题，以从展示安全系统行为的专家演示中学习RocBF，例如，从人类运营商收集的数据。随着优化问题，我们提供可验证条件，可确保获得的Rocbf的有效性。这些条件在数据的密度和学习函数的LipsChitz和Lipshitz和界限常数上说明，以及系统动态和输出测量图的模型。当ROCBF的参数化是线性的，然后，在温和的假设下，优化问题是凸的。我们在自动驾驶模拟器卡拉验证了我们的调查结果，并展示了如何从RGB相机图像中学习安全控制法。
translated by 谷歌翻译
在形状分析中，基本问题之一是在计算这些形状之间的（地球）距离之前对齐曲线或表面。为了找到最佳的重新训练，实现这种比对的是一项计算要求的任务，它导致了在差异组上的优化问题。在本文中，我们通过组成基本差异性来解决近似问题，构建了定向性扩散的近似值。我们提出了一种在Pytorch中实施的实用算法，该算法既适用于未参考的曲线和表面。我们得出了通用近似结果，并获得了获得的差异形态成分的Lipschitz常数的边界。
translated by 谷歌翻译
Existing generalization bounds fail to explain crucial factors that drive generalization of modern neural networks. Since such bounds often hold uniformly over all parameters, they suffer from over-parametrization, and fail to account for the strong inductive bias of initialization and stochastic gradient descent. As an alternative, we propose a novel optimal transport interpretation of the generalization problem. This allows us to derive instance-dependent generalization bounds that depend on the local Lipschitz regularity of the earned prediction function in the data space. Therefore, our bounds are agnostic to the parametrization of the model and work well when the number of training samples is much smaller than the number of parameters. With small modifications, our approach yields accelerated rates for data on low-dimensional manifolds, and guarantees under distribution shifts. We empirically analyze our generalization bounds for neural networks, showing that the bound values are meaningful and capture the effect of popular regularization methods during training.
translated by 谷歌翻译
These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.
translated by 谷歌翻译
理解为什么深网络可以在大尺寸中对数据进行分类仍然是一个挑战。已经提出了它们通过变得稳定的差异术，但现有的经验测量值得支持它通常不是这种情况。我们通过定义弥散术的最大熵分布来重新审视这个问题，这允许研究给定规范的典型的扩散术。我们确认对基准数据集的稳定性与基准数据集的性能没有强烈关联。相比之下，我们发现，对于普通转换的稳定性，R_F $的稳定性与测试错误$ \ epsilon_t $相比。在初始化时，它是初始化的统一，但在最先进的架构培训期间减少了几十年。对于CiFar10和15名已知的架构，我们发现$ \ epsilon_t \约0.2 \ sqrt {r_f} $，表明获得小$ r_f $非常重要，无法实现良好的性能。我们研究R_F $如何取决于培训集的大小，并将其与简单的不变学习模型进行比较。
translated by 谷歌翻译
在本文中，我们提出了一个框架，用于设计和实现偏移量像网络，即在输入中保留其输出统一增量的神经网络。在合适的颜色空间中，这种网络可实现表征在照明条件下变化的光度变换的肩variane。我们在三个不同的问题上验证了框架：图像识别，发光估计和图像介绍。我们的实验表明，偏移量比网络的性能与常规数据的最新技术相媲美。然而，与传统网络不同，当照明器的颜色变化时，均值网络的表现始终如一。
translated by 谷歌翻译
除了预测误差的最小化之外，回归方案的两个最期望的性质是稳定性和解释性。由这些原则驱动，我们提出了连续域配方进行一维回归问题。在我们的第一种方法中，我们使用Lipschitz常数作为规范器，这导致了解学习映射的整体稳健性的调整。在我们的第二种方法中，我们使用用户定义的上限和使用稀疏性常规程序来控制Lipschitz常数，以便更简单地支持（以及因此，更可取的可解释）的解决方案。后者制剂的理论研究部分地通过其证明的等效性，利用整流线性单元（Relu）激活和重量衰减，训练Lipschitz受约束的两层单变量神经网络。通过证明代表定理，我们表明这两个问题都承认是连续和分段线性（CPWL）功能的全局最小值。此外，我们提出了高效的算法，该算法找到了每个问题的稀疏解决方案：具有最少数量的线性区域的CPWL映射。最后，我们在数字上说明了我们的配方的结果。
translated by 谷歌翻译
一项开创性的工作[Jacot等，2018]表明，在特定参数化下训练神经网络等同于执行特定的内核方法，因为宽度延伸到无穷大。这种等效性为将有关内核方法的丰富文献结果应用于神经网的结果开辟了一个有希望的方向，而神经网络很难解决。本调查涵盖了内核融合的关键结果，因为宽度进入无穷大，有限宽度校正，应用以及对相应方法的局限性的讨论。
translated by 谷歌翻译
人类脑中脑中的背景利用异质感官信息，以有效地执行包括视觉和听力的认知任务。例如，在鸡尾酒会党的情况下，人类听觉Cortex上下文中的视听（AV）提示才能更好地感知言论。最近的研究表明，与音频SE模型相比，AV语音增强（SE）模型可以显着提高信噪比（SNR）环境的极低信号的语音质量和可懂度。然而，尽管在AV SE的领域进行了显着的研究，但具有低延迟的实时处理模型的开发仍然是一个强大的技术挑战。在本文中，我们为低延迟扬声器的独立AV SE提供了一种新颖的框架，可以概括一系列视觉和声学噪声。特别地，提出了一种生成的对抗性网络（GaN）来解决AV SE的视觉缺陷的实际问题。此外，我们提出了一种基于神经网络的深度神经网络的实时AV SE模型，考虑到从GaN的清洁的视觉语音输出来提供更强大的SE。拟议的框架使用客观语音质量和可懂度指标和主观上市测试对合成和真实嘈杂的AV语料库进行评估。比较仿真结果表明，我们的实时AV SE框架优于最先进的SE方法，包括最近的基于DNN的SE模型。
translated by 谷歌翻译
置换矩阵构成了一个重要的计算构建块，这些构建块在各个领域中经常使用，例如通信，信息安全和数据处理。具有相对较大数量的基于功率，快速和紧凑型平台的输入输出互连的置换运算符的光学实现是非常可取的。在这里，我们提出了通过深度学习设计的衍射光学网络，以全面执行置换操作，可以使用被动的传播层在输入和视场之间扩展到数十万个互连，这些互连是在波长规模上单独构造的。 。我们的发现表明，衍射光网络在近似给定置换操作中的容量与系统中衍射层和可训练的传输元件的数量成正比。这种更深的衍射网络设计可以在系统的物理对齐和输出衍射效率方面构成实际挑战。我们通过设计不对对准的衍射设计来解决这些挑战，这些设计可以全面执行任意选择的置换操作，并首次在实验中证明了在频谱的THZ部分运行的衍射排列网络。衍射排列网络可能会在例如安全性，图像加密和数据处理以及电信中找到各种应用程序；尤其是在无线通信中的载波频率接近THZ波段的情况下，提出的衍射置换网络可以潜在地充当无线网络中的通道路由和互连面板。
translated by 谷歌翻译
在水下活动期间获得的图像遭受了水的环境特性，例如浊度和衰减。这些现象会导致颜色失真，模糊和对比度减少。另外，不规则的环境光分布会导致色道不平衡和具有高强度像素的区域。最近的作品与水下图像增强有关，并基于深度学习方法，解决了缺乏生成合成基地真相的配对数据集。在本文中，我们提出了一种基于深度学习的水下图像增强的自我监督学习方法，不需要配对的数据集。提出的方法估计了水下图像中存在的降解。此外，自动编码器重建此图像，并使用估计的降解信息降解其输出图像。因此，该策略在训练阶段的损失函数中用降级版本代替了输出图像。此过程\ textIt {Misleads}学会补偿其他降解的神经网络。结果，重建的图像是输入图像的增强版本。此外，该算法还提出了一个注意模块，以减少通过颜色通道不平衡和异常区域在增强图像中产生的高强度区域。此外，提出的方法不需要基本真实。此外，仅使用真实的水下图像来训练神经网络，结果表明该方法在颜色保存，颜色铸造降低和对比度改进方面的有效性。
translated by 谷歌翻译
In a series of recent theoretical works, it was shown that strongly overparameterized neural networks trained with gradient-based methods could converge exponentially fast to zero training loss, with their parameters hardly varying. In this work, we show that this "lazy training" phenomenon is not specific to overparameterized neural networks, and is due to a choice of scaling, often implicit, that makes the model behave as its linearization around the initialization, thus yielding a model equivalent to learning with positive-definite kernels. Through a theoretical analysis, we exhibit various situations where this phenomenon arises in non-convex optimization and we provide bounds on the distance between the lazy and linearized optimization paths. Our numerical experiments bring a critical note, as we observe that the performance of commonly used non-linear deep convolutional neural networks in computer vision degrades when trained in the lazy regime. This makes it unlikely that "lazy training" is behind the many successes of neural networks in difficult high dimensional tasks.
translated by 谷歌翻译