本文介绍了一种基于代理的互相关（SBCC）框架，以提高两个图像信号之间的相关性能。 SBCC背后的基本思想是，提供一个原始图像的优化代理滤波器/图像将产生更强大的且更准确的相关信号。 SBCC的互相关估计与由替代丢失和相关稠度损失组成的目标函数。闭合溶液提供有效的估计。为了我们的意外，SBCC框架可以提供替代视图来解释一组广义互相关（GCC）方法并理解参数的含义。在我们的SBCC框架的帮助下，我们进一步提出了四种新的特定互联方法，并提供了一些提高现有GCC方法的建议。值得注意的事实是，通过纳入其他否定的上下文图像，SBCC可以增强相关性鲁棒性。考虑到粒子图像VELOCIMETRY（PIV）的子像素精度和鲁棒性要求，用粒子图像研究了目标函数中的每个术语的贡献。与最先进的基线方法相比，SBCC方法在合成数据集中表现出改善的性能（准确性和鲁棒性）和一些具有挑战性的真实实验PIV病例。

Lensless cameras are a class of imaging devices that shrink the physical dimensions to the very close vicinity of the image sensor by replacing conventional compound lenses with integrated flat optics and computational algorithms. Here we report a diffractive lensless camera with spatially-coded Voronoi-Fresnel phase to achieve superior image quality. We propose a design principle of maximizing the acquired information in optics to facilitate the computational reconstruction. By introducing an easy-to-optimize Fourier domain metric, Modulation Transfer Function volume (MTFv), which is related to the Strehl ratio, we devise an optimization framework to guide the optimization of the diffractive optical element. The resulting Voronoi-Fresnel phase features an irregular array of quasi-Centroidal Voronoi cells containing a base first-order Fresnel phase function. We demonstrate and verify the imaging performance for photography applications with a prototype Voronoi-Fresnel lensless camera on a 1.6-megapixel image sensor in various illumination conditions. Results show that the proposed design outperforms existing lensless cameras, and could benefit the development of compact imaging systems that work in extreme physical conditions.

信号处理是几乎任何传感器系统的基本组件，具有不同科学学科的广泛应用。时间序列数据，图像和视频序列包括可以增强和分析信息提取和量化的代表性形式的信号。人工智能和机器学习的最近进步正在转向智能，数据驱动，信号处理的研究。该路线图呈现了最先进的方法和应用程序的关键概述，旨在突出未来的挑战和对下一代测量系统的研究机会。它涵盖了广泛的主题，从基础到工业研究，以简明的主题部分组织，反映了每个研究领域的当前和未来发展的趋势和影响。此外，它为研究人员和资助机构提供了识别新前景的指导。

Objective methods for assessing perceptual image quality have traditionally attempted to quantify the visibility of errors between a distorted image and a reference image using a variety of known properties of the human visual system. Under the assumption that human visual perception is highly adapted for extracting structural information from a scene, we introduce an alternative framework for quality assessment based on the degradation of structural information. As a specific example of this concept, we develop a Structural Similarity Index and demonstrate its promise through a set of intuitive examples, as well as comparison to both subjective ratings and state-of-the-art objective methods on a database of images compressed with JPEG and JPEG2000. 1

斑点波动严重限制了合成孔径雷达（SAR）图像的可解释性。因此，散斑减少是跨越至少四十年的众多作品的主题。基于深度神经网络的技术最近在SAR图像恢复质量方面实现了一种新的性能。超出了合适的网络架构的设计或选择足够的损失功能，培训集的构建是最重要的。到目前为止，大多数方法都考虑了监督培训策略：培训网络以产生尽可能靠近斑点的参考图像的输出。无斑点图像通常不可用，这需要采用自然或光学图像或在长时间序列中选择稳定区域，以规避缺乏地面真理。另一方面，自我监督避免使用无斑点图像。我们介绍了一个自我监督的战略，基于单眼复杂的SAR图像的真实和虚构部分的分离，称为Merlin（复杂的自我监督的机除），并表明它提供了一种培训各种深度掠夺的直接途径网络。由于特定于给定传感器和成像模式的SAR传输功能，使用Merlin培训的网络考虑了空间相关性。通过只需要一个图像，并且可能利用大型档案，Merlin将门打开了无忧无虑的机器，以及对机器网络的大规模培训。培训型号的代码是在https://gitlab.telecom-paris.fr/ring/mollin的。

在本文中，我们解决了逆转图像滤波器效果的新问题，该图像过滤器可以是线性的或非线性的。假设是滤波器的算法未知，滤波器可作为黑框。我们为最小化本地补丁的成本函数和使用总衍生物来近似于梯度下降以解决问题的渐变来制定该逆问题。我们分析影响傅里叶域中输出的收敛和质量的因素。我们还研究加速梯度下降算法在三个无梯度的反向滤波器中的应用，包括本文提出的较方案。我们提出了广泛的实验结果，以评估所提出的算法的复杂性和有效性。结果表明，所提出的算法优于现有技术（1），它与最快的反向滤波器的复杂程度相同，但它可以反转更多数量的滤波器，并且（2）它可以反转与非常复杂的反滤波器的过滤器相同的滤波器列表，但其复杂性要小得多。

准确且强大的视觉对象跟踪是最具挑战性和最基本的计算机视觉问题之一。它需要在图像序列中估计目标的轨迹，仅给出其初始位置和分段，或者在边界框的形式中粗略近似。判别相关滤波器（DCF）和深度暹罗网络（SNS）被出现为主导跟踪范式，这导致了重大进展。在过去十年的视觉对象跟踪快速演变之后，该调查介绍了90多个DCFS和暹罗跟踪器的系统和彻底审查，基于九个跟踪基准。首先，我们介绍了DCF和暹罗跟踪核心配方的背景理论。然后，我们在这些跟踪范式中区分和全面地审查共享以及具体的开放研究挑战。此外，我们彻底分析了DCF和暹罗跟踪器对九个基准的性能，涵盖了视觉跟踪的不同实验方面：数据集，评估度量，性能和速度比较。通过提出根据我们的分析提出尊重开放挑战的建议和建议来完成调查。

复制伪造是对图像的复制和粘贴特定贴片的操纵，并具有潜在的非法或不道德用途。法医伪造的法医方法的最新进展显示出在检测准确性和鲁棒性方面的成功越来越大。但是，对于具有高自相似性或强烈信号损坏的图像，现有算法通常会表现出效率低下的过程和不可靠的结果。这主要是由于低级视觉表示与高级语义概念之间的固有语义差距。在本文中，我们提出了一项最初的研究，该研究试图减轻复制移动伪造检测中的语义差距问题，并通过空间汇集当地矩不变式以用于中级图像表示。我们的检测方法将传统作品扩展到两个方面：1）我们首次将视野模型介绍到该领域，这可能意味着法医研究的新观点； 2）我们提出了一个单词到短语功能描述和匹配管道，涵盖了数字图像的空间结构和视觉显着性信息。广泛的实验结果表明，在克服语义差距引起的相关问题时，我们的框架优于最先进的算法。

多光谱和多模式图像处理在计算机视觉和计算摄影社区中很重要。由于所获得的多级和多模式数据通常由于图像设备的交替或移动而被误报，因此需要图像登记过程。由于非线性强度和梯度变化，多光谱或多模式图像的登记是具有挑战性的。为了应对这一挑战，我们提出了相变网络（PCNet），该网络（PCNET）能够增强结构相似性并减轻非线性强度和梯度变化。然后可以使用网络产生的相似性增强特征对齐图像。 PCNET在先前的相一致性的指导下构建。根据相中理论，网络包含三个可用的学习Gabor内核附带的三层可训练层。由于先前的知识，PCNet非常轻量。可以将PCNET视为完全卷积的，因此可以取消任意尺寸。一旦接受训练，PCNet适用于各种多级和多模式数据，如RGB / NIR和Flash / No-Flash图像，而无需额外的进一步调整。实验结果验证了PCNet优于当前最先进的登记算法。

周等人提出了一个无人监督，轻质和高性能的单一对象追踪器，称为UHP-SOT。最近。作为一个扩展，我们在这项工作中介绍了一个增强版本并将其命名为UHP-SOT ++。基于基于鉴别相关滤波器的（基于DCF的）跟踪器的基础，在UHP-SOT和UHP-SOT ++中引入了两种新成分：1）背景运动建模和2）对象盒轨迹建模。 UHP-SOT和UHP-SOT ++之间的主要区别是来自三种模型的提案的融合策略（即DCF，背景运动和对象盒轨迹模型）。 UHP-SOT ++采用了一种改进的融合策略，可针对大规模跟踪数据集更加强大的跟踪性能。我们的第二件贡献在于通过在四个SOT基准数据集 - OTB2015，TC128，UAV123和LASOT上进行测试，对最先进的监督和无监督方法进行了广泛的评估。实验表明，UHP-SOT ++优于所有先前的无监督方法和几种深度学习（DL）方法，以跟踪准确性。由于UHP-SOT ++具有极小的模型大小，高跟踪性能和低计算复杂性（即使在I5 CPU上以20 fps运行，即使没有代码优化），则是资源实时对象跟踪中的理想解决方案 - 有限平台。基于实验结果，我们比较监督和无监督者的优缺点，并提供了一种新的视角，了解监督和无监督方法之间的性能差距，这是这项工作的第三次贡献。

在本文中，提出了一种新的方法，该方法允许基于神经网络（NN）均衡器的低复杂性发展，以缓解高速相干光学传输系统中的损伤。在这项工作中，我们提供了已应用于馈电和经常性NN设计的各种深层模型压缩方法的全面描述和比较。此外，我们评估了这些策略对每个NN均衡器的性能的影响。考虑量化，重量聚类，修剪和其他用于模型压缩的尖端策略。在这项工作中，我们提出并评估贝叶斯优化辅助压缩，其中选择了压缩的超参数以同时降低复杂性并提高性能。总之，通过使用模拟和实验数据来评估每种压缩方法的复杂性及其性能之间的权衡，以完成分析。通过利用最佳压缩方法，我们表明可以设计基于NN的均衡器，该均衡器比传统的数字背部传播（DBP）均衡器具有更好的性能，并且只有一个步骤。这是通过减少使用加权聚类和修剪算法后在NN均衡器中使用的乘数数量来完成的。此外，我们证明了基于NN的均衡器也可以实现卓越的性能，同时仍然保持与完整的电子色色散补偿块相同的复杂性。我们通过强调开放问题和现有挑战以及未来的研究方向来结束分析。

基于学习的视觉自我运动估计是有希望的，但尚未准备好在现实世界中浏览敏捷的移动机器人。在本文中，我们提出了Cuahn-Vio，这是一款适用于配备了向下式摄像头的微型航空车（MAVS）的强大而有效的单眼视觉惯性镜（VIO）。视觉前端是一个内容和不确定性的同型同构网络（CUAHN），它对非主体摄影图像内容和网络预测的故障案例非常有力。它不仅可以预测截然变换，还可以估计其不确定性。培训是自学的，因此它不需要通常难以获得的地面真理。该网络具有良好的概括，可以在不进行微调的情况下在新环境中部署“插件”。轻巧的扩展卡尔曼过滤器（EKF）用作VIO后端，并利用网络中的平均预测和方差估计进行视觉测量更新。 Cuahn-Vio在高速公共数据集上进行了评估，并显示出与最先进（SOTA）VIO方法的竞争精度。由于运动模糊，低网络推理时间（〜23ms）和稳定的处理延迟（〜26ms），Cuahn-Vio成功运行了NVIDIA JETSON TX2嵌入式处理器，以导航快速自动驾驶MAV。

在弱光环境下，手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能，但它们仍然无法应对低光快照。在实用的低光脱毛中，复杂的噪声和饱和区是两个主导挑战。在这项工作中，我们提出了一种称为图像的新型非盲脱毛方法，并具有特征空间Wiener Deonervolution网络（Infwide），以系统地解决这些问题。在算法设计方面，Infwide提出了一个两分支的架构，该体系结构明确消除了噪声并幻觉，使图像空间中的饱和区域抑制了特征空间中的响起文物，并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训，我们设计了一组损失功能，集成了前向成像模型和向后重建，以形成近环的正则化，以确保深神经网络的良好收敛性。此外，为了优化Infwide在实际弱光条件下的适用性，采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力，Infwide可以恢复细节，同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。

我们介绍了一种确定全局特征解耦的方法，并显示其适用于提高数据分析性能的适用性，并开放了新的场所以进行功能传输。我们提出了一种新的形式主义，该形式主义是基于沿特征梯度遵循轨迹来定义对子曼群的转换的。通过这些转换，我们定义了一个归一化，我们证明，它允许解耦可区分的特征。通过将其应用于采样矩，我们获得了用于正骨的准分析溶液，正尾肌肉是峰度的归一化版本，不仅与平均值和方差相关，而且还与偏度相关。我们将此方法应用于原始数据域和过滤器库的输出中，以基于全局描述符的回归和分类问题，与使用经典（未删除）描述符相比，性能得到一致且显着的改进。

从X射线冠状动脉造影（XCA）图像序列中提取对比度的血管对于直觉诊断和治疗具有重要的临床意义。在这项研究中，XCA图像序列O被认为是三维张量输入，血管层H是稀疏张量，而背景层B是低级别张量。使用张量核标准（TNN）最小化，提出了一种基于张量的强稳定主成分分析（TRPCA）的新型血管层提取方法。此外，考虑了血管的不规则运动和周围无关组织的动态干扰，引入了总变化（TV）正规化时空约束，以分离动态背景E。 - 阶段区域生长（TSRG）方法用于血管增强和分割。全局阈值分割用作获得主分支的预处理，并使用ra样特征（RLF）滤波器来增强和连接破碎的小段，最终的容器掩模是通过结合两个中间结果来构建的。我们评估了TV-TRPCA算法的前景提取的可见性以及TSRG算法在真实临床XCA图像序列和第三方数据库上的血管分割的准确性。定性和定量结果都验证了所提出的方法比现有的最新方法的优越性。

数字图像相关性（DIC）已成为一种行业标准，以检索拉伸试验和其他材料表征中的精确位移和应变测量。虽然传统的DIC为一般拉伸检测情况提供了高精度估计，但是在大变形或斑点图案开始撕裂时，预测变得不稳定。此外，传统的DIC需要长的计算时间，并且通常会产生受滤波和散斑图案质量影响的低空间分辨率输出。为了解决这些挑战，我们提出了一种新的深度学习的DIC方法 - 深层DIC，其中两个卷积神经网络，偏移和拉力纳特，旨在共同努力，以实现位移和菌株的端到端预测。 displacementNet预测位移字段并自适应地跟踪感兴趣的区域。 RATEDNET直接从图像输入预测应变场，而不依赖于位移预测，这显着提高了应变预测精度。开发了一种新的数据集生成方法以综合现实和全面的数据集，包括产生散斑图案和具有合成位移场的斑点图像的变形。虽然仅接受了合成数据集的培训，但深度DIC提供了从商业DIC软件获得的真实实验中获得的那些对位移和应变的高度一致和可比的预测，而即使在大型和局部变形和变化的变形和变化的模式质量和变化的模式质量方面，它占商业软件。 。此外，深DIC能够实时预测变形，并将计算时间降至毫秒。

在计算机视觉和邻近字段中，已广泛研究了盲图片脱毛（BID）。投标的现代方法可以分为两类：使用统计推断和数值优化处理单个实例的单个实体方法，以及数据驱动的方法，这些方法可以直接训练深度学习模型来直接删除未来实例。数据驱动的方法可以摆脱得出准确的模型模型的困难，但从根本上受到培训数据的多样性和质量的限制 - 收集足够表达和现实的培训数据是一个坚定的挑战。在本文中，我们专注于保持竞争力和必不可少的单一稳定方法。但是，大多数此类方法没有规定如何处理未知内核大小和实质性噪音，从而排除了实际部署。实际上，我们表明，当核大小被明确指定时，几种最新的（SOTA）单位方法是不稳定的，并且/或噪声水平很高。从积极的一面来看，我们提出了一种实用的出价方法，该方法对这两者都是稳定的，这是同类的。我们的方法建立在最新的思想，即通过整合物理模型和结构深度神经网络而没有额外的培训数据来解决反问题。我们引入了几种关键修改以实现所需的稳定性。与SOTA单位结构以及数据驱动的方法相比，对标准合成数据集以及现实世界中的NTIRE2020和REALBLUR数据集进行了广泛的经验测试。我们方法的代码可在：\ url {https://github.com/sun-unm/blind-image-deblurring}中获得。

直接从图像中提取流体运动的信息具有挑战性。流体流量代表一个由Navier-Stokes方程控制的复杂动态系统。一般的光流法通常是为刚体运动设计的，因此如果直接应用于流体运动估计，则努力挣扎。此外，光流方法仅专注于两个连续的帧而不利用历史时间信息，而流体运动（速度场）可以被视为受时间依赖性偏微分方程（PDE）约束的连续轨迹。这种差异有可能引起身体上不一致的估计。在这里，我们提出了一种基于学习的预测校正方案，以进行流体流量估计。首先由PDE受限的光流预测器给出估计值，然后由基于物理的校正器来完善。与现有的基于基于学习的学习方法相比，所提出的方法比在基准数据集上的现有基于监督的学习方法相比，表现出竞争性结果。此外，所提出的方法可以推广到复杂的现实世界情景，在这种情况下，地面真理信息实际上是不可知的。最后，实验表明，物理校正器可以通过模仿通常在流体动力学模拟中使用的操作员分裂方法来完善流量估计。

胎儿心电图（FECG）首先在20世纪初从母体腹表面记录。在过去的五十年中，最先进的电子技术和信号处理算法已被用于将非侵入性胎儿心电图转化为可靠的胎儿心脏监测技术。在本章中，已经对来自非侵入性母亲腹部录像进行了建模，提取和分析的主要信号处理技术，并详细介绍了来自非侵入性母亲腹部录像的型号的建模，提取和分析。本章的主要主题包括：1）FECG的电生理学从信号处理视点，2）母体体积传导介质的数学模型和从体表的FECG的波形模型，3）信号采集要求，4）基于模型的FECG噪声和干扰取消的技术，包括自适应滤波器和半盲源分离技术，以及5）胎儿运动跟踪和在线FECG提取的最近算法的进步。

最近，由于高性能，深度学习方法已成为生物学图像重建和增强问题的主要研究前沿，以及其超快速推理时间。但是，由于获得监督学习的匹配参考数据的难度，对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是，已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中，我们概述了在古典逆问题的背景下的连贯性观点，并讨论其对生物成像的应用，包括电子，荧光和去卷积显微镜，光学衍射断层扫描和功能性神经影像。