空间红外的小型船舶检测旨在将小型船只与轨道轨道捕获的图像分开。由于图像覆盖面积极大（例如，数千平方公里），这些图像中的候选目标比空中基于天线和陆基成像设备观察到的目标要小得多，二聚体，更可变。现有的简短成像基于距离的红外数据集和目标检测方法不能很好地用于空间监视任务。为了解决这些问题，我们开发了一个空间红外的小型船舶检测数据集（即Nudt-Sirst-Sea），该数据集具有48个空间基红外图像和17598像素级的小型船上注释。每个图像覆盖约10000平方公里的面积，带有10000x10000像素。考虑到这些充满挑战的场景，考虑到这些微小的船只的极端特征（例如，小，昏暗，可变的），我们在本文中提出了多层Transunet（MTU-NET）。具体而言，我们设计了视觉变压器（VIT）卷积神经网络（CNN）混合编码器来提取多层次特征。首先将局部特征图用几个卷积层提取，然后馈入多级特征提取模块（MVTM）以捕获长距离依赖性。我们进一步提出了一种拷贝性衡量量 - 帕斯特（CRRP）数据增强方法，以加速训练阶段，从而有效地减轻了目标和背景之间样本不平衡问题的问题。此外，我们设计了一个焦点损失，以实现目标定位和形状描述。 NUDT-SIRST-SEA数据集的实验结果表明，就检测概率，错误警报率和联合交集的交集而言，我们的MTU-NET优于传统和现有的基于深度学习的SIRST方法。
translated by 谷歌翻译
有效的缩放和灵活的任务接口使大型语言模型能够在许多任务中表现出色。帕利（Pali）根据视觉和文本输入生成文本，并使用该界面以许多语言执行许多视觉，语言和多模式任务。为了训练帕利，我们利用了大型的编码器语言模型和视觉变压器（VITS）。这使我们能够利用其现有能力，并利用培训它们的大量成本。我们发现，视觉和语言组成部分的联合缩放很重要。由于现有的语言变压器比其视觉对应物要大得多，因此我们训练迄今为止最大的VIT（VIT-E），以量化甚至大容量视觉模型的好处。为了训练Pali，我们基于一个新的图像文本训练集，其中包含10B图像和文本，以100多种语言来创建大型的多语言组合。帕利（Pali）在多个视觉和语言任务（例如字幕，视觉问题，索方式，场景文本理解）中实现了最新的，同时保留了简单，模块化和可扩展的设计。
translated by 谷歌翻译
本文提出了Salenet-端到端卷积神经网络（CNN），用于使用前额叶脑电图（EEG）进行持续注意水平评估。提出了一种偏置驱动的修剪方法，以及小组卷积，全局平均池（GAP），接近零的修剪，重量聚类和模型压缩的量化，达到183.11x的总压缩比。在这项工作中，压缩的分配器在记录的6个受试者EEG数据库上获得了最新的主题无关的持续注意力分类精度为84.2％。该沙发在ARTIX-7 FPGA上实施，竞争功耗为0.11 W，能源效率为8.19 GOPS/W。
translated by 谷歌翻译
深度神经网络（DNN）在多个领域取得了令人印象深刻的成功。多年来，随着更深层次，更复杂的体系结构的扩散，这些模型的准确性已经提高。因此，最新的解决方案通常在计算上很昂贵，这使得它们不适合在边缘计算平台上部署。为了减轻推断卷积神经网络（CNN）的高计算，内存和功率要求，我们提出了两次量化量化的使用，该量化量量化量的功率量化将连续参数量化为低点的两个值值。这通过删除昂贵的乘法操作和使用低位权重来降低计算复杂性。 Resnet被用作解决方案的基础，并根据口语理解（SLU）任务评估了建议的模型。实验结果表明，在测试集中，我们的低位量化实现了换档神经网络体系结构的性能，其低位量化达到了98.76 \％，这与其完整精确的对应物和最先进的解决方案相当。
translated by 谷歌翻译
在本文中，我们提出了端到端的水疗形式，以从单个阴影图像中恢复无阴影的图像。与需要两个步骤进行阴影检测然后再删除阴影的传统方法不同，Spa-Former将这些步骤统一为一个，这是一个单阶段网络，能够直接学习阴影和无阴影之间的映射功能，不需要一个单独的阴影检测。因此，SPA形式适应于实际图像去阴影，以适应投影在不同语义区域上的阴影。SPA形式由变压器层和一系列关节傅立叶变压残留块和两轮关节空间注意力组成。本文中的网络能够在达到非常快速的处理效率的同时处理任务。我们的代码在https://github.com/ zhangbaijin/spatial-transformer-shadow-removal上重新发布
translated by 谷歌翻译
联合学习（FL）已成为一个重要的机器学习范例，其中全局模型根据分布式客户端的私有数据培训。然而，由于分布转移，现有的大多数流体算法不能保证对不同客户或不同的样本组的性能公平。最近的研究侧重于在客户之间实现公平性，但它们忽视了敏感属性（例如，性别和/或种族）形成的不同群体的公平，这在实际应用中是重要和实用的。为了弥合这一差距，我们制定统一小组公平的目标，该目标是在不同群体中学习具有类似表现的公平全球模式。为了实现任意敏感属性的统一组公平，我们提出了一种新颖的FL算法，命名为集团分布强制性联邦平均（G-DRFA），其跨组减轻了与收敛速度的理论分析的分布转移。具体而言，我们将联邦全球模型的性能视为目标，并采用分布稳健的技术，以最大化最坏性地组的性能在组重新传递集团的不确定性上。我们在实验中验证了G-DRFA算法的优点，结果表明，G-DRFA算法优于统一组公平现有的公平联合学习算法。
translated by 谷歌翻译
最近，已探索了一系列算法，用于GaN压缩，旨在在部署资源受限的边缘设备上的GAN时减少巨大的计算开销和内存使用。然而，大多数现有的GaN压缩工作仅重点介绍如何压缩发电机，而未能考虑鉴别者。在这项工作中，我们重新审视鉴别者在GaN压缩中的作用和设计一种用于GAN压缩的新型发电机 - 鉴别器协作压缩方案，称为GCC。在GCC中，选择性激活鉴别器根据局部容量约束和全局协调约束自动选择和激活卷积通道，这有助于在对策训练期间与轻质发电机保持纳什平衡，避免模式塌陷。原始发电机和鉴别器也从头开始优化，作为教师模型，逐步优化修剪的发生器和选择性激活鉴别器。一种新的在线协同蒸馏方案旨在充分利用教师发生器和鉴别器的中间特征，以进一步提高轻质发电机的性能。对各种GAN的一代任务的广泛实验证明了GCC的有效性和泛化。其中，GCC有助于降低80％的计算成本，同时在图像转换任务中保持相当的性能。我们的代码和模型可在https://github.com/sjleo/gcc上使用。
translated by 谷歌翻译
单帧红外小目标（SIRST）检测旨在将小目标与混乱背景区分开。随着深度学习的发展，基于CNN的方法由于其强大的建模能力而在通用对象检测中产生了有希望的结果。但是，现有的基于CNN的方法不能直接应用于红外小目标，因为其网络中的汇总层可能导致深层中的目标损失。为了解决这个问题，我们在本文中提出了一个密集的嵌套注意网络（DNANET）。具体而言，我们设计了一个密集的嵌套交互模块（DNIM），以实现高级和低级特征之间的渐进互动。随着DNIM中的重复相互作用，可以保持深层中的红外小目标。基于DNIM，我们进一步提出了一个级联的通道和空间注意模块（CSAM），以适应增强多级特征。借助我们的DNANET，可以通过重复的融合和增强来充分整合和充分利用小型目标的上下文信息。此外，我们开发了一个红外的小目标数据集（即nudt-sirst），并提出了一组评估指标来进行全面的绩效评估。对公众和我们自我开发的数据集进行的实验证明了我们方法的有效性。与其他最先进的方法相比，我们的方法在检测概率（PD），假警报率（FA）和联合交集（IOU）方面取得了更好的性能。
translated by 谷歌翻译
红外小目标检测是红外系统中的重要基本任务。因此，已经提出了许多红外小目标检测方法，其中低级模型已被用作强大的工具。然而，基于低级别的方法为不同的奇异值分配相同的权重，这将导致背景估计不准确。考虑到不同的奇异值具有不同的重要性，并且应判别处理，本文提出了一种用于红外小目标检测的非凸张力低秩近似（NTLA）方法。在我们的方法中，NTLA正则化将不同的权重自适应分配给不同的奇异值以进行准确背景估计。基于所提出的NTLA，我们提出了不对称的空间 - 时间总变化（ASTTV）正则化，以实现复杂场景中的更准确的背景估计。与传统的总变化方法相比，ASTTV利用不同的平滑度强度进行空间和时间正则化。我们设计了一种有效的算法来查找我们方法的最佳解决方案。与一些最先进的方法相比，所提出的方法达到各种评估指标的改进。各种复杂场景的广泛实验结果表明，我们的方法具有强大的鲁棒性和低误报率。代码可在https://github.com/liuting20a/asttv-ntla获得。
translated by 谷歌翻译
本文回顾了关于压缩视频质量增强质量的第一个NTIRE挑战，重点是拟议的方法和结果。在此挑战中，采用了新的大型不同视频（LDV）数据集。挑战有三个曲目。Track 1和2的目标是增强HEVC在固定QP上压缩的视频，而Track 3旨在增强X265压缩的视频，以固定的位速率压缩。此外，轨道1和3的质量提高了提高保真度（PSNR）的目标，以及提高感知质量的2个目标。这三个曲目完全吸引了482个注册。在测试阶段，分别提交了12个团队，8支球队和11支球队，分别提交了轨道1、2和3的最终结果。拟议的方法和解决方案衡量视频质量增强的最先进。挑战的首页：https：//github.com/renyang-home/ntire21_venh
translated by 谷歌翻译