视频内容不仅是人类观看的,而且越来越多地被机器观看。例如,机器学习模型分析监视视频,以进行安全性和流量监控,通过YouTube视频搜索不适当的内容,等等。在本文中,我们提出了一个可扩展的视频编码框架,该框架通过其基础层bitstream和人类视觉通过其增强层的bitstream来支持机器视觉(特别是对象检测)。所提出的框架包括基于常规神经网络(DNN)的视频编码的组件。结果表明,与最先进的视频编解码器相比,在对象检测中,提议的框架可节省13-19%的位,同时在人类视觉任务上保持竞争力。
translated by 谷歌翻译
当涉及数码相机中的图像压缩时,传统上是在压缩之前执行的。但是,在某些应用中,可能需要进行图像噪声来证明图像的可信度,例如法院证据和图像取证。这意味着除干净的图像本身外,还需要编码噪声本身。在本文中,我们提出了一个基于学习的图像压缩框架,在该框架中共同执行图像denoising和压缩。图像编解码器的潜在空间以可扩展的方式组织,以便可以从潜在空间的子集(基础层)中解码清洁图像,而嘈杂的图像则以较高的速率从完整的潜在空间解码。使用潜在空间的子集作为剥落图像,可以以较低的速率进行deno。除了提供嘈杂的输入图像的可扩展表示外,用压缩共同执行deno,这是直观的意义,因为噪声很难压缩;因此,可压缩性是可能有助于区分信号的标准之一。将提出的编解码器与已建立的压缩和降解基准进行了比较,并且与最先进的编解码器和最先进的Denoiser的级联组合相比,实验显示了大量的比特率节省。
translated by 谷歌翻译
我们提出了一个数据集,该数据集包含具有唯一对象标识(IDS)的对象注释,用于高效视频编码(HEVC)V1常见测试条件(CTC)序列。准备了13个序列的地面实际注释并作为称为SFU-HW-Tracks-V1的数据集发布。对于每个视频帧,地面真相注释包括对象类ID,对象ID和边界框位置及其维度。数据集可用于评估未压缩视频序列上的对象跟踪性能,并研究视频压缩与对象跟踪之间的关系。
translated by 谷歌翻译
在边缘云协作智能(CI)中,在执行推断的AI模型的信息路径中存在不可靠的传输信道。重要的是能够模拟CI系统对不完美信道的性能,以便理解系统行为并制定适当的错误控制策略。在本文中,我们提出了一个名为DFTS2的仿真框架,这使得研究人员能够在TensorFlow〜2中定义CI系统的组件,选择具有各种参数的基于分组的信道模型,并在各种信道条件下模拟系统行为和错误/丢失控制策略。使用DFTS2,我们还展示了迄今为止迄今为止用于协作图像分类模型的数据包丢失隐藏方法的最全面的研究。
translated by 谷歌翻译
近年来,出于计算机视觉目的,将图像传输到远程服务器的传输急剧增加。在许多应用程序(例如监视)中,图像主要是用于自动分析的,并且很少被人类看到。在这种情况下,使用传统的压缩在比特率方面效率低下,这可能是由于关注基于人类的失真指标。因此,重要的是创建特定的图像编码方法,以供人类和机器联合使用。创建这种编解码器的机器侧的一种方法是在深神经网络中执行某些中间层执行机器任务的功能匹配。在这项工作中,我们探讨了用于培训人类和机器可学习的编解码器时所使用的层选择的效果。我们证明,使用数据处理不平等,从速率延伸的意义上讲,更深层的匹配特征是可取的。接下来,我们通过重新培训现有的可扩展人机编码模型来从经验上确认我们的发现。在我们的实验中,我们显示了这种可扩展模型的人类和机器方面的权衡,并讨论了在这方面使用更深层进行训练的好处。
translated by 谷歌翻译
图形信号处理(GSP)中的基本前提是,将目标信号的成对(反)相关性作为边缘权重以用于图形过滤。但是,现有的快速图抽样方案仅针对描述正相关的正图设计和测试。在本文中,我们表明,对于具有强固有抗相关的数据集,合适的图既包含正边缘和负边缘。作为响应,我们提出了一种以平衡签名图的概念为中心的线性时间签名的图形采样方法。具体而言,给定的经验协方差数据矩阵$ \ bar {\ bf {c}} $,我们首先学习一个稀疏的逆矩阵(Graph laplacian)$ \ MATHCAL {l} $对应于签名图$ \ Mathcal $ \ Mathcal {G} $ 。我们为平衡签名的图形$ \ Mathcal {g} _b $ - 近似$ \ Mathcal {g} $通过Edge Exge Exgement Exgmentation -As Graph频率组件定义Laplacian $ \ Mathcal {L} _b $的特征向量。接下来,我们选择样品以将低通滤波器重建误差分为两个步骤最小化。我们首先将Laplacian $ \ Mathcal {L} _b $的所有Gershgorin圆盘左端对齐,最小的EigenValue $ \ lambda _ {\ min}(\ Mathcal {l} _b)$通过相似性转换$ \ MATHCAL $ \ MATHCAL} s \ Mathcal {l} _b \ s^{ - 1} $,利用最新的线性代数定理,称为gershgorin disc perfect perfect对齐(GDPA)。然后,我们使用以前的快速gershgorin盘式对齐采样(GDAS)方案对$ \ Mathcal {L} _p $进行采样。实验结果表明,我们签名的图形采样方法在各种数据集上明显优于现有的快速采样方案。
translated by 谷歌翻译
深度学习模型的概括性可能会受到火车分布(源域)和测试(目标域)集的分布差的严重影响,例如,当设置由不同的硬件生成时。由于这个领域的转移,某个模型可能在一个诊所的数据上表现良好,然后在部署在另一个诊所时失败。我们提出了一种非常透明的方法来执行测试时间域的适应性。这个想法是替换目标低频傅立叶空间组件,这些空间组件被认为可以反映图像的样式。为了最大程度地提高性能,我们实现了“最佳样式供体”选择技术,并使用许多源数据点来更改单个目标扫描外观(多源传输)。我们研究了域转移严重程度对方法性能的影响,并表明我们的无训练方法达到了复杂的深区适应模型的最新水平。我们的实验代码已发布。
translated by 谷歌翻译
目前,Covid-19的发展使研究人员可以收集2年内积累的数据集并将其用于预测分析。反过来,这可以评估更复杂的预测模型的效率潜力,包括具有不同预测范围的神经网络。在本文中,我们介绍了基于两个国家的区域数据:美国和俄罗斯的区域数据,对不同类型的方法进行了一致的比较研究结果。我们使用了众所周知的统计方法(例如,指数平滑),一种“明天”方法,以及一套经过来自各个地区数据的经典机器学习模型。与他们一起,考虑了基于长期记忆(LSTM)层的神经网络模型,这些培训样本的培训样本汇总了来自两个国家 /地区的所有地区:美国和俄罗斯。根据MAPE度量,使用交叉验证进行效率评估。结果表明,对于以确认的每日案例数量大幅增加的复杂时期,最佳结果是由在两国所有地区训练的LSTM模型显示的,显示平均平均绝对百分比误差(MAPE)为18%在俄罗斯为30%,37%,31%,41%,50%的预测范围为14、28和42天。
translated by 谷歌翻译
对疾病的诊断或图像分割医学图像训练计算机视觉相关算法是缺乏训练数据,标记的样品,和隐私问题的困难所致。出于这个原因,一个强大的生成方法来创建合成数据后高度寻求。然而,大多数三维图像生成器需要额外的图像输入或者是非常占用大量内存。为了解决这些问题,我们建议调整视频生成技术3-d图像生成。使用时间GAN(TGAN)架构,我们将展示我们能够产生逼真的头部和颈部PET图像。我们还表明,通过调节肿瘤口罩发电机,我们能够控制肿瘤的几何形状和位置,在生成的图像。为了测试合成影像的用途,我们使用合成的图像训练分割模型。空调真实肿瘤掩模合成图像被自动分割,和对应的真实图像也分割。我们评估使用的骰子得分的分割,并找到两个数据集(0.65合成数据,0.70的真实数据)同样的分割算法执行。然后,各种radionomic特征在分割的肿瘤体积为每个数据集来计算。真实的和合成的特征分布的比较显示,8七个特征分布有统计学不显着差异(p> 0.05)。还计算所有radionomic特征之间的相关系数,它是示出了所有在真实数据组中的强统计相关的在合成数据集被保留。
translated by 谷歌翻译
In this paper we explore the task of modeling (semi) structured object sequences; in particular we focus our attention on the problem of developing a structure-aware input representation for such sequences. In such sequences, we assume that each structured object is represented by a set of key-value pairs which encode the attributes of the structured object. Given a universe of keys, a sequence of structured objects can then be viewed as an evolution of the values for each key, over time. We encode and construct a sequential representation using the values for a particular key (Temporal Value Modeling - TVM) and then self-attend over the set of key-conditioned value sequences to a create a representation of the structured object sequence (Key Aggregation - KA). We pre-train and fine-tune the two components independently and present an innovative training schedule that interleaves the training of both modules with shared attention heads. We find that this iterative two part-training results in better performance than a unified network with hierarchical encoding as well as over, other methods that use a {\em record-view} representation of the sequence \cite{de2021transformers4rec} or a simple {\em flattened} representation of the sequence. We conduct experiments using real-world data to demonstrate the advantage of interleaving TVM-KA on multiple tasks and detailed ablation studies motivating our modeling choices. We find that our approach performs better than flattening sequence objects and also allows us to operate on significantly larger sequences than existing methods.
translated by 谷歌翻译