立体声匹配是计算机愿景中的一个重要任务,这些任务是几十年来引起了巨大的研究。虽然在差距准确度,密度和数据大小方面,公共立体声数据集难以满足模型的要求。在本文中,我们的目标是解决数据集和模型之间的问题,并提出了一个具有高精度差异地面真理的大规模立体声数据集,名为Plantstereo。我们使用了半自动方式来构造数据集:在相机校准和图像配准后,可以从深度图像获得高精度视差图像。总共有812个图像对覆盖着多种植物套装:菠菜,番茄,胡椒和南瓜。我们首先在四种不同立体声匹配方法中评估了我们的Plandstereo数据集。不同模型和植物的广泛实验表明,与整数精度的基础事实相比,Plantstereo提供的高精度差异图像可以显着提高深度学习模型的培训效果。本文提供了一种可行和可靠的方法来实现植物表面密集的重建。 PlantSereo数据集和相对代码可用于:https://www.github.com/wangqingyu985/plantstereo
translated by 谷歌翻译
预先培训用于学习可转让的视频文本表示的模型,以近年来引起了很多关注。以前的主导作品主要采用两个独立的编码器来有效检索,但忽略视频和文本之间的本地关联。另一种研究使用联合编码器与文本交互视频,但是由于每个文本视频对需要馈送到模型中的低效率。在这项工作中,我们能够通过新颖的借口任务进行微粒视频文本交互,以便通过新颖的借口任务进行检索,称为多项选择题(MCQ),其中参数模块BridgeFormer培训以接受由此构建的“问题”。文本功能通过诉诸视频功能。具体来说,我们利用了文本的丰富语义(即,名词和动词)来构建问题,可以培训视频编码器以捕获更多区域内容和时间动态。以问题和答案的形式,可以正确建立本地视频文本功能之间的语义关联。 BridgeFormer能够删除下游检索,只有两个编码器渲染高效且灵活的模型。我们的方法在具有不同实验设置(即零拍摄和微调)的五个数据集中,在五个数据集中优于最先进的方法,包括不同的实验设置(即零拍摄和微调),包括HOWTO100M(一百万个视频)。我们进一步开展零射击动作识别,可以作为视频到文本检索,我们的方法也显着超越了其对应物。作为额外的好处,我们的方法在单模下游任务中实现了竞争力,在单模下游任务上具有更短的预训练视频,例如,使用线性评估的动作识别。
translated by 谷歌翻译
最近,在一步的Panoptic细分方法上越来越关注,旨在有效地旨在在完全卷积的管道内共同分割实例和材料。但是,大多数现有的工作直接向骨干功能提供给各种分段头,忽略语义和实例分割的需求不同:前者需要语义级别的判别功能,而后者需要跨实例可区分的功能。为了缓解这一点,我们建议首先预测用于增强骨干特征的不同位置之间的语义级和实例级相关性,然后分别将改进的鉴别特征馈送到相应的分割头中。具体地,我们将给定位置与所有位置之间的相关性组织为连续序列,并将其预测为整体。考虑到这种序列可以非常复杂,我们采用离散的傅里叶变换(DFT),一种可以近似由幅度和短语参数化的任意序列的工具。对于不同的任务,我们以完全卷积的方式从骨干网上生成这些参数,该参数通过相应的任务隐含地优化。结果,这些准确和一致的相关性有助于产生符合复杂的Panoptic细分任务的要求的合理辨别特征。为了验证我们的方法的有效性,我们对几个具有挑战性的Panoptic细分数据集进行实验,并以45.1美元\%PQ和ADE20K为32.6美元\%PQ实现最先进的绩效。
translated by 谷歌翻译
在恢复低分辨率灰度图像的实际应用中,我们通常需要为目标设备运行三个单独的图像着色,超分辨率和Dows采样操作。但是,该管道对于独立进程是冗余的并且低效,并且可以共享一些内部特征。因此,我们提出了一种有效的范例来执行{s} {s} {c} olorization和{s} Uper分辨率(SCS),并提出了端到端的SCSNet来实现这一目标。该方法由两部分组成:用于学习颜色信息的彩色分支,用于采用所提出的即插即用\ EMPH {金字塔阀跨关注}(PVCATTN)模块来聚合源和参考图像之间的特征映射;和超分辨率分支集成颜色和纹理信息以预测使用设计的\ emph {连续像素映射}(CPM)模块的目标图像来预测连续放大率的高分辨率图像。此外,我们的SCSNet支持对实际应用更灵活的自动和参照模式。丰富的实验证明了我们通过最先进的方法生成真实图像的方法的优越性,例如,平均降低了1.8 $ \ Depararrow $和5.1 $ \ Downarrow $相比,与自动和参照模式的最佳分数相比,分别在拥有更少的参数(超过$ \ \倍$ 2 $ \ dovearrow $)和更快的运行速度(超过$ \ times $ 3 $ \ Uprarow $)。
translated by 谷歌翻译
股票运动预测(SMP)旨在预测上市公司的股份量股份,由于金融市场的挥发性,这是一个具有挑战性的任务。最近的财务研究表明,动量溢出效应在股票波动中发挥着重要作用。然而,以前的研究通常只学习相关公司之间的简单连接信息,这不可避免地未能模仿真实金融市场中上市公司的复杂关系。为了解决这个问题,我们首先建立一个更全面的市场知识图(MKG),其中包含有限的公司,包括上市公司及其相关的高管,以及包括明确关系和隐性关系的混合关系。之后,我们提出了一种新颖的双重关注网络,以了解基于构造的MKG用于库存预测的势头溢出信号。对九个SOTA基线构建数据集的实证实验表明,所提出的丹林公司能够改善与构造的MKG的库存预测。
translated by 谷歌翻译
放射学报告生成旨在产生计算机辅助诊断,以缓解放射科医生的工作量,并最近引起了越来越长的关注。然而,之前的深度学习方法倾向于忽视医学发现之间的相互影响,这可以是限制所生成的报告质量的瓶颈。在这项工作中,我们建议在信息知识图表中提出和代表医学发现的协会,并将此事先知识纳入放射学报告,以帮助提高所生成的报告质量。实验结果证明了我们在IU X射线数据集上的提出方法的优越性,Rouge-L为0.384 $ \ PM $ 0.007和0.340 $ \ PM $ 0.011。与以前的作品相比,我们的模型平均实现了1.6%(苹果酒和Rouge-L的增加2.0%和1.5%)。实验表明,先验知识可以为准确的放射学报告生成表现收益。我们将在https://github.com/bionlplab/report_generation_amia2022中公开公开可用的代码。
translated by 谷歌翻译
红外小目标超分辨率(SR)旨在从其低分辨率对应物中恢复具有高度控制目标的可靠和详细的高分辨率图像。由于红外小目标缺乏颜色和精细结构信息,因此利用序列图像之间的补充信息来提高目标是很重要的。在本文中,我们提出了名为局部运动和对比的第一红外小目标SR方法,以前驱动的深网络(MoCopnet)将红外小目标的域知识集成到深网络中,这可以减轻红外小目标的内在特征稀缺性。具体而言,通过在时空维度之前的局部运动的动机,我们提出了局部时空注意力模块,以执行隐式帧对齐并结合本地时空信息以增强局部特征(特别是对于小目标)来增强局部特征。通过在空间尺寸之前的局部对比的动机,我们提出了一种中心差异残留物,将中心差卷积纳入特征提取骨架,这可以实现以中心为导向的梯度感知特征提取,以进一步提高目标对比度。广泛的实验表明,我们的方法可以恢复准确的空间依赖性并改善目标对比度。比较结果表明,MoCopnet在SR性能和目标增强方面可以优于最先进的视频SR和单图像SR方法。基于SR结果,我们进一步调查了SR对红外小型目标检测的影响,实验结果表明MoCopnet促进了检测性能。代码可在https://github.com/xinyiying/mocopnet上获得。
translated by 谷歌翻译
用于头部和颈鳞状细胞癌(HNSCC)的诊断和治疗管理由常规诊断头和颈部计算断层扫描(CT)扫描引导,以识别肿瘤和淋巴结特征。折叠延伸(ECE)是患者的患者生存结果与HNSCC的强烈预测因子。在改变患者的暂存和管理时,必须检测ECE的发生至关重要。目前临床ECE检测依赖于放射科学医生进行的视觉鉴定和病理确认。基于机器学习(ML)的ECE诊断在近年来的潜力上表现出很高的潜力。然而,在大多数基于ML的ECE诊断研究中,手动注释是淋巴结区域的必要数据预处理步骤。此外,本手册注释过程是耗时,劳动密集型和容易出错。因此,在本文中,我们提出了一种梯度映射引导的可解释网络(GMGenet)框架,以自动执行ECE识别而不需要注释的淋巴结区域信息。提出了梯度加权类激活映射(GRAC-CAM)技术,以指导深度学习算法专注于与ECE高度相关的区域。提取信息丰富的兴趣(VoIS),无需标记淋巴结区域信息。在评估中,所提出的方法是使用交叉验证的训练和测试,可分别实现测试精度和90.2%和91.1%的AUC。已经分析了ECE的存在或不存在并与黄金标准组织病理学发现相关。
translated by 谷歌翻译
在该研究中,提出了一种具有贝叶斯优化(ADSNN-BO)的关注深度可分离的神经网络,以检测和分类稻米图像的水稻疾病。水稻疾病经常导致20至40%的公司生产损失的产量,与全球经济有关。快速疾病鉴定对于计划及时计划治疗并减​​少CORP损失至关重要。水稻疾病诊断仍然主要是手动进行的。为实现AI辅助快速准确的疾病检测,我们提出了基于MobileNet结构的Adsnn-Bo模型和增强注意机制。此外,贝叶斯优化方法应用于调整模型的超级参数。交叉验证的分类实验是基于公共米病数据集进行的,总共有四个类别。实验结果表明,我们的移动兼容ADSNN-BO模型实现了94.65 \%的测试精度,这占据了所有最先进的模型。为了检查我们所提出的模型的可解释性,还进行了包括激活图和过滤器可视化方法的特征分析。结果表明,我们提出的基于关注机制可以更有效地引导Adsnn-Bo模型学习信息性功能。本研究的结果将促进农业领域快速植物疾病诊断和控制的人工智能。
translated by 谷歌翻译
我们可以根据流行歌曲的音频自动推导钢琴伴奏的分数吗?这是我们在本文中解决的音频到符号排列问题。一个良好的安排模型不仅要考虑音频内容,还要先前了解钢琴组成(使得生成“听起来像”音频且同时保持音乐性。)到目前为止,我们贡献了跨模型表示学习模型,其中1)从音频提取和弦和旋律信息,2)从音频和损坏的地面真理安排中了解纹理表示。我们进一步介绍了定制的培训策略,逐渐将纹理信息的来源从损坏的分数转移到音频。最后,基于分数的纹理后部减少到标准的正态分布,并且只需要音频进行推断。实验表明,我们的模型捕获了主要音频信息和优于代质量的基线。
translated by 谷歌翻译