我们介绍了一种新颖的骨干架构,提高特征表示的目标感知能力。具体地,已经观察到事实上框架简单地使用来自骨干网的输出来执行特征匹配,从备份目标本地化,没有从匹配模块到骨干网的直接反馈,尤其是浅层。更具体地,只有匹配模块可以直接访问目标信息(在参考帧中),而候选帧的表示学习对参考目标是盲目的。结果,浅级中的目标 - 无关干扰的累积效果可能降低更深层的特征质量。在本文中,我们通过在暹罗类似的骨干网(inbn)内进行多个分支 - 方面交互来从不同角度接近问题。在INBN的核心是一个通用交互建模器(GIM),其将参考图像的先前知识注入骨干网络的不同阶段,导致候选特征表示的更好的目标感知和鲁棒的牵引力,其计算成本具有可忽略的计算成本。所提出的GIM模块和INBN机制是一般的,适用于不同的骨干类型,包括CNN和变压器,以改进,如我们在多个基准上的广泛实验所证明的那样。特别是,CNN版本(基于Siamcar),分别在Lasot / TNL2K上改善了3.2 / 6.9的Suc绝对收益。变压器版本获取Lasot / TNL2K的SUC 25.7 / 52.0,与最近的艺术态度相提并论。代码和模型将被释放。
translated by 谷歌翻译
从测试阶段的单个初始示例跟踪视觉对象已被广泛地作为一个/几次射击问题,即初始适应的一次性学习和在线适应的少量学习。近期几次拍摄的在线适应方法通过在离线阶段的复杂元学习优化中,从大量注释的训练数据中纳入了现有知识。这有助于在线深度跟踪器实现快速适应并降低跟踪的过度风险。在本文中,我们提出了一个简单但有效的递归最小二乘估计估计者辅助在线学习方法,但在不需要离线培训的情况下进行了几次拍摄的在线适应。它允许内置的内存保留机制进行模型,以记住关于之前看到的对象的知识,因此可以安全地从训练中安全地移除所看到的数据。这也与在防止灾难性遗忘的新出现的连续学习领域带有某些相似之处。这种机制使我们能够揭示现代在线深度跟踪器的力量,而不会产生过多的计算成本。我们根据在线学习家庭中的两个网络评估我们的方法,即在RT-MDNET中的多层的rceptrons和DIMP中的卷积神经网络。对若干具有挑战性的跟踪基准的一致性改进展示了其有效性和效率。
translated by 谷歌翻译
视频标题的当前度量主要基于参考和候选字幕之间的文本级别比较。然而,它们具有一些不可能的缺点,例如,它们不能在没有参考的情况下处理视频,并且由于视频到文本的一对多性质和忽视视觉相关性的一对多性质,它们可能导致偏见的评估。从人类评估者的观点来看,高质量的标题应与提供的视频一致,但不一定类似于文字或语义中的参考。灵感来自人类评估,我们提出了Emscore(基于匹配的分数),是视频字幕的一种新颖的无参考度量,其直接测量视频和候选字幕之间的相似性。受益于最近的大规模预训练模型的发展,我们利用了一个良好的预先训练的视觉语言模型来提取用于计算Emscore的视觉和语言嵌入。具体地,Emscore将粗粒(视频和标题)和细粒度(帧和单词)水平的匹配分数组合,这将考虑到视频的整体理解和详细特征。此外,考虑到潜在的信息增益,Emscore可以灵活地扩展到人类标记的参考可用的条件。最后但并非最不重要的是,我们收集Vatex-eval和ActivityNet-Foil数据集以系统地评估现有的度量标准。 Vatex-emp实验表明,Emscore具有更高的人类相关性和较低的参考依赖性。 ActivityNet-Foil实验验证Emscore可以有效地识别“幻觉”标题。将释放数据集以促进视频标题度量的开发。代码可在:https://github.com/shiyaya/emcore。
translated by 谷歌翻译
背景和目的:胃癌已经成为全球第五次常见的癌症,早期检测胃癌对于拯救生命至关重要。胃癌的组织病理学检查是诊断胃癌的金标准。然而,计算机辅助诊断技术是挑战,以评估由于公开胃组织病理学图像数据集的稀缺而评估。方法:在本文中,公布了一种贵族公共胃组织病理学子尺寸图像数据库(GashissdB)以识别分类器的性能。具体地,包括两种类型的数据:正常和异常,总共245,196个组织案例图像。为了证明图像分类领域的不同时期的方法在GashissdB上具有差异,我们选择各种分类器进行评估。选择七种古典机器学习分类器,三个卷积神经网络分类器和新颖的基于变压器的分类器进行测试,用于测试图像分类任务。结果:本研究采用传统机器学习和深入学习方法进行了广泛的实验,以证明不同时期的方法对GashissdB具有差异。传统的机器学习实现了86.08%的最佳精度率,最低仅为41.12%。深度学习的最佳准确性达到96.47%,最低为86.21%。分类器的精度率显着变化。结论:据我们所知,它是第一个公开的胃癌组织病理学数据集,包含大量的弱监督学习的图像。我们认为Gashissdb可以吸引研究人员来探索胃癌自动诊断的新算法,这可以帮助医生和临床环境中的患者。
translated by 谷歌翻译
宫颈癌是女性中一种非常常见和致命的癌症类型。细胞病理学图像通常用于筛选这种癌症。鉴于在手动筛查期间可能发生许多错误,已经开发了一种基于深度学习的计算机辅助诊断系统。深度学习方法需要输入图像的固定维度,但临床医学图像的尺寸不一致。图像的纵横比在直接调整它们的同时受到影响。临床上,细胞病理学图像内的细胞的纵横比为医生诊断癌症提供重要信息。因此,很难直接调整大小。然而,许多现有研究直接调整了图像的大小,并获得了高度稳健的分类结果。为了确定合理的解释,我们进行了一系列比较实验。首先,预处理SipakMed数据集的原始数据以获得标准和缩放数据集。然后,将数据集调整为224 x 224像素。最后,22种深度学习模型用于分类标准和缩放数据集。该研究的结果表明,深度学习模型对宫颈细胞病理学图像中细胞的纵横比变化是鲁棒的。此结论也通过Herlev DataSet验证。
translated by 谷歌翻译
现有的胃癌诊断深层学习方法,常用卷积神经网络。最近,视觉变压器由于其性能和效率而引起了极大的关注,但其应用主要在计算机视野领域。本文提出了一种用于Gashis变压器的多尺度视觉变压器模型,用于胃组织病理学图像分类(GHIC),其使微观胃图像自动分类为异常和正常情况。 GASHIS-COMPURANCER模型由两个关键模块组成:全球信息模块和局部信息模块有效提取组织病理特征。在我们的实验中,具有280个异常和正常图像的公共血毒素和曙红(H&E)染色的胃组织病理学数据集分为训练,验证和测试组,比率为1:1:2胃组织病理学数据集测试组精度,召回,F1分数和准确性分别为98.0%,100.0%,96.0%和98.0%。此外,进行了关键的研究以评估Gashis变压器的稳健性,其中添加了10个不同的噪声,包括四种对抗性攻击和六种传统图像噪声。此外,执行临床上有意义的研究以测试Gashis变压器的胃肠癌鉴定性能,具有620个异常图像,精度达到96.8%。最后,进行比较研究以测试在淋巴瘤图像数据集和乳腺癌数据集上的H&E和免疫组织化学染色图像的概括性,产生可比的F1分数(85.6%和82.8%)和精度(83.9%和89.4%) , 分别。总之,Gashistransformer演示了高分类性能,并在GHIC任务中显示出其显着潜力。
translated by 谷歌翻译
将对象检测和ID嵌入提取到统一网络的单次多对象跟踪,近年来取得了开创性的结果。然而,目前的单次追踪器仅依赖于单帧检测来预测候选界限盒,当面对灾难性的视觉下降时,例如运动模糊,闭塞时可能是不可靠的。一旦检测器错误地被错误地归类为背景,将不再维护其相应的ROCKLET的时间一致性。在本文中,我们首先通过提出重新检查网络恢复被错误分类为“假背景”的边界框。重新检查网络创新地扩展了ID从数据关联嵌入ID的角色,以通过有效地将先前的轨迹传播到具有小开销的当前帧的运动预测。请注意,传播结果由独立和有效的嵌入搜索产生,防止模型过度依赖于检测结果。最终,它有助于重新加载“假背景”并修复破碎的Tracklet。在强大的基线Cstrack上建立一个新的单次追踪器,分别通过70.7 $ 76.4,70.6 $ \右前场达到76.3美元的MOT17和MOT17。它还达到了新的最先进的Mota和IDF1性能。代码在https://github.com/judasdie/sots发布。
translated by 谷歌翻译
生成符合用户意图的可控视频是计算机愿景中的一种吸引人而具有挑战性的话题。为了依次启用可动性的控制,提出了一种新颖的视频生成任务,名为Text-Image-to-Video Generation(TI2V)。通过可控的外观和运动,TI2V旨在从静态图像和文本描述生成视频。 TI2V任务的关键挑战在于从不同方式的外观和运动方面既呈对齐,以及在文本描述中处理不确定性。为了解决这些挑战,我们提出了一种基于运动锚的视频发生器(MAGE),其具有创新的运动锚(MA)结构来存储外观运动对准表示。为了模拟不确定性并提高多样性,它进一步允许注入显式条件和隐式随机性。通过三维轴向变压器,MA与给定图像相互作用以递归地产生令人满意的可控性和多样性的下一个帧。伴随新任务,我们构建了基于MNIST的两个新的视频文本成对数据集,并满足了评估。在这些数据集上进行的实验验证了法师的有效性并显示了TI2V任务的吸引力。模型和数据集的源代码即将推出。
translated by 谷歌翻译
轨迹预测是自动车辆(AVS)执行安全规划和导航的关键组件。然而,很少有研究分析了轨迹预测的对抗性稳健性,或者调查了最坏情况的预测是否仍然可以导致安全规划。为了弥合这种差距,我们通过提出普通车辆轨迹来最大化预测误差来研究轨迹预测模型的对抗鲁棒性。我们在三个模型和三个数据集上的实验表明,对手预测将预测误差增加超过150%。我们的案例研究表明,如果对手在对手轨迹之后驱动靠近目标AV的车辆,则AV可以进行不准确的预测,甚至不安全的驾驶决策。我们还通过数据增强和轨迹平滑探索可能的缓解技术。
translated by 谷歌翻译
互联网连接系统的指数增长产生了许多挑战,例如频谱短缺问题,需要有效的频谱共享(SS)解决方案。复杂和动态的SS系统可以接触不同的潜在安全性和隐私问题,需要保护机制是自适应,可靠和可扩展的。基于机器学习(ML)的方法经常提议解决这些问题。在本文中,我们对最近的基于ML的SS方法,最关键的安全问题和相应的防御机制提供了全面的调查。特别是,我们详细说明了用于提高SS通信系统的性能的最先进的方法,包括基于ML基于ML的基于的数据库辅助SS网络,ML基于基于的数据库辅助SS网络,包括基于ML的数据库辅助的SS网络,基于ML的LTE-U网络,基于ML的环境反向散射网络和其他基于ML的SS解决方案。我们还从物理层和基于ML算法的相应防御策略的安全问题,包括主要用户仿真(PUE)攻击,频谱感测数据伪造(SSDF)攻击,干扰攻击,窃听攻击和隐私问题。最后,还给出了对ML基于ML的开放挑战的广泛讨论。这种全面的审查旨在为探索新出现的ML的潜力提供越来越复杂的SS及其安全问题,提供基础和促进未来的研究。
translated by 谷歌翻译