用于单视图对象重建的卷积网络已经表现出令人印象深刻的性能并且已经成为研究的热门主题。 Allexisting技术结合了一个编码器 - 解码器网络的概念,该网络执行关于输出空间的3D结构的非平凡推理。在这项工作中,我们分别建立了两种执行图像分类和检索的替代方法。这些简单的基线在质量和数量上都比最先进的方法产生更好的结果。我们表明编码器 - 解码器方法在统计上与这些基线无法区分,因此表明当前的现有状态的单视图对象重建实际上并不存在。执行重建butimage分类。我们确定了引发这种行为的流行实验程序的各个方面,并讨论了改善当前研究状态的方法。
translated by 谷歌翻译
事件相机是新颖的传感器,以异步“事件”而不是强度帧的形式报告亮度变化。它们具有优于传统相机的显着优点:高时间分辨率,高动态范围和无运动模糊。由于事件摄像机的输出基本上与传统摄像机不同,因此普遍认为它们需要开发专门的算法以适应事件的特定性质。在这项工作中,我们采取不同的观点,并建议将现有的,成熟的计算机视觉技术应用于从eventdata重建的视频。我们提出了一种新颖的循环网络,用于从事件流中重建视频,并在大量模拟事件数据上进行训练。 Ourexperiments表明,我们的方法在图像质量方面超过了最先进的重建方法(> 20%)。我们进一步将现成的计算机视觉算法应用于从事件数据重建的视频,例如对象分类和视觉惯性测距,并显示该策略始终优于我们为事件数据专门设计的算法。我们相信,我们的方法打开了将事件相机的出色属性带入全新任务的门户。可以通过以下网址获得实验视频://youtu.be/IdYrC4cUO0I
translated by 谷歌翻译
We present an optical flow estimation approach that operates on the fullfour-dimensional cost volume. This direct approach shares the structuralbenefits of leading stereo matching pipelines, which are known to yield highaccuracy. To this day, such approaches have been considered impractical due tothe size of the cost volume. We show that the full four-dimensional cost volumecan be constructed in a fraction of a second due to its regularity. We thenexploit this regularity further by adapting semi-global matching to thefour-dimensional setting. This yields a pipeline that achieves significantlyhigher accuracy than state-of-the-art optical flow methods while being fasterthan most. Our approach outperforms all published general-purpose optical flowmethods on both Sintel and KITTI 2015 benchmarks.
translated by 谷歌翻译
磁性粒子成像(MPI)数据通常使用在耗时的校准测量中获取的系统矩阵来重建。校准方法与基于模型的重建相比具有重要的优势,它可以将复杂的粒子物理以及系统缺陷纳入计算中。这种益处来自于每当扫描参数,颗粒类型或甚至颗粒环境(例如粘度或温度)改变时系统基质需要被校准的成本。减少校准时间的一种途径是在预期视场的空间位置的子集处对系统矩阵进行采样并采用系统矩阵恢复。最近的方法使用压缩感知(CS)并且实现了高达28的子采样因子,其仍然允许重建具有足够质量的MPI图像。在这项工作中,我们提出了一个带有3d-SystemMatrix恢复网络的新型框架,并演示它可以在不到一分钟的时间内恢复具有64的子采样因子的3d系统矩阵,并在系统矩阵质量,重建图像质量和性能方面优于CS。处理时间。通过重建开放访问MPIdatasets来证明我们方法的优点。该模型进一步显示能够推断不同粒子类型的系统矩阵。
translated by 谷歌翻译
目的:这项工作解决了皮肤病变分类的两个关键问题。第一个问题是有效地使用具有预训练标准体系结构的高分辨率图像进行图像分类。第二个问题是在真实世界的多类数据集中遇到的高级不平衡。方法:为了使用高分辨率图像,我们提出了基于补丁的基于注意力的体系结构,它提供了小的高分辨率补丁之间的全局上下文。我们修改了三种预训练架构,并研究了基于补丁的注意力的性能。为了对抗类不平衡问题,我们比较过采样,平衡批量采样和类特定损失加权。此外,我们提出了一种新颖的诊断引导减损方法,该方法将地面实况注释的方法应用于计算。结果:我们基于补丁的注意机制优于以前的方法,并将平均灵敏度提高了7%。类平衡显着提高了平均灵敏度,我们证明我们的诊断引导损失加权方法比正常损失平衡提高了3%的平均灵敏度。结论:基于补丁的新型注意机制可以集成到预训练的体系结构中,并提供局部补丁之间的全局上下文,同时优于其他基于补丁的方法。因此,预训练架构可以很容易地与高分辨率图像一起使用而不需要采样。新的诊断引导损失加权方法优于其他方法,并允许在面对类不平衡时进行有效的训练。意义:提出的方法改善自动皮肤病变分类。它们可以扩展到其他临床应用,其中高分辨率图像数据和类不平衡是相关的。
translated by 谷歌翻译
自动生成图像的描述性标题是计算机视觉领域中一个经过深入研究的领域。然而,现有的评估方法侧重于测量两个句子之间的相似性,而忽略了字幕的细粒度语义。在我们描绘人物与品牌产品交互的图像设置中,品牌产品的主题,谓词,对象和名称是生成的标题的重要评估标准。使用这些约束生成图像标题是我们在这项工作中要解决的新挑战。通过同时预测描述人 - 产品交互属性的整数值,我们在多任务学习环境中优化深度神经网络架构,从而显着提高了字幕质量。此外,我们引入了一个新的度量,允许我们评估生成的字幕是否符合我们的要求(即主题,谓词,对象和产品名称),并描述一系列关于字幕质量的实验以及如何通过方法解决图像评级的注释问题称为软目标。我们还表明,我们的新颖的以子句为中心的度量标准也适用于其他图像字幕数据集,例如流行的MSCOCO数据集。
translated by 谷歌翻译
基于机器学习的成像诊断最近达到或者已经在几个临床领域中提高了临床专家的水平。然而,受过训练的机器学习系统的分类决策通常是非透明的,是临床集成,错误跟踪或知识发现的主要障碍。在这项研究中,我们提出了一个透明的深度学习框架,依靠卷积神经网络(CNNs)和分层相关传播(LRP)来诊断多发性硬化症(MS)。 MS通常利用临床表现和常规磁共振成像(MRI)的组合诊断,特别是T2加权图像中白质病变的发生和表现。我们假设在初始预测模型中使用LRP将使我们能够发现经过训练的CNN用于决策的相关抗图像特征。由于MS中的成像标记已经很好地建立,这将使我们能够验证相应的CNN模型。首先,我们对来自阿尔茨海默病神经影像学计划(n = 921)的MRI数据进行CNN预训练,之后专门对CNN进行MS患者和健康对照(n = 147)的区分。使用LRP,我们为每个受试者制作了热图结果CNN模型在接收器工作特性曲线中得到平衡准确度为87.04%,曲线下面积为96.08%。随后的LRP可视化显示,CNN模型确实关注于个体病变,但也包含其他信息,例如病变位置,非损伤性白质或灰质区域,例如丘脑,其是在MS中建立的常规和高级MRI标记物。我们得出结论,LRP和提议的框架有能​​力做出诊断决定......
translated by 谷歌翻译
训练深度神经网络是一项非常重要的任务。不仅调整高参数,而且训练数据的收集和选择,损失函数的设计以及训练计划的构建对于充分利用模型是非常重要的。在本研究中,我们进行了一系列与这些问题相关的实验。研究不同训练策略的模型是最近呈现的SDC描述符网络(堆叠扩张卷积)。它用于描述像素级fordense匹配任务的图像。我们的工作更详细地分析了SDC,验证了用于训练深度神经网络的一些最佳实践,并提供了对多个域数据进行操作的见解。
translated by 谷歌翻译
在过去几年中,卷积神经网络(CNN)在学习许多计算机视觉任务(包括光流和立体匹配等密集估计问题)方面取得了越来越大的成功。然而,这些任务的联合预测,称为场景流,传统上使用基于原始假设的慢经典方法来解决,这些假设无法概括。本文介绍的工作通过提出PWOC-3D(在速度和精度方面)克服了这些缺点,PWOC-3D是一种紧凑的CNN架构,用于预测从端到端监督设置中立体图像序列的场景流。此外,大的运动和遮挡是场景流估计中众所周知的问题。 PWOC-3D采用专门的设计决策来明确地模拟这些挑战。在这方面,我们提出了一种新的自我监督策略来预测图像中的遮挡(在没有任何标记的遮挡数据的情况下学习)。利用多种此类构造,我们的网络在KITTI基准测试和具有挑战性的FlyingThings3D数据集上实现了竞争结果。特别是在KITTI,PWOC-3D在端到端深度学习方法中获得第二名,参数比最佳表现方法少48倍。
translated by 谷歌翻译
在这里,我们确定了分布式约束优化(DCOPs)中的一种隐私问题,尽管它在应用领域具有重要性和影响:分离约束优化(DCOPs),但在文献中尚未涉及:隐私存在的隐私。科学只有在明确定义度量和假设的情况下才开始。分布式约束优化的领域出现在多智能体系统社区和约束规划的交叉点上。对于多智能体社区,约束优化问题是表达交易和分布式机器人中出现的许多问题的一种优雅方式。对于理论约束规划社区,DCOP是其主要研究对象的自然延伸,即约束满足问题。因此,对DCOP框架的理解已经根据两个社区的需求进行了改进,但有时没有正式拼写新的假设,因此难以比较技术。在这里,我们指导了在这一领域构建概念的努力。
translated by 谷歌翻译