深度学习模型在各种图像分类任务上取得了显着性能。然而,当数据不平衡时,许多模型在临床或医疗环境中遭受有限的性能。为了解决这一挑战,我们提出了一种医疗知识引导的单级分类方法,可以利用具体域的分类任务知识来提高模型的性能。我们的方法背后的理由是,一些现有的先前医学知识可以纳入数据驱动的深度学习,以促进模型学习。我们设计了一个基于深入的学习的单级分类管道,用于不平衡图像分类,并在三种用例中演示我们如何通过生成额外的中产阶级来利用每个特定分类任务的医学知识来实现​​更高的分类性能。我们在三种不同的临床图像分类任务中评估我们的方法(共8459张图像),与六种最先进的方法相比,显示出卓越的模型性能。这项工作的所有代码将在接受纸张后公开提供。
translated by 谷歌翻译
医学图像数据通常在不同的类上不平衡。一流的分类吸引了通过区分多数阶级的少数阶级样本来解决数据不平衡问题的越来越关注。以前的方法通常旨在学习一个新的特征空间来将培训样本映射到一起或通过自动级别的模型拟合训练样本。这些方法主要集中在捕获紧凑或描述性特征,其中不充分利用给定的一个类的样本的信息。在本文中,我们提出了一种基于深度学习的基于深度学习的方法,通过在瓶颈特征上添加约束来学习紧凑的功能,并通过同时培训AutoEncoder来保护描述性功能。通过联合优化约束损失和自动统计学家的重建损失,我们的方法可以了解与给定类相关的更相关的功能,使大多数和少数群体样本更有区别。与先前的方法相比,三个临床数据集(包括MRI乳房图像,FFDM乳房图像和胸部X射线图像)的实验结果获得了最先进的性能。
translated by 谷歌翻译
Foveated imaging provides a better tradeoff between situational awareness (field of view) and resolution and is critical in long-wavelength infrared regimes because of the size, weight, power, and cost of thermal sensors. We demonstrate computational foveated imaging by exploiting the ability of a meta-optical frontend to discriminate between different polarization states and a computational backend to reconstruct the captured image/video. The frontend is a three-element optic: the first element which we call the "foveal" element is a metalens that focuses s-polarized light at a distance of $f_1$ without affecting the p-polarized light; the second element which we call the "perifoveal" element is another metalens that focuses p-polarized light at a distance of $f_2$ without affecting the s-polarized light. The third element is a freely rotating polarizer that dynamically changes the mixing ratios between the two polarization states. Both the foveal element (focal length = 150mm; diameter = 75mm), and the perifoveal element (focal length = 25mm; diameter = 25mm) were fabricated as polarization-sensitive, all-silicon, meta surfaces resulting in a large-aperture, 1:6 foveal expansion, thermal imaging capability. A computational backend then utilizes a deep image prior to separate the resultant multiplexed image or video into a foveated image consisting of a high-resolution center and a lower-resolution large field of view context. We build a first-of-its-kind prototype system and demonstrate 12 frames per second real-time, thermal, foveated image, and video capture in the wild.
translated by 谷歌翻译
Reflections on glossy objects contain valuable and hidden information about the surrounding environment. By converting these objects into cameras, we can unlock exciting applications, including imaging beyond the camera's field-of-view and from seemingly impossible vantage points, e.g. from reflections on the human eye. However, this task is challenging because reflections depend jointly on object geometry, material properties, the 3D environment, and the observer viewing direction. Our approach converts glossy objects with unknown geometry into radiance-field cameras to image the world from the object's perspective. Our key insight is to convert the object surface into a virtual sensor that captures cast reflections as a 2D projection of the 5D environment radiance field visible to the object. We show that recovering the environment radiance fields enables depth and radiance estimation from the object to its surroundings in addition to beyond field-of-view novel-view synthesis, i.e. rendering of novel views that are only directly-visible to the glossy object present in the scene, but not the observer. Moreover, using the radiance field we can image around occluders caused by close-by objects in the scene. Our method is trained end-to-end on multi-view images of the object and jointly estimates object geometry, diffuse radiance, and the 5D environment radiance field.
translated by 谷歌翻译
The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.
translated by 谷歌翻译
本研究提出了一种新颖的趋势检测和可视化方法 - 更具体地说,随着时间的推移,主题的变化建模。如果当前用于识别和可视化趋势的模型仅传达基于用法随机计数的单一单词的普及,那么本研究中的方法说明了一个主题正在发展的普及和方向。在这种情况下,方向是选定语料库中的独特亚主题。通过使用K-均值聚类和余弦相似性对主题的移动进行建模来对这种趋势进行建模,以将簇之间的距离分组。在收敛的场景中,可以推断出整个主题是在网络上的(主题之间的令牌,可以互换)。相反,一个不同的场景暗示每个主题的各自的令牌在相同的上下文中都不会找到(彼此之间越来越不同)。该方法对20个新闻组数据集中存在的各种媒体房屋的一组文章进行了测试。
translated by 谷歌翻译
机器学习模型的培训和部署之间的分离意味着,在培训期间,并非所有部署中遇到的场景都可以预期,因此仅依靠培训的进步都有其限制。分布(OOD)检测是一个重要领域,强调模型处理看不见情况的能力:模型知道何时不知道吗?现有的OOD检测方法要么引起额外的训练步骤,其他数据或对训练的网络进行非平凡的修改。相比之下,在这项工作中,我们提出了一种非常简单的事后,即时激活塑形方法,灰分,其中大部分(例如90%)的样本激活在后层中被删除,然后删除休息(例如10%)简化或轻微调整。该塑形在推理时间应用,不需要根据培训数据计算出的任何统计数据。实验表明,这种简单的治疗可以增强分布和分布样本的区别,从而允许在ImageNet上进行最新的OOD检测,并且不会显着恶化分布的准确性。我们与论文一起释放了两个呼吁解释和验证的呼吁,他们相信集体权力进一步验证和理解这一发现。可以在:https://andrijazz.github.io/ash上找到电话,视频和代码
translated by 谷歌翻译
自然界中多元化的生态学在许多物种中具有各种形式的群体行为。蝴蝶物种是随机飞行的突出物种之一,有点有见地,并将其转化为人造隐喻将导致巨大的可能性。本文认为一种这种隐喻称为蝴蝶交配优化(BMO)。在BMO中,BFLE遵循巡逻的交配现象,并同时捕获了多模式函数的所有局部优势。为了模仿该算法,设计了一个移动机器人(BFlyBot),以满足BMO算法中BFLE的功能。此外,多Bflybot群的设计旨在像蝴蝶本质上的作用,并遵循该算法的规则。实时实验是在多动物领域的BMO算法上进行的,并将信号源视为光源。实验结果表明,BMO算法适用于检测多个信号源,其运动的变化显着,即静态和动态。在静态信号源的情况下,随着BFlybot的初始位置的不同,收敛性在时间和平稳性方面受到影响。而具有不同阶梯尺寸的实验会导致它们在机器人的执行时间和速度方面的变化。在这项工作中,在动态环境中进行了实验,在该环境中,信号源在操纵和非操作场景中的运动。 Bflybot群能够检测到单个和多信号源,在两个固定点之间在两个固定点之间进行线性移动,以圆形,向上和向下运动。评估BMO现象,各种正在进行的和前瞻性的作品,例如中海船舶检测,讨论了空中搜索应用和地震预测。
translated by 谷歌翻译
目的;这项研究的目的是通过将机器学习应用于多模式MRI特征,将神经胶质肿瘤分为II,III和IV类别,与体积分析相比。方法;我们回顾性地研究了57例在3T MRI上获取的T2加权,T2加权,Flair图像和ADC MAP的胶质瘤患者。使用ITK-SNAP开源工具的半小局分割,将肿瘤分割为增强和非增强部分,肿瘤坏死,囊肿和水肿。我们测量了总肿瘤量,增强的非肿瘤,水肿,坏死体积以及与总肿瘤量的比率。对培训载体机(SVM)分类器和人工神经网络(ANN)进行了标记的数据,旨在回答感兴趣的问题。通过ROC分析计算预测的特异性,灵敏度和AUC。使用Kruskall Wallis评估了组之间连续度量的差异,并进行了事后DUNN校正以进行多次比较。结果;当我们比较组之间的体积比时,IV级和II-III级神经胶质肿瘤之间的统计学显着差异。 IV级神经胶质肿瘤的水肿和肿瘤坏死比率高于II和III级。体积比分析无法成功区分II和III级肿瘤。但是,SVM和ANN以高达98%和96%的精度正确分类了每个组。结论;在临床环境中,可以将机器学习方法应用于MRI特征,以无创,更容易地对脑肿瘤进行分类。
translated by 谷歌翻译
深层神经网络如今成功地拟合了非常复杂的功能,但是对于推理而言,密集的模型开始非常昂贵。为了减轻这种情况,一个有希望的方向是激活网络稀疏子图的网络。该子图是由数据依赖性路由函数选择的,将输入的固定映射到子网(例如,专家(MOE)在开关变压器中的混合物)。但是,先前的工作在很大程度上是经验的,尽管现有的路由功能在实践中效果很好,但它们并没有导致近似能力的理论保证。我们旨在为稀疏网络的力量提供理论解释。作为我们的第一个贡献,我们提出了一个与数据相关的稀疏网络的形式模型,该网络捕获了流行体系结构的显着方面。然后,我们基于局部性敏感哈希(LSH)引入一个路由函数,使我们能够对稀疏网络近似目标函数的方式进行推论。在用我们的模型代表基于LSH的稀疏网络之后,我们证明稀疏网络可以匹配Lipschitz函数上密集网络的近似能力。在输入向量上应用LSH意味着专家在输入空间的不同子区域中插值目标函数。为了支持我们的理论,我们根据Lipschitz的目标功能定义了各种数据集,并且我们表明,稀疏网络在活动数量数量和近似质量之间具有良好的权衡。
translated by 谷歌翻译