In subcellular biological research, fluorescence staining is a key technique to reveal the locations and morphology of subcellular structures. However, fluorescence staining is slow, expensive, and harmful to cells. In this paper, we treat it as a deep learning task termed subcellular structure prediction (SSP), aiming to predict the 3D fluorescent images of multiple subcellular structures from a 3D transmitted-light image. Unfortunately, due to the limitations of current biotechnology, each image is partially labeled in SSP. Besides, naturally, the subcellular structures vary considerably in size, which causes the multi-scale issue in SSP. However, traditional solutions can not address SSP well since they organize network parameters inefficiently and inflexibly. To overcome these challenges, we propose Re-parameterizing Mixture-of-Diverse-Experts (RepMode), a network that dynamically organizes its parameters with task-aware priors to handle specified single-label prediction tasks of SSP. In RepMode, the Mixture-of-Diverse-Experts (MoDE) block is designed to learn the generalized parameters for all tasks, and gating re-parameterization (GatRep) is performed to generate the specialized parameters for each task, by which RepMode can maintain a compact practical topology exactly like a plain network, and meanwhile achieves a powerful theoretical topology. Comprehensive experiments show that RepMode outperforms existing methods on ten of twelve prediction tasks of SSP and achieves state-of-the-art overall performance.
translated by 谷歌翻译
Mobile stereo-matching systems have become an important part of many applications, such as automated-driving vehicles and autonomous robots. Accurate stereo-matching methods usually lead to high computational complexity; however, mobile platforms have only limited hardware resources to keep their power consumption low; this makes it difficult to maintain both an acceptable processing speed and accuracy on mobile platforms. To resolve this trade-off, we herein propose a novel acceleration approach for the well-known zero-means normalized cross correlation (ZNCC) matching cost calculation algorithm on a Jetson Tx2 embedded GPU. In our method for accelerating ZNCC, target images are scanned in a zigzag fashion to efficiently reuse one pixel's computation for its neighboring pixels; this reduces the amount of data transmission and increases the utilization of on-chip registers, thus increasing the processing speed. As a result, our method is 2X faster than the traditional image scanning method, and 26% faster than the latest NCC method. By combining this technique with the domain transformation (DT) algorithm, our system show real-time processing speed of 32 fps, on a Jetson Tx2 GPU for 1,280x384 pixel images with a maximum disparity of 128. Additionally, the evaluation results on the KITTI 2015 benchmark show that our combined system is more accurate than the same algorithm combined with census by 7.26%, while maintaining almost the same processing speed.
translated by 谷歌翻译
User-generated-content (UGC) videos have dominated the Internet during recent years. While many methods attempt to objectively assess the quality of these UGC videos, the mechanisms of human quality perception in the UGC-VQA problem is still yet to be explored. To better explain the quality perception mechanisms and learn more robust representations, we aim to disentangle the effects of aesthetic quality issues and technical quality issues risen by the complicated video generation processes in the UGC-VQA problem. To overcome the absence of respective supervisions during disentanglement, we propose the Limited View Biased Supervisions (LVBS) scheme where two separate evaluators are trained with decomposed views specifically designed for each issue. Composed of an Aesthetic Quality Evaluator (AQE) and a Technical Quality Evaluator (TQE) under the LVBS scheme, the proposed Disentangled Objective Video Quality Evaluator (DOVER) reach excellent performance (0.91 SRCC for KoNViD-1k, 0.89 SRCC for LSVQ, 0.88 SRCC for YouTube-UGC) in the UGC-VQA problem. More importantly, our blind subjective studies prove that the separate evaluators in DOVER can effectively match human perception on respective disentangled quality issues. Codes and demos are released in https://github.com/teowu/dover.
translated by 谷歌翻译
3D点云可以灵活地表示连续表面,可用于各种应用;但是,缺乏结构信息使点云识别具有挑战性。最近的边缘感知方法主要使用边缘信息作为描述局部结构以促进学习的额外功能。尽管这些方法表明,将边缘纳入网络设计是有益的,但它们通常缺乏解释性,使用户想知道边缘如何有所帮助。为了阐明这一问题,在这项研究中,我们提出了以可解释方式处理边缘的扩散单元(DU),同时提供了不错的改进。我们的方法可以通过三种方式解释。首先,我们从理论上表明,DU学会了执行任务呈纤维边缘的增强和抑制作用。其次,我们通过实验观察并验证边缘增强和抑制行为。第三,我们从经验上证明,这种行为有助于提高绩效。在具有挑战性的基准上进行的广泛实验验证了DU在可解释性和绩效增长方面的优势。具体而言,我们的方法使用S3DIS使用Shapenet零件和场景分割来实现对象零件分割的最新性能。我们的源代码将在https://github.com/martianxiu/diffusionunit上发布。
translated by 谷歌翻译
在各个领域(例如政治,健康和娱乐)中的真实和虚假新闻每天都通过在线社交媒体传播,需要对多个领域进行虚假新闻检测。其中,在政治和健康等特定领域中的虚假新闻对现实世界产生了更严重的潜在负面影响(例如,由Covid-19的错误信息引导的流行病)。先前的研究着重于多域假新闻检测,同样采矿和建模域之间的相关性。但是,这些多域方法遇到了SEESAW问题:某些域的性能通常会以损害其他域的性能而改善,这可能导致在特定领域的表现不满意。为了解决这个问题,我们建议一个用于假新闻检测(DITFEND)的域和实例级传输框架,这可以改善特定目标域的性能。为了传递粗粒域级知识,我们从元学习的角度训练了所有域数据的通用模型。为了传输细粒度的实例级知识并将一般模型调整到目标域,我们在目标域上训练语言模型,以评估每个数据实例在源域中的可传递性,并重新赢得每个实例的贡献。两个数据集上的离线实验证明了Ditfend的有效性。在线实验表明,在现实世界中,Ditfend对基本模型带来了更多改进。
translated by 谷歌翻译
车辆网络使车辆能够通过培训数据支持实时车辆应用。由于计算能力有限,车辆通常将数据传输到网络边缘的路边单元(RSU)以处理数据。但是,由于隐私问题,车辆通常不愿彼此共享数据。对于传统的联合学习(FL),车辆在本地训练数据以获取本地模型,然后将本地模型上传到RSU以更新全局模型,因此可以通过共享模型参数而不是数据来保护数据隐私。传统的FL同步更新全局模型,即RSU需要等待所有车辆上传其模型以进行全局模型更新。但是,车辆通常可能会在RSU通过培训获得本地模型之前从覆盖范围中移出,从而降低了全球模型的准确性。有必要提出一个异步联合学习(AFL)来解决此问题,其中RSU一旦从车辆中收到本地模型就会更新全球模型。但是,数据量,计算能力和车辆迁移率可能会影响全球模型的准确性。在本文中,我们共同考虑数据的量,计算功能和车辆移动性,以设计AFL方案以提高全球模型的准确性。广泛的仿真实验表明,我们的方案优于FL方案
translated by 谷歌翻译
车辆边缘计算(VEC)可以在网络边缘的不同RSU中缓存内容,以支持实时车辆应用。在VEC中,由于车辆的高运动特性,有必要提前缓存用户数据,并为车辆用户学习最流行和最有趣的内容。由于用户数据通常包含隐私信息,因此用户不愿与他人共享其数据。为了解决这个问题,传统的联合学习(FL)需要通过汇总所有用户的本地模型来保护用户的隐私来同步更新全局模型。但是,车辆可能会在实现本地模型培训之前经常离开VEC的覆盖范围,因此无法按预期上传本地型号,这将降低全球模型的准确性。此外,本地RSU的缓存能力有限,流行内容是多样的,因此预测的流行内容的大小通常超过本地RSU的缓存能力。因此,在考虑内容传输延迟的同时,VEC应在不同的RSU中缓存预测的流行内容。在本文中,我们考虑了车辆的流动性,并提出了基于联合和深度强化学习(CAFR)的VEC中的合作缓存计划。我们首先考虑车辆的移动性,并提出异步FL算法以获得准确的全局模型,然后提出一种算法来预测基于全球模型的流行内容。此外,我们考虑了车辆的移动性,并提出了深入的强化学习算法,以获取预测流行内容的最佳合作缓存位置,以优化内容传输延迟。广泛的实验结果表明,CAFR方案的表现优于其他基线缓存方案。
translated by 谷歌翻译
人搜索是一项具有挑战性的任务,旨在实现共同的行人检测和人重新识别(REID)。以前的作品在完全和弱监督的设置下取得了重大进步。但是,现有方法忽略了人搜索模型的概括能力。在本文中,我们采取了进一步的步骤和现在的域自适应人员搜索(DAPS),该搜索旨在将模型从标记的源域概括为未标记的目标域。在这种新环境下出现了两个主要挑战:一个是如何同时解决检测和重新ID任务的域未对准问题,另一个是如何在目标域上训练REID子任务而不可靠的检测结果。为了应对这些挑战,我们提出了一个强大的基线框架,并使用两个专用设计。 1)我们设计一个域对齐模块,包括图像级和任务敏感的实例级别对齐,以最大程度地减少域差异。 2)我们通过动态聚类策略充分利用未标记的数据,并使用伪边界框来支持目标域上的REID和检测训练。通过上述设计,我们的框架在MAP中获得了34.7%的地图,而PRW数据集的TOP-1则达到80.6%,超过了直接转移基线的大幅度。令人惊讶的是,我们无监督的DAPS模型的性能甚至超过了一些完全和弱监督的方法。该代码可在https://github.com/caposerenity/daps上找到。
translated by 谷歌翻译
跨模式检索引起了计算机视觉和自然语言处理域的广泛关注。随着卷积和经常性神经网络的发展,跨图像文本模态的检索瓶颈不再是图像和文本特征的提取,而是嵌入空间中有效的损失函数学习。许多损失函数试图从异质方式中更接近成对特征。本文提出了一种使用模式内约束损耗函数学习图像和文本的联合嵌入的方法,以减少从相同均匀模态中违反负面对的侵犯。实验结果表明,我们的方法优于FlickR30K和Microsoft Coco数据集的最先进的双向图像检索方法。我们的代码公开可用:https://github.com/canonchen/imc。
translated by 谷歌翻译
使用现代智能手机摄像机的夜成像由于光子计数低和成像系统中不可避免的噪声而变得麻烦。直接调整曝光时间和ISO等级在弱光条件下无法同时获得锋利和无噪声图像。尽管已经提出了许多方法来增强嘈杂或模糊的夜晚图像,但由于两个主要原因,它们在现实世界中的照片仍然不令人满意:1)单个图像中的信息有限和2)合成训练图像和真实图像之间的域间隙 - 世界照片(例如,模糊区域和分辨率的差异)。为了利用连续的长期和短曝光图像中的信息,我们提出了一条基于学习的管道来融合它们。开发了D2HNET框架,以通过在短期曝光图像的指导下脱毛和增强长期暴露图像来恢复高质量的图像。为了缩小域间隙,我们利用了两相deblernet-enhancenet架构,该体系结构在固定的低分辨率上执行准确的模糊去除,以便能够在不同的分辨率输入中处理大范围模糊。此外,我们从HD视频中合成了D2数据,并在其上进行了实验。验证集和真实照片的结果表明,我们的方法获得了更好的视觉质量和最先进的定量分数。可以在https://github.com/zhaoyuzhi/d2hnet上找到D2HNET代码,模型和D2-DATASET。
translated by 谷歌翻译