评估图像美学是一项具有挑战性的计算机视觉任务。原因之一是美学偏好是高度主观的,并且在某些图像中可能会有很大的不同。因此,重要的是要正确建模和量化此类\ textit {主观性},但是解决此问题并没有太多努力。在本文中,我们提出了一个新型的统一概率框架,可以根据主观逻辑对主观美学偏好进行建模和量化。在此框架中,评级分配被建模为Beta分布,从中,绝对令人愉悦,绝对令人不快和不确定的概率可以得到。我们使用不确定的概率来定义主观性的直观指标。此外,我们提出了一种学习深度神经网络以预测图像美学的方法,该方法被证明可以有效地通过实验改善主观性预测的性能。我们还提出了一个应用程序方案,该方案对基于美学的图像建议有益。
translated by 谷歌翻译
Facial attractiveness prediction (FAP) aims to assess the facial attractiveness automatically based on human aesthetic perception. Previous methods using deep convolutional neural networks have boosted the performance, but their giant models lead to a deficiency in flexibility. Besides, most of them fail to take full advantage of the dataset. In this paper, we present a novel end-to-end FAP approach integrating dual label distribution and lightweight design. To make the best use of the dataset, the manual ratings, attractiveness score, and standard deviation are aggregated explicitly to construct a dual label distribution, including the attractiveness distribution and the rating distribution. Such distributions, as well as the attractiveness score, are optimized under a joint learning framework based on the label distribution learning (LDL) paradigm. As for the lightweight design, the data processing is simplified to minimum, and MobileNetV2 is selected as our backbone. Extensive experiments are conducted on two benchmark datasets, where our approach achieves promising results and succeeds in striking a balance between performance and efficiency. Ablation studies demonstrate that our delicately designed learning modules are indispensable and correlated. Additionally, the visualization indicates that our approach is capable of perceiving facial attractiveness and capturing attractive facial regions to facilitate semantic predictions.
translated by 谷歌翻译
图像的美学质量被定义为图像美的度量或欣赏。美学本质上是一个主观性的财产,但是存在一些影响它的因素,例如图像的语义含量,描述艺术方面的属性,用于射击的摄影设置等。在本文中,我们提出了一种方法基于语义含量分析,艺术风格和图像的组成的图像自动预测图像的美学。所提出的网络包括:用于语义特征的预先训练的网络,提取(骨干网);依赖于骨干功能的多层的Perceptron(MLP)网络,用于预测图像属性(attributeNet);一种自适应的HyperNetwork,可利用以前编码到attributeNet生成的嵌入的属性以预测专用于美学估计的目标网络的参数(AestheticNet)。鉴于图像,所提出的多网络能够预测:风格和组成属性,以及美学分数分布。结果三个基准数据集展示了所提出的方法的有效性,而消融研究则更好地了解所提出的网络。
translated by 谷歌翻译
In recent years, Graph Neural Networks (GNNs), which can naturally integrate node information and topological structure, have been demonstrated to be powerful in learning on graph data. These advantages of GNNs provide great potential to advance social recommendation since data in social recommender systems can be represented as user-user social graph and user-item graph; and learning latent factors of users and items is the key. However, building social recommender systems based on GNNs faces challenges. For example, the user-item graph encodes both interactions and their associated opinions; social relations have heterogeneous strengths; users involve in two graphs (e.g., the useruser social graph and the user-item graph). To address the three aforementioned challenges simultaneously, in this paper, we present a novel graph neural network framework (GraphRec) for social recommendations. In particular, we provide a principled approach to jointly capture interactions and opinions in the user-item graph and propose the framework GraphRec, which coherently models two graphs and heterogeneous strengths. Extensive experiments on two real-world datasets demonstrate the effectiveness of the proposed framework GraphRec.
translated by 谷歌翻译
现有的多视图分类算法专注于通过利用不同的视图来促进准确性,通常将它们集成到常见的随访任务中。尽管有效,但至关重要的是要确保多视图集成和最终决定的可靠性,尤其是对于嘈杂,腐败和分发数据的可靠性。动态评估不同样本的每种观点的可信度可以提供可靠的集成。这可以通过不确定性估计来实现。考虑到这一点,我们提出了一种新颖的多视图分类算法,称为受信任的多视图分类(TMC),通过在证据级别上动态整合不同的观点,为多视图学习提供了新的范式。提出的TMC可以通过考虑每种观点的证据来促进分类可靠性。具体而言,我们介绍了变异性差异来表征类概率的分布,该分布与不同观点的证据进行了参数,并与Dempster-Shafer理论集成在一起。统一的学习框架会引起准确的不确定性,因此,该模型具有可靠性和鲁棒性,以抵抗可能的噪音或腐败。理论和实验结果都证明了所提出的模型在准确性,鲁棒性和可信度方面的有效性。
translated by 谷歌翻译
互联网上的用户通常需要场地来提供更好的购买建议。这可以由声誉系统提供,该系统处理评级以提供建议。评级汇总过程是声誉系统的主要部分,旨在产生有关产品质量的全球意见。经常使用的幼稚方法不会在其计算中考虑消费者概况,也无法发现新评级中出现的不公平评级和趋势。使用加权平均技术的其他复杂评级聚合方法集中在消费者概况数据的一个或几个方面。本文提出了使用机器学习的新信誉系统,以预测消费者资料中消费者的可靠性。特别是,我们通过提取一组对消费者可靠性影响的因素来构建新的消费者资料数据集,这些因素是机器学习算法的输入。然后将预测的权重与加权平均方法集成,以计算产品信誉评分。已使用10倍交叉验证对三个Movielens基准数据集进行了评估。此外,已将提出模型的性能与以前已发布的评级聚合模型进行了比较。获得的结果很有希望,这表明所提出的方法可能是声誉系统的潜在解决方案。比较结果证明了我们模型的准确性。最后,建议的方法可以与在线推荐系统集成在一起,以提供更好的购买建议并促进在线购物市场上的用户体验。
translated by 谷歌翻译
Scale-invariance is an open problem in many computer vision subfields. For example, object labels should remain constant across scales, yet model predictions diverge in many cases. This problem gets harder for tasks where the ground-truth labels change with the presentation scale. In image quality assessment (IQA), downsampling attenuates impairments, e.g., blurs or compression artifacts, which can positively affect the impression evoked in subjective studies. To accurately predict perceptual image quality, cross-resolution IQA methods must therefore account for resolution-dependent errors induced by model inadequacies as well as for the perceptual label shifts in the ground truth. We present the first study of its kind that disentangles and examines the two issues separately via KonX, a novel, carefully crafted cross-resolution IQA database. This paper contributes the following: 1. Through KonX, we provide empirical evidence of label shifts caused by changes in the presentation resolution. 2. We show that objective IQA methods have a scale bias, which reduces their predictive performance. 3. We propose a multi-scale and multi-column DNN architecture that improves performance over previous state-of-the-art IQA models for this task, including recent transformers. We thus both raise and address a novel research problem in image quality assessment.
translated by 谷歌翻译
在本文中,我们提出了一种方法,用于预测社交媒体对等体之间的信任链接,其中一个是在多识别信任建模的人工智能面积。特别是,我们提出了一种数据驱动的多面信任信任建模,该信任建模包括许多不同的特征以进行全面分析。我们专注于展示类似用户的聚类如何实现关键新功能:支持更个性化的,从而为用户提供更准确的预测。在信任感知项目推荐任务中说明,我们在大yelp数据集的上下文中评估所提出的框架。然后,我们讨论如何提高社交媒体的可信关系的检测可以帮助在最近爆发的社交网络环境中支持在线用户的违法行为和谣言的传播。我们的结论是关于一个特别易受资助的用户基础,老年人的反思,以说明关于用户组的推理价值,期望通过通过数据分析获得的洞察力集成已知偏好的一些未来方向。
translated by 谷歌翻译
现有的基于学习的盲图质量评估方法(BIQA)在很大程度上取决于大量注释的培训数据,并且在遇到域/分配转移问题时通常会遭受严重的性能降解。得益于无监督的域适应性(UDA)的开发,一些工作试图将知识从带有标签的源域转移到使用UDA域移动下的无标签目标域。但是,它需要源和目标数据共存,由于隐私或存储问题,这对于源数据可能是不切实际的。在本文中,我们以简单而有效的方式迈出了无源无监督的域适应(SFUDA),以使BIQA无需访问源数据即可解决域移动。具体而言,我们将质量评估任务作为评级分配预测问题。基于BIQA的内在特性,我们提出了一组精心设计的自我监督目标,以指导BN仿射参数对目标域的适应。其中,最大程度地减少了预测熵并最大化批次预测多样性的目的是鼓励更自信的结果,同时避免琐碎的解决方案。此外,基于这样的观察,即单个图像的IQA评级分布遵循高斯分布,我们将高斯正则化应用于预测的评级分布,以使其与人类评分的性质更加一致。在跨域情景下的广泛实验结果证明了我们提出的减轻域移位方法的有效性。
translated by 谷歌翻译
Due to their ability to offer more comprehensive information than data from a single view, multi-view (multi-source, multi-modal, multi-perspective, etc.) data are being used more frequently in remote sensing tasks. However, as the number of views grows, the issue of data quality becomes more apparent, limiting the potential benefits of multi-view data. Although recent deep neural network (DNN) based models can learn the weight of data adaptively, a lack of research on explicitly quantifying the data quality of each view when fusing them renders these models inexplicable, performing unsatisfactorily and inflexible in downstream remote sensing tasks. To fill this gap, in this paper, evidential deep learning is introduced to the task of aerial-ground dual-view remote sensing scene classification to model the credibility of each view. Specifically, the theory of evidence is used to calculate an uncertainty value which describes the decision-making risk of each view. Based on this uncertainty, a novel decision-level fusion strategy is proposed to ensure that the view with lower risk obtains more weight, making the classification more credible. On two well-known, publicly available datasets of aerial-ground dual-view remote sensing images, the proposed approach achieves state-of-the-art results, demonstrating its effectiveness. The code and datasets of this article are available at the following address: https://github.com/gaopiaoliang/Evidential.
translated by 谷歌翻译
最近,深度神经网络在各种分类和模式识别任务方面取得了出色的预测性能。然而,许多真实的预测问题具有序序变量,并且通过传统的分类损耗(例如多类交叉熵)忽略该订单信息。深神经网络的序数回归方法解决了这一点。一种这样的方法是基于早期二进制标签扩展框架的珊瑚方法,并通过强加重量共享约束来实现其输出层任务之间的等级一致性。然而,虽然早期的实验表明,珊瑚的等级一致性是有益的性能,但重量分享限制可能严重限制深神经网络的表现力。在本文中,我们提出了一种替代方法,用于秩一致的序数回归,其不需要在神经网络的完全连接的输出层中的权重共享约束。我们通过使用条件培训集实现这一级别一致性,通过将链规则应用于条件概率分布来获得无条件等级概率。各种数据集的实验证明了所提出的方法利用序数目标信息的功效,并且没有重量分担限制的情况会提高与珊瑚参考方法相比的性能。
translated by 谷歌翻译
使用卷积神经网络,面部属性(例如,年龄和吸引力)估算性能得到了大大提高。然而,现有方法在培训目标和评估度量之间存在不一致,因此它们可能是次优。此外,这些方法始终采用具有大量参数的图像分类或面部识别模型,其携带昂贵的计算成本和存储开销。在本文中,我们首先分析了两种最新方法(排名CNN和DLDL)之间的基本关系,并表明排名方法实际上是隐含的学习标签分布。因此,该结果首先将两个现有的最新方法统一到DLDL框架中。其次,为了减轻不一致和降低资源消耗,我们设计了一种轻量级网络架构,并提出了一个统一的框架,可以共同学习面部属性分发和回归属性值。在面部年龄和吸引力估算任务中都证明了我们的方法的有效性。我们的方法使用单一模型实现新的最先进的结果,使用36美元\倍,参数减少3美元,在面部年龄/吸引力估算上的推动速度为3美元。此外,即使参数的数量进一步降低到0.9m(3.8MB磁盘存储),我们的方法也可以实现与最先进的结果。
translated by 谷歌翻译
在废物铜颗粒回收的领域,工程师应该能够识别废物铜颗粒中的各种杂质,并在评级之前估计其质量比例。这种手动评级方法是昂贵的,缺乏客观性和全面性。为了解决这个问题,我们建议基于机器视觉和深度学习的废铜颗粒评级系统。我们首先将评级任务提出为2D图像识别和纯度回归任务。然后,我们设计了一个两阶段的卷积等级网络,以计算废物铜颗粒的质量纯度和评级水平。我们的评分网络包括分割网络和一个纯度回归网络,该网络分别计算废物铜颗粒的语义分割热图和纯度结果。在训练增强数据集上的评级网络之后,对真正的废铜颗粒进行了实验,证明了拟议网络的有效性和优势。具体而言,就准确性,有效性,鲁棒性和客观性而言,我们的系统优于手动方法。
translated by 谷歌翻译
由于其主观性质,美学的计算推断是一项不确定的任务。已经提出了许多数据集来通过根据人类评级提供成对的图像和美学得分来解决问题。但是,人类更好地通过语言表达自己的观点,品味和情感,而不是单个数字总结他们。实际上,照片评论提供了更丰富的信息,因为它们揭示了用户如何以及为什么对视觉刺激的美学评价。在这方面,我们提出了Reddit照片评论数据集(RPCD),其中包含图像和照片评论的元素。 RPCD由74K图像和220k评论组成,并从业余爱好者和专业摄影师使用的Reddit社区收集,以利用建设性的社区反馈来提高其摄影技巧。所提出的数据集与以前的美学数据集不同,主要是三个方面,即(i)数据集的大规模数据集和批评图像不同方面的评论的扩展,(ii)它主要包含Ultrahd映像,以及(iii)它通过自动管道收集,可以轻松地扩展到新数据。据我们所知,在这项工作中,我们提出了首次尝试估算批评的视觉刺激质量的尝试。为此,我们利用批评情绪的极性为美学判断的指标。我们证明了情感如何与可用于两种美学评估基准的美学判断正相关。最后,我们通过使用情感得分作为排名图像的目标进行了几种模型。提供数据集和基准(https://github.com/mediatechnologycenter/aestheval)。
translated by 谷歌翻译
人类评分是分割质量的抽象表示。为了近似于稀缺专家数据的人类质量评级,我们训练替代质量估计模型。我们根据Brats注释方案评估复杂的多级分割问题,特别是神经胶质瘤分割。培训数据以15位专家神经放射科学家的质量评级为特征,范围从1到6星,用于各种计算机生成和手动3D注释。即使网络在2D图像上运行并使用稀缺的训练数据,我们也可以在与人类内部内可靠性相当的错误范围内近似分段质量。细分质量预测具有广泛的应用。虽然对分割质量的理解对于成功分割质量算法的成功临床翻译至关重要,但它可以在培训新的分割模型中发挥至关重要的作用。由于推断时间分裂,可以直接在损失函数中或在联合学习设置中作为完全自动的数据集策划机制。
translated by 谷歌翻译
在过去的几十年中,盲目的图像质量评估(BIQA)旨在准确地预测图像质量而无需任何原始参考信息,但一直在广泛关注。特别是,在深层神经网络的帮助下,取得了巨大进展。但是,对于夜间图像(NTI)的BIQA的研究仍然较少,通常患有复杂的真实扭曲,例如可见性降低,低对比度,添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计,用于盲目NTI质量评估(NTIQE)。在本文中,我们提出了一个新颖的深层分解和双线性池网络(DDB-NET),以更好地解决此问题。 DDB-NET包含三个模块,即图像分解模块,一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论,并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后,编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后,通过将照明相关和与内容相关的降解作为两因素变化进行建模,将两个特征集组合在一起,将双线汇总在一起以形成统一的表示,以进行质量预测。在几个基准数据集上进行了广泛的实验,已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。
translated by 谷歌翻译
视频预测模型的研究被认为是对视频学习的基本方法。虽然存在用于预测过去几帧的未来帧像素值的多种生成模型,但已经发现预测帧的定量评估非常具有挑战性。在这种情况下,我们研究了预测视频的质量评估问题。我们创建了印度科学研究所预测视频质量评估(IISC PVQA)数据库,该数据库由300个视频组成,通过在不同的数据集上应用不同的预测模型,并伴随着人类观察分数。我们收集了这些视频的50名人类参与者的主观评级。我们的主观研究表明,人类观察者在预测视频的质量判断中非常一致。我们基准评估视频预测的几种普遍使用的措施,并表明它们与这些主观评分没有充分相关。我们介绍了两个新功能,以有效地捕获预测视频的质量,具有过去的帧的预测帧的深度特征的运动补偿余弦相似之处,以及从重新置于帧差异中提取的深度特征。我们表明,我们的特色设计导致了根据ISC PVQA数据库的人类判断的艺术质量预测的状态。数据库和代码在我们的项目网站上公开提供:https://nagabhushansn95.github.io/publications/2020/pvqa
translated by 谷歌翻译
在临床实践中,MR图像通常首先在扫描后长期看到辐射药剂。如果图像质量不充分,则患者必须返回额外的扫描,或者呈现次优解释。自动图像质量评估(IQA)将实现实时修复。对于MRI的现有IQA工作仅提供一般的质量得分,不可知论是对低质量扫描的原因和解决方案。此外,放射科医师的图像质量要求随扫描类型和诊断任务而异。因此,相同的分数可能对不同的扫描具有不同的影响。我们提出了一个训练训练的多任务CNN模型的框架,并用校准标签推断出来。由人类投入校准的标签遵循明确明确和高效的标签任务。图像统治者解决了不同的质量标准,并提供了一种从CNN中解释原始分数的具体方法。该模型支持对MRI中两个最常见的工件的评估:噪音和运动。它达到了约90%的准确度,比以前的最佳方法更好地达到6%,比噪声评估的人类专家更好3%。我们的实验表明,标签校准,图像统治者和多任务培训提高了模型的性能和概括性。
translated by 谷歌翻译
由于学习难度对于机器学习至关重要(例如,基于难度的加权学习策略),以前的文献提出了许多学习难度措施。但是,迄今为止尚无针对学习难度的全面调查,导致几乎所有现有的措施都在没有严格的理论基础的情况下进行了启发性定义。此外,即使在许多研究中至关重要,也没有正式的简单和硬样品定义。这项研究试图进行一项试验理论研究,以实现样本的学习难度。首先,根据概述误差的偏见变化权衡理论提出了学习难度的理论定义。基于拟议的定义建立了简单和硬样品的理论定义。从正式定义中给出了一种实用的学习难度测量方法。其次,探索了学习难度的加权策略的属性。随后,可以根据探索的属性来很好地解释机器学习中的几种经典加权方法。第三,评估提出的措施以验证其合理性和优越性,以几个主要的难度因素。这些实验中的比较表明,所提出的措施在整个实验过程中的其他措施显着优于其他措施。
translated by 谷歌翻译
许多软件系统,例如在线社交网络,使用户能够共享有关自己的信息。尽管共享的行动很简单,但它需要关于隐私的精心思考过程:与谁共享,分享谁以及出于什么目的。考虑到这些内容的每个内容都很乏味。解决此问题的最新方法可以建立个人助理,可以通过学习随着时间的推移而了解私人的内容,并推荐诸如私人或公共的隐私标签,以便用户认为共享的个人内容。但是,隐私本质上是模棱两可和高度个人化的。推荐隐私决策的现有方法不能充分解决隐私的这些方面。理想情况下,考虑到用户的隐私理解,个人助理应该能够根据给定用户调整其建议。此外,个人助理应该能够评估其建议何时不确定,并让用户自己做出决定。因此,本文提出了一个使用证据深度学习的个人助理来根据其隐私标签对内容进行分类。个人助理的一个重要特征是,它可以明确地在决策中对其不确定性进行建模,确定其不知道答案,并在不确定性高时委派提出建议。通过考虑用户对隐私的理解,例如风险因素或自己的标签,个人助理可以个性化每个用户的建议。我们使用众所周知的数据集评估我们建议的个人助理。我们的结果表明,我们的个人助理可以准确地确定不确定的情况,将其个性化满足用户的需求,从而帮助用户良好地保护其隐私。
translated by 谷歌翻译