尽管对生成对抗性网络(GAN)越来越感兴趣,但从理论和实际角度来看,训练GAN仍然是一个具有挑战性的问题。为了应对这一挑战,在本文中,我们提出了一种利用真实数据的独特几何结构的新方法,尤其是流形信息。更具体地说,我们设计了一种通过添加称为流量调节器的附加正则化项来规范GANtraining的方法。流形正则化器迫使发生器尊重实际数据流形的独特几何结构并生成高质量数据。此外,我们在理论上证明在任何一类GAN(包括DCGAN和Wasserstein GAN)中添加该正则化项导致在泛化方面的性能提高,存在均衡和稳定性。初步实验表明,所提出的流量规划有助于避免模式崩溃并导致稳定的训练。
translated by 谷歌翻译
本文使用k-medoids算法研究数据序列的聚类。假设所有数据序列都是从\ emph {未知}连续分布生成的,这些分布形成簇,每个簇包含一组紧密定位的分布(基于分布之间的某个距离度量)。假设最大簇内距离小于最小簇间距离,并且假设两个值都是已知的。目标是如果基础生成分布(未知)属于一个集群,则将数据序列分组在一起。针对已知和未知数量的分布集群,提出了基于k-medoids算法的分布距离度量。还提供了大样本制度下的误差概率和收敛结果的上界。结果表明,当每个数据序列中的样本数量变为无穷大时,误差概率以指数方式快速衰减。无论应用何种距离度量,满足不确定条件,errorexponent都有一个简单的形式。特别地,当Kolmogrov-Smirnov距离或最大meandisppancy用作距离度量时,表征误差指数。提供模拟结果以验证分析。
translated by 谷歌翻译
多形性胶质母细胞瘤(GBM)是一种头部肿瘤,具有非常复杂的治疗过程。存活期通常为14-16个月,2年存活率约为26%-33%。 GBM的假性进展(PsP)和真实肿瘤进展(TTP)的临床治疗策略是不同的,因此准确区分这两种情况具有特别重要的意义。由于GBM的PsP和TTP在形状和其他特征上相似,因此很难区分这两种形式。精确。为了准确区分它们,本文介绍了一种基于生成对抗网络的特征学习方法:DC-Al GAN。 GAN由两种架构组成:发电机和鉴别器。 Alexnet在这项工作中被用作鉴别者。由于发生器和鉴别器之间的对抗性和竞争性关系,后者在训练期间提取高度协调的特征。在DC-Al GAN中,在最终分类阶段从特征网中提取特征,并且它们的高性质对分类精度有积极贡献。通过添加三个卷积,通过深度卷积生成对抗网络(DCGAN)修改DC-AlGAN中的生成器。层。这有效地生成了更高分辨率的样本图像。特征融合用于将高层特征与低层特征相结合,允许创建和使用更精确的特征进行分类。实验结果证实,DC-Al GAN对用于PsP和TTP图像分类的GBM数据集具有高精度,优于其他最先进的方法。
translated by 谷歌翻译
尽管深度学习取得了巨大成功,但我们对如何训练凸凸神经网络的理解仍然相当有限。大多数现有的理论工作只涉及具有一个隐藏层的神经网络,而且对于多层神经网络知之甚少。递归神经网络(RNN)是在自然语言处理应用中广泛使用的特殊多层网络。与前馈网络相比,它们特别难以分析,因为权重参数在整个时间范围内重复使用。我们可以说是对训练RNN的收敛速度的第一个理论上的理解。具体来说,当神经元的数量足够大时 - 意味着训练数据大小和时间范围内的多项式 - 以及随机初始化权重时,我们表明梯度下降和随机梯度下降都可以最小化线性收敛中的训练损失率,即$ \ varepsilon \ proptoe ^ { - \ Omega(T)} $。
translated by 谷歌翻译
最近,卷积神经网络(CNN)在面部检测方面取得了巨大成功。然而,由于尺度,姿势,遮挡,表现,外观和照明的高度可变性,它对于当前的面部检测方法仍然是一个具有挑战性的问题。在本文中,我们提出了一种名为Dual Shot人脸检测器(DSFD)的人脸检测网络,该网络继承了SSD的体系结构,并引入了一个特征增强模块(FEM),用于传输原始特征图以扩展单镜头检测双镜头检测器。特别地,采用两组锚点计算的渐进锚杆损失(PAL)来有效地促进这些特征。另外,我们提出了一种改进的锚点匹配(IAM)方法,通过在DSFD中集成新的数据增强技术和锚点设计策略,为回归者。流行基准测试的广泛实验:WIDER FACE(简单:$ 0.966 $,中:$ 0.957 $,硬:$ 0.904 $)和FDDB(不连续:$ 0.991 $,连续:$ 0.862 $)展示了DSFD优于最先进的技术面部检测器(例如,PyramidBox和SRN)。代码将在发布时提供。
translated by 谷歌翻译
Residential transformer population is a critical type of asset that many electric utility companies have been attempting to manage proactively and effectively to reduce unexpected transformer failures and life loss that are often caused by overloading. Within the typical power asset portfolio, the residential transformer asset is often large in population, has the lowest reliability design, lacks transformer loading data and is susceptible to customer loading behaviors, such as adoption of distributed energy resources and electric vehicles. On the bright side, the availability of more residential service operation data along with the advancement of data analytics techniques has provided a new path to further our understanding of residential transformer overloading risk statistically. This research developed a new data-driven method that combines a transformer temperature rise and insulation life loss simulation model with clustering analysis technique. It quantitatively and statistically assesses the overloading risk of residential transformer population in one area and suggests proper risk management measures according to the assessment results. Multiple application examples for a Canadian utility company have been presented and discussed in detail to demonstrate the applicability and usefulness of the proposed method. Index Terms-power system reliability, clustering methods, transformers, life estimation, unsupervised learning. Ming Dong (S ' 08 , M ' 13, SM'18) received his doctoral degree from in 2013. Since graduation, he has been working in various roles in two major electric utility companies in West Canada as a Professional Engineer (P.Eng.) and Senior Engineer for more than 5 years. In 2017, he received the Certificate of Data Science and Big Data Analytics from Massachusetts Institute of Technology. He is also a regional officer of Alberta Artificial Intelligence Association. His research interests include applications of artificial intelligence and big data technologies in power system planning and operation, power quality data analytics, power equipment testing and system grounding. Alexandre Nassif (S'05, M'09, SM'13) is a specialist engineer in ATCO Electric. He published more than 50 technical papers in international journals and conferences in the areas of power quality, DER, microgrids and power system protection and stability. Before joining ATCO, he simultaneously worked for Hydro One as a protection planning engineer and Ryerson University as a post-doctoral research fellow. He holds a doctoral degree from the University of Alberta and is a Professional Engineer in Alberta. Benzhe Li (M'18) received his Master's degree from Department of Electrical and Computer Engineering, University of Alberta, Canada in 2015. He is currently an electrical engineer with Energy Ottawa. His research interests include advanced power quality data analytics and equipment condition monitoring.
translated by 谷歌翻译
为了诊断黑素瘤,苏木精和曙红(H&E)染色的组织切片仍然是金标准。这些图像包含无关放大的定量信息。在本研究中,我们研究了深层卷积神经网络是否能够以修补的方式直接从这些大尺寸图像中提取互补文本的结构特征。为了应对组织病理学滑体形态多样性带来的挑战,我们建立了一个多中心数据库,包括来自2008年至2018年的132名患者的2241个数字全幻灯片图像。我们通过转移学习和测试性能,使用超过995万个补丁训练ResNet50和Vgg19两种关键分类:恶性黑色素瘤与良性痣不相关和混合放大;并在最大放大率中区分痣。 CNN在两个任务中都实现了卓越的性能,证明了能够根据病理学图像分析皮肤癌的AI。为了使分类合理,CNN表示的可视化还用于识别黑素瘤和痣之间的细胞。感兴趣的区域(ROI)也位于显着有用的位置,为病理学家提供了更多正确诊断的支持。
translated by 谷歌翻译
Extreme多标签分类(XML)是一项重要且具有挑战性的机器学习任务,它为每个实例分配一个极其庞大的标签集合中最相关的候选标签,其中标签,功能和实例的数量可能是数千或数百万。随着业务规模/范围和数据积累的增加,XML在互联网行业越来越受欢迎。极大的标签收集产生诸如计算复杂性,标签间依赖性和噪声标记之类的挑战。基于不同的数学公式,已经提出了许多方法来解决这些挑战。在本文中,我们提出了一种深度学习XML方法,其中包含基于字向量的自我关注,然后是基于排名的AutoEncoder架构。所提出的方法具有以下主要优点:1)自动编码器通过将标签和特征投影到公共嵌入空间上,同时考虑标签间依赖性和特征标签依赖性; 2)排名损失不仅可以提高训练效率和准确性,还可以扩展到处理噪声标记数据; 3)有效的注意机制通过突出特征重要性来改进特征表示。基准数据集的实验结果表明,所提出的方法是具有竞争力的先进方法。
translated by 谷歌翻译
我们提出RNN序列模型适应文本的多标签分类问题,其中目标是一组标签,而不是序列。以前这样的RNN模型定义序列的概率而不是集合的概率;尝试获得集合概率是网络设计的后续想法,包括预先指定标签顺序,或以特定方式将序列概率与设定概率相关联。我们的公式来源于集合概率的原则概念,作为集合的相应排列序列的概率之和。我们提供了一个新的培训目标,可以最大化这个集合概率,以及一个新的预测目标,可以在测试文档中找到最可能的集合。这些新目标在理论上具有吸引力,因为它们使RNN模式自由发现最佳标签顺序,这通常是自然的(但不同于文档)。我们开发有效的程序来解决培训和预测中涉及的计算困难。对基准数据集的实验表明,我们在这项任务中的表现优于最先进的方法。
translated by 谷歌翻译
Human3.6M数据集中大规模标记3D姿势的可用性在推动静止图像的3D人体姿态估计算法中发挥了重要作用。我们观察到,该领域的最新创新主要集中在使用该数据集时明确解决泛化问题的新技术,因为该数据库是在人为主题和背景变化有限的高度控制的环境中构建的。尽管有这样的努力,我们可以证明目前的方法仍然容易出错,特别是在针对拍摄的图像进行测试时。在本文中,我们的目标是从不同的角度解决这个问题。我们提出了一种原则性的方法来生成高质量的3D姿势地面真实性,并与内部人员一起生成任何野外图像。我们通过首先设计一种新颖的立体灵感神经网络来直接将任何2D姿势映射到高质量3D对应物来实现这一点。然后,我们执行精心设计的几何搜索方案,以进一步细化关节。基于这个方案,我们建立了具有400,000个野外图像及其相应的3Dpose基础事实的大规模数据集。这使得能够训练高质量的神经网络模型,而无需专门的训练方案和辅助损失功能,其有利地抵抗最先进的3D姿势估计方法。我们还定量和定性地评估了我们模型的泛化能力。结果表明,我们的方法令人信服地优于以前的方法。我们公开提供数据集和代码。
translated by 谷歌翻译