尽管对生成对抗性网络(GAN)越来越感兴趣,但从理论和实际角度来看,训练GAN仍然是一个具有挑战性的问题。为了应对这一挑战,在本文中,我们提出了一种利用真实数据的独特几何结构的新方法,尤其是流形信息。更具体地说,我们设计了一种通过添加称为流量调节器的附加正则化项来规范GANtraining的方法。流形正则化器迫使发生器尊重实际数据流形的独特几何结构并生成高质量数据。此外,我们在理论上证明在任何一类GAN(包括DCGAN和Wasserstein GAN)中添加该正则化项导致在泛化方面的性能提高,存在均衡和稳定性。初步实验表明,所提出的流量规划有助于避免模式崩溃并导致稳定的训练。
translated by 谷歌翻译
本文使用k-medoids算法研究数据序列的聚类。假设所有数据序列都是从\ emph {未知}连续分布生成的,这些分布形成簇,每个簇包含一组紧密定位的分布(基于分布之间的某个距离度量)。假设最大簇内距离小于最小簇间距离,并且假设两个值都是已知的。目标是如果基础生成分布(未知)属于一个集群,则将数据序列分组在一起。针对已知和未知数量的分布集群,提出了基于k-medoids算法的分布距离度量。还提供了大样本制度下的误差概率和收敛结果的上界。结果表明,当每个数据序列中的样本数量变为无穷大时,误差概率以指数方式快速衰减。无论应用何种距离度量,满足不确定条件,errorexponent都有一个简单的形式。特别地,当Kolmogrov-Smirnov距离或最大meandisppancy用作距离度量时,表征误差指数。提供模拟结果以验证分析。
translated by 谷歌翻译
尽管深度学习取得了巨大成功,但我们对如何训练凸凸神经网络的理解仍然相当有限。大多数现有的理论工作只涉及具有一个隐藏层的神经网络,而且对于多层神经网络知之甚少。递归神经网络(RNN)是在自然语言处理应用中广泛使用的特殊多层网络。与前馈网络相比,它们特别难以分析,因为权重参数在整个时间范围内重复使用。我们可以说是对训练RNN的收敛速度的第一个理论上的理解。具体来说,当神经元的数量足够大时 - 意味着训练数据大小和时间范围内的多项式 - 以及随机初始化权重时,我们表明梯度下降和随机梯度下降都可以最小化线性收敛中的训练损失率,即$ \ varepsilon \ proptoe ^ { - \ Omega(T)} $。
translated by 谷歌翻译
最近,卷积神经网络(CNN)在面部检测方面取得了巨大成功。然而,由于尺度,姿势,遮挡,表现,外观和照明的高度可变性,它对于当前的面部检测方法仍然是一个具有挑战性的问题。在本文中,我们提出了一种名为Dual Shot人脸检测器(DSFD)的人脸检测网络,该网络继承了SSD的体系结构,并引入了一个特征增强模块(FEM),用于传输原始特征图以扩展单镜头检测双镜头检测器。特别地,采用两组锚点计算的渐进锚杆损失(PAL)来有效地促进这些特征。另外,我们提出了一种改进的锚点匹配(IAM)方法,通过在DSFD中集成新的数据增强技术和锚点设计策略,为回归者。流行基准测试的广泛实验:WIDER FACE(简单:$ 0.966 $,中:$ 0.957 $,硬:$ 0.904 $)和FDDB(不连续:$ 0.991 $,连续:$ 0.862 $)展示了DSFD优于最先进的技术面部检测器(例如,PyramidBox和SRN)。代码将在发布时提供。
translated by 谷歌翻译
Residential transformer population is a critical type of asset that many electric utility companies have been attempting to manage proactively and effectively to reduce unexpected transformer failures and life loss that are often caused by overloading. Within the typical power asset portfolio, the residential transformer asset is often large in population, has the lowest reliability design, lacks transformer loading data and is susceptible to customer loading behaviors, such as adoption of distributed energy resources and electric vehicles. On the bright side, the availability of more residential service operation data along with the advancement of data analytics techniques has provided a new path to further our understanding of residential transformer overloading risk statistically. This research developed a new data-driven method that combines a transformer temperature rise and insulation life loss simulation model with clustering analysis technique. It quantitatively and statistically assesses the overloading risk of residential transformer population in one area and suggests proper risk management measures according to the assessment results. Multiple application examples for a Canadian utility company have been presented and discussed in detail to demonstrate the applicability and usefulness of the proposed method. Index Terms-power system reliability, clustering methods, transformers, life estimation, unsupervised learning. Ming Dong (S ' 08 , M ' 13, SM'18) received his doctoral degree from in 2013. Since graduation, he has been working in various roles in two major electric utility companies in West Canada as a Professional Engineer (P.Eng.) and Senior Engineer for more than 5 years. In 2017, he received the Certificate of Data Science and Big Data Analytics from Massachusetts Institute of Technology. He is also a regional officer of Alberta Artificial Intelligence Association. His research interests include applications of artificial intelligence and big data technologies in power system planning and operation, power quality data analytics, power equipment testing and system grounding. Alexandre Nassif (S'05, M'09, SM'13) is a specialist engineer in ATCO Electric. He published more than 50 technical papers in international journals and conferences in the areas of power quality, DER, microgrids and power system protection and stability. Before joining ATCO, he simultaneously worked for Hydro One as a protection planning engineer and Ryerson University as a post-doctoral research fellow. He holds a doctoral degree from the University of Alberta and is a Professional Engineer in Alberta. Benzhe Li (M'18) received his Master's degree from Department of Electrical and Computer Engineering, University of Alberta, Canada in 2015. He is currently an electrical engineer with Energy Ottawa. His research interests include advanced power quality data analytics and equipment condition monitoring.
translated by 谷歌翻译
基于通道的修剪在加速深度卷积神经网络方面取得了重大成功,深度卷积神经网络的管道是迭代的三步法:排序,修剪和微调。然而,这种迭代过程在计算上是昂贵的。在这项研究中,我们提出了一种基于粗略排序的新型计算有效的信道修剪方法,该方法利用微调期间的中间结果来对过滤器的重要性进行排序,建立在最先进的工作和数据驱动的排序标准之上。这项工作的目标不是提出一种基于特定通道修剪方法的单一改进方法,而是引入一种新的通用框架,该框架适用于一系列通道修剪方法。使用各种基准图像数据集(CIFAR-10,ImageNet,Birds-200和Flowers-102)和网络架构(AlexNet和VGG-16)来评估用于对象分类目的的所提出的方法。实验结果表明,所提出的方法可以与相应的艺术品(基线)达到几乎相同的性能,而我们的排名时间可以忽略不计。具体而言,通过所提出的方法,对于整个修剪过程的总计算时间的75%和54%可以分别针对CIFAR-10上的AlexNet和针对VGG-16 onImageNet而减少。我们的方法将极大地促进修剪实践,特别是在资源有限的平台上。
translated by 谷歌翻译
多形性胶质母细胞瘤(GBM)是一种头部肿瘤,具有非常复杂的治疗过程。存活期通常为14-16个月,2年存活率约为26%-33%。 GBM的假性进展(PsP)和真实肿瘤进展(TTP)的临床治疗策略是不同的,因此准确区分这两种情况具有特别重要的意义。由于GBM的PsP和TTP在形状和其他特征上相似,因此很难区分这两种形式。精确。为了准确区分它们,本文介绍了一种基于生成对抗网络的特征学习方法:DC-Al GAN。 GAN由两种架构组成:发电机和鉴别器。 Alexnet在这项工作中被用作鉴别者。由于发生器和鉴别器之间的对抗性和竞争性关系,后者在训练期间提取高度协调的特征。在DC-Al GAN中,在最终分类阶段从特征网中提取特征,并且它们的高性质对分类精度有积极贡献。通过添加三个卷积,通过深度卷积生成对抗网络(DCGAN)修改DC-AlGAN中的生成器。层。这有效地生成了更高分辨率的样本图像。特征融合用于将高层特征与低层特征相结合,允许创建和使用更精确的特征进行分类。实验结果证实,DC-Al GAN对用于PsP和TTP图像分类的GBM数据集具有高精度,优于其他最先进的方法。
translated by 谷歌翻译
深度尖峰神经网络(SNN)支持异步事件驱动计算,大规模并行性,并显示出提高其同步模拟对应的能量效率的巨大潜力。然而,在设计SNN学习规则时,神经编码的注意力不足。值得注意的是,时间信用分配已经在速率编码的尖峰输入上进行,导致学习效率低下。在本文中,我们引入了一种新的基于尖峰的速率编码深度SNN学习规则,其中每个神经元的尖峰数被用作梯度反向传播的替代。我们通过在UCI机器学习和MNIST手写数字数据集上训练深度尖峰多层感知器(MLP)和尖峰卷积神经网络(CNN)来评估所提出的学习规则。我们展示了所提出的学习规则在allbenchmark数据集上实现了最先进的精度。所提出的学习规则允许将延迟,尖峰速率和硬件约束引入到SNN学习中,这优于间接方法,其中传统的人工神经网络首先被训练然后被转换为SNN。因此,它允许直接部署到神经形态硬件并支持有效推理。值得注意的是,在我们的实验中,只有10个模拟时间步长,当训练时施加相同的延迟约束时,MNIST数据集的测试精度达到98.40%。
translated by 谷歌翻译
时间动作定位是计算机视觉的重要任务。尽管已经提出了许多方法,但仍然是一个悬而未决的问题,即如何准确地预测行动段的时间位置。最先进的作品在视频片段上训练动作分类器,由行动提议预先确定。然而,最近的工作发现,理想模型应该超出分段级别并在时间上以细粒度进行密集预测,以确定精确的时间边界。在本文中,我们提出了一种帧分割网络(FSN),它将时间CNN置于2D空间CNN之上。空间CNN负责抽象语义空间维度,而时间CNN负责引入时间上下文信息和执行密集预测。所提出的FSN可以使用空间和时间上下文信息在帧级别上对视频剪辑进行预测。 FSN以端到端的方式进行训练,因此可以在空间和时间域中共同优化模型。我们还调整FSN以在弱监督场景(WFSN)中使用它,其中在训练时仅提供视频级标签。公共数据集的实验结果表明,FSN在帧级动作定位和时间动作定位方面均取得了优异的性能。
translated by 谷歌翻译
在多机器人系统文献中,控制策略通常通过用于编码单团级目标的潜在函数的下降规则获得。但是,对于多目标任务,可能很难设计出满足所有目标的单一控制策略。在本文中,我们利用将多目标任务分解为一组简单子任务的思想。我们将每个子任务与潜在的低维流形相关联,并在这些流形上设计黎曼运动策略(RMP)。提出了集中式和分散式算法,以将这些策略组合到机器人执行的配置空间上的最终控制策略。我们为简单的多机器人任务提出了一系列RMP,可用于为更复杂的任务构建控制器。特别地,我们通过组合所提出的RMP来证明许多现有的多机器人控制器可以非常接近。理论分析表明,生成控制策略下的多机器人系统是稳定的。通过模拟任务和机器人实现验证了所提出的框架。
translated by 谷歌翻译