深度神经网络过度参数化,这意味着参数的数量远远大于用于训练网络的样本数量。即使在这样的制度下,深层架构也不会过度配合。这种现象是一个活跃的研究领域,并且已经提出了许多理论来理解这种特殊的观察。这些包括VapnikChervonenkis(VC)维边界和Rademacher复杂边界,其表明网络的容量由权重的范数表征,而不是参数的数量。然而,尚未研究输入噪声对浅层和深层架构的这些措施的影响。在本文中,我们分析了各种正则化方案对神经网络复杂性的影响,我们用损失,权重的$ L_2 $范数,Rademacher复杂性(直接近似正则化复杂度-DARC1),基于VC维度的低复杂度神经网络(LCNN)来表征。 )不同程度的高斯输入噪声。我们证明了$ L_2 $正则化导致了一个更简单的假设类,并且DARC1正则化器随后对于浅层和深层架构都进行了更好的泛化。雅可比正则化器适用于具有高水平输入噪声的浅层架构。对于浅层和深层架构,光谱归一化获得最高的测试设备准确度。我们还表明,Dropoutalone在输入噪声存在的情况下表现不佳。最后,我们展示了较深的体系结构对输入噪声的鲁棒性,而不是它们的浅部分。
translated by 谷歌翻译
解释深度学习的不合理有效性已经让全球各地的研究人员望而却步。各种作者都描述了多个度量标准来评估深层体系结构的容量。在本文中,我们提到了对具有铰链损耗的支持向量机(SVM)所描述的半边界限,将其应用于深度前馈体系结构并导出与先前限制的术语不同的Vapnik-Chervonenkis(VC)边界。网络的权重数量。在这样做的过程中,我们还提出了Dropout和Dropconnect等技术在降低网络容量方面的有效性。最后,我们描述了最大化输入和输出裕度的效果,以实现输入噪声稳健的深层体系结构。
translated by 谷歌翻译
今天的机器人系统越来越多地转向计算上昂贵的模型,例如深度神经网络(DNN),用于定位,感知,计划和对象检测等任务。然而,资源受限的机器人,如低功率无人机,通常没有足够的机载计算资源或功率储备来可扩展地运行最准确的,最先进的网络计算模型。云机器人技术允许移动机器人将计算机卸载到集中式服务器,如果它们在本地不确定或想要运行更准确的计算密集型模型。然而,云机器人成为一个关键的,通常低估的成本:与云过度拥塞的无线网络通信可能导致延迟或数据丢失。实际上,通过拥塞网络从多个机器人发送高数据速率视频或LIDAR会导致实时应用程序的延迟过高,我们会通过实验测量。在本文中,我们制定了一个新的机器人卸载问题---机器人如何以及何时卸载传感任务,特别是如果它们不确定,在提高准确性的同时最大限度地降低云通信的成本?我们将卸载制定为机器人的顺序决策问题,并提出使用深度强化学习的解决方案。在使用最先进的视觉DNN的模拟和硬件实验中,我们的卸载策略将视觉任务性能提高了1.3-2.6倍的基准标记卸载策略,使机器人有可能显着超越其板载传感精度,但云通信成本有限。
translated by 谷歌翻译
我们研究解析富含形态的语言(如印地语)的会话数据的问题,其中频繁出现争论扰乱。我们在一个新的数据集上评估一个最先进的非线性基于过渡的解析系统,该数据集包含来自Bollywood(印地语)电影剧本和印地语单语言的Twitter帖子的句子的506依赖树。我们表明,在新闻专线树库上训练的依赖解析器在应用会话数据时会严重偏向规范结构并降级。受转换生成语法的启发,通过从树库中的现有(内核)结构生成一个子句的所有理论上可能的替代词顺序来避免采样偏差。在规范和转换结构上训练我们的解析器可以将会话数据的性能提高大约9%LAS基线newswireparser。
translated by 谷歌翻译
将无序文本文档分割成不同的部分是许多文本处理应用程序中的一项非常有用的任务,例如多文档聚合,问答等。本文提出了基于文档中的关键字构造无序文本文档。我们使用统计和预测方法测试维基百科文档上的ourapproach,例如TextRank算法和Google的USE(通用句子编码器)。从我们的实验结果中,我们证明了所提出的模型可以有效地将无序文档结构化为多个部分。
translated by 谷歌翻译
社交媒体上虚假新闻的泛滥,为及时识别和遏制假新闻及其对舆论的广泛影响提供了新的研究方向。虽然早期研究的大部分内容都集中在根据其内容识别虚假新闻或利用用户与社交媒体上的新闻互动,但人们越来越关注积极干预策略,以应对错误信息的传播及其对社会的影响。在本次调查中,我们描述了现代虚假新闻的问题,特别是突出了与之相关的技术挑战。我们讨论了适用于识别和缓解的现有方法和技术,重点是每种方法的重大进展及其优点和局限性。此外,研究往往受到现有数据的质量及其特定应用背景的限制。为了缓解这个问题,我们全面地编译和总结了可用数据集的特征。此外,我们概述了新的研究方向,以促进未来有效和跨学科解决方案的发展。
translated by 谷歌翻译
经过对侧训练的深度神经网络通过幻觉照相逼真的局部纹理显着提高了单图像超分辨率的性能,从而大大降低了区域高分辨率图像与其超分辨率(SR)对应物之间的感知差异。然而,应用于医学成像需要保留诊断相关的特征,同时避免引入任何诊断上令人困惑的伪影。我们建议使用深度卷积超分辨率网络(SRNet)训练(i)最小化真实和SRimages之间的重建损失,以及(ii)最大限度地混淆学习相对论视觉图灵测试(rVTT)网络以区分(a)对真实和SR图像(T1)和(b)真实的一对斑块和从感兴趣的区域(T2)中选择的SR。通过SRNet反向传播时,T1和T2的对抗性损失有助于它重建感兴趣区域的病理现象,如外周血涂片中的白细胞(WBC)或癌组织切片组织病理学中的上皮细胞,这些都在实验中得到证实。实验用于测量使用峰值信号噪声比(pSNR)和结构相似性(SSIM)与SR比例因子的变化,rVTT对抗性损失的影响以及使用SR在商业上可获得的人工智能(AI)数字病理系统上报告的影响的信号失真损失实现了我们的声明。
translated by 谷歌翻译
在道路交通中对车辆进行分类和计数在运输工程领域中具有许多应用。然而,各种各样的车辆(两轮车,三轮车,汽车,公共汽车,卡车等)在没有任何车道纪律的情况下在发展区域的道路上行驶,使得车辆分类和计数成为自动化的难题。在本文中,我们使用最先进的基于卷积神经网络(CNN)的物体检测模型,并使用来自德里道路的数据对多个车辆类进行训练。我们使用来自四个不同位置的5562个视频帧获得高达75%的MAPon 80-20列车测试分割。由于发展中地区的强大网络连接在从道路到云服务器的连续视频传输中很少,我们还评估了基于CNN模型的嵌入式实现的延迟,能量和硬件成本。
translated by 谷歌翻译
连续语音关键字识别(CSKS)是在训练数据中可用少量关键字实例时在记录的对话中发现关键字的问题。与更常见的Keyword Spotting不同,其中analgorithm需要检测单个关键词或短语,如“Alexa”,“Cortana”,“Hi Alexa!”,“Whatsup Octavia?”在语音中,CSKS需要从连续的语音流中滤除嵌入的单词,即。现场“安娜”和“github”中的“我认识一位名叫安娜的开发人员可以调查这个问题。”除了有限的训练数据可用性问题,CSKS是一个非常不平衡的分类问题。我们通过使用损失函数(原型网络的损失和公制损失)和转移学习的新组合来解决上述挑战的简单关键字定位基线的局限性。我们的方法将F1得分提高了10%以上。
translated by 谷歌翻译
深度神经网络(DNN)越来越多地被用于各种安全和关键任务系统中的传感和控制功能,如集体驾驶汽车,自动飞行器,医疗诊断和工业机器人。此类系统的故障可能导致生命或财产损失,这需要严格的验证和验证以提供高保真。虽然正在研究形式验证方法,但测试仍然是评估此类系统可靠性的主要技术。由于DNN处理的任务的性质,获得测试oracle数据的成本---给定输入的预期输出a.k.a.标签是高的,这显着影响了可以执行的测试的数量和质量。因此,优先考虑输入数据以有意义的方式测试DNN以降低标签成本可以大大提高测试效率。本文提出使用DNN的情绪量表来源于模型执行的计算,作为识别输入的手段好像要揭示弱点。我们通过实证评估了三种情感措施的优先级 - 信心,不确定性和企业 - 的效力,并比较了它们在揭示错误的能力和再培训效率方面的有效性。结果表明,情绪措施可以有效地标记暴露不可接受的DNN行为的输入。对于MNIST模型,正确标记的平均输入百分比范围为88%至94.8%。
translated by 谷歌翻译