我们提出了一种神经混合模型,该模型由在由深度可逆变换(即,正常化流动)计算的特征的一组上定义的线性模型组成。我们模型的一个吸引人的特性是,p(特征),特征密度和p(目标|特征),预测分布,可以在单个前馈传递中精确计算。我们表明,尽管存在可逆性约束,我们的混合模型可以实现与纯预测模型的相似性。然而,尽管存在混合优化目标,生成组件仍然是输入特征的良好模型。这提供了额外的功能,例如检测分发外输入和启用半监督学习。精确关联密度p(目标,特征)的可用性也使我们可以很好地计算许多量,使我们的混合模型成为概率深度学习的下行应用的有用构建块。
translated by 谷歌翻译
处理神经网络的统计无效率的一种方法是依靠辅助损失来帮助建立有用的表示。但是,要知道辅助任务是否对主任务有用以及何时可能开始受到伤害并不总是微不足道的。我们建议使用任务梯度之间的余弦相似性作为自适应权重来检测辅助损失何时有助于主要损失。我们证明了我们的方法可以保证收敛到主要任务的关键点,并证明了所提算法在几个领域的实用性:ImageNet子集上的多任务监督学习,强化学习ongridworld,以及Atari游戏的强化学习。
translated by 谷歌翻译
在许多实际应用中,例如,期望优化长期价值。推荐系统。最常见的长期价值优化方法是使用长期价值作为目标的监督学习。遗憾的是,长期指标需要很长时间才能衡量(例如,客户会完成阅读电子书吗?),而且香草预报员在结果之前无法学习示例观察到了。在新项目经常出现的实际系统中,这种延迟会增加培训服务偏差,从而负面影响模型对新产品的预测。我们认为,中间观察(例如,如果客户在24小时内阅读了本书的三分之一)可以改进模型的预测。我们将问题形式化为一个随机模型,其中实例由对手选择,但是,例如,中间观察和结果是从一个因子联合分布中采样的。我们提出了一种利用中间观测的算法,并在理论上量化它可以胜过忽略中间观测的任何预测方法。在理论分析的推动下,我们提出了两种神经网络架构:FactoredForecaster(FF),如果我们的假设得到满足则是理想的,而ResidualFactored Forecaster(RFF)对于模型错误规范更具鲁棒性。对两个真实世界数据集的实验,数据集源自GitHubrepositories和来自流行市场的另一个数据集,表明RFFout同时执行FF以及忽略内部观察的算法。
translated by 谷歌翻译
我们证明了变分自动编码器始终无法在潜在和可见空间中学习边缘分布。我们问这是否是匹配条件分布的结果,或者是显式模型和后验分布的限制。我们通过在变分推理中使用GenerativeAdversarial Networks来探索由边际分布匹配和隐式分布提供的替代方案。我们对几种VAE-GAN杂种进行了大规模的评估,并探索了类概率估计对学习分布的影响。我们得出结论,目前VAE-GAN杂交种的适用性有限:与VAE相比,它们难以扩展,评估和用于推理;并且他们没有改善GAN的发电质量。
translated by 谷歌翻译
深度神经网络(NN)是强大的黑盒预测器,在广泛的任务中最近取得了令人印象深刻的性能。在NN中预测不确定性是一个具有挑战性且尚未解决的问题。学习权重分布的贝叶斯神经网络目前是估计预测不确定性的最新技术;然而,与标准(非贝叶斯)NN相比,这些需要对训练过程进行重大修改并且计算成本高。我们提出了贝叶斯NN的替代方案,其易于实现,易于并行化,需要非常少的超参数调整,并产生高质量预测不确定性估计。通过一系列关于分类和回归基准的实验,我们证明了我们的方法产生了经过良好校准的不确定性估计,这些估计与近似贝叶斯NN一样好或更好。为了评估数据集移位的稳健性,我们评估了已知和未知分布的测试实例的预测不确定性,并表明我们的方法能够在分布式实例中表达更高的不确定性。我们通过评估ImageNet上的预测不确定性估计来证明我们方法的可扩展性。
translated by 谷歌翻译
神经网络很容易受到对抗性攻击 - 视觉上不易察觉的小噪声,当加到输入端时会大大改变输出。防御这些敌对攻击的最有效方法是使用对抗性训练的方法。我们分析了经过对侧训练的强大模型,以研究它们在潜层层面对抗对抗性攻击的脆弱性。我们的分析揭示了与对抗性攻击具有鲁棒性的输入层相反,这些鲁棒模型的特征层非常容易受到小幅度的对抗性扰动。利用这些信息,我们引入了一种新技术潜在对抗训练(LAT),其中包括对经过对侧训练的模型进行微调,以确保在特征层中的稳健性。我们还提出潜在攻击(LA),一种用于构建对抗性示例的新算法。 LAT导致测试精度的微小改进,并导致针对MNIST,CIFAR-10,CIFAR-100数据集显示的通用一阶对抗性PGD攻击的最新对抗精度。
translated by 谷歌翻译
图像极大地有助于理解,解释和可视化数据。对图像添加文本描述是网络可访问性的首要原则。使用屏幕阅读器的视障用户将使用这些文字描述来更好地理解数字内容中存在的图像。在本文中,我们建议Chart-Text是一个新颖的全自动系统,它可以创建图表图像的文本描述。给定图表的PNG图像,我们的图表文本系统会创建一个完整的文本描述。首先,系统对图表的类型进行分类,然后检测并分类图表中的标签和文本。最后,它使用特定的图像处理算法从图表图像中提取相关信息。我们提出的系统在对图表进行分类时的准确率达到99.72%,在提取数据和创建相应的文本描述时准确度达到78.9%。
translated by 谷歌翻译
光学相干断层扫描(OCT)是一种非侵入性成像模式,其广泛用于临床眼科学。 OCT图像能够可视化深层视网膜层,这对于视网膜病变的早期诊断至关重要。在本文中,我们描述了一个全面的开放存取数据库,包含500多个分类为不同病理状况的高分辨率图像。图像类别包括正常(NO),黄斑裂孔(MH),年龄相关性黄斑变性(AMD),中央浆液性视网膜病变和糖尿病性视网膜病变(DR)。这些图像是从光栅扫描协议获得的,扫描长度为2mm,分辨率为512×1024像素。我们还包括25个正常OCT图像及其相应的地面实况描绘,可用于准确评估OCT图像分割。
translated by 谷歌翻译
语言是动态的,不断发展和适应时间,领域或主题。语言的适应性是一个活跃的研究领域,研究人员利用分词工具(如嵌入词)发现语言中的社会,文化和领域特定的变化。在本文中,我们介绍了检测语料库级语言转换的全局锚方法。我们从理论上和经验上证明了全局锚方法等同于对齐方法,这是一种广泛使用的方法,用于比较单词嵌入,检测语料库级语言转换的中介。尽管它们具有等价的检测能力,但我们证明了全局锚定方法在适用性方面具有优势,因为它可以比较不同维度的嵌入。此外,全局锚定方法具有实现和并行化的优点。我们证明了全局锚定方法揭示了语言和领域适应的演化中的细微结构。当与图拉普拉斯技术结合时,全局锚方法恢复不同文本语料库的进化轨迹和域聚类。
translated by 谷歌翻译
Hypernym发现是找到与给定术语具有关系的术语的问题。我们引入了一种新的上下文类型,以及用于区分上位词与其他类型的语义关系的相关性度量。我们的文档结构度量基于文档中术语的层次位置,以及它们在定义文本中的存在或其他。此度量使用多个属性和加权距离函数的类来量化文档结构。
translated by 谷歌翻译