深度学习建立在梯度下降与目标函数收敛于局部最小值的基础上。不幸的是,这种保证在诸如生成对抗网之类的设置中失败,这些设置表现出多种相互作用的损失。基于梯度的方法在游戏中的行为并未被理解 - 并且随着对抗性和多目标体系结构的激增而变得越来越重要。在本文中,我们开发了新的工具来理解和控制n玩家可区分游戏的动态。关键的结果是将雅可比游戏分解为两个组成部分。第一个对称分量与潜在的游戏有关,这些游戏在隐式函数上减少了梯度下降。第二个反对称组件涉及哈密尔顿游戏,这是一类新的游戏,遵循经典机械系统中的守恒定律。分解激发了辛差梯度调整(SGA),这是一种在可微分游戏中寻找稳定不动点的新算法。基本实验表明,SGA与最近提出的用于在GAN中找到稳定的固定点的算法具有竞争性 - 同时适用于并且具有更多一般情况的保证。
translated by 谷歌翻译
智能代理如何以数据有效的方式解决各种任务?解开的表征学习方法假定这样的代理人将从将世界的基础结构分离(解开)到其表示的不相交部分中受益。然而,没有普遍认同的解开的定义,尤其是因为不清楚如何用已知的基本真理生成过程将世界结构概念​​形式化为toatatasets。在这里,我们提出通过关注世界的转换属性,可以找到用于表征解缠结表示的原则解决方案。特别是,wesuggest认为那些只改变了下层世界状态的某些属性,同时让所有其他属性保持不变的转换,对任何类型的数据都是可利用的结构。类似的观点已经成功地应用于物理学中,对称变换的研究彻底改变了对世界结构的理解。通过使用群论和表征理论的形式将对称变换连接到矢量表示,我们得到了解缠表示的第一个正式定义。我们的新定义与许多当前关于解开的直觉一致,同时也为以前的一些争论点提供了原则性的解决方案。虽然这项工作侧重于正式定义解开 - 而不是解决学习问题 - 但我们认为,研究数据转换的观点转变可以促进更好的表征学习算法的发展。
translated by 谷歌翻译
通过模型综合的数据学习策略原则上可以解决强化学习算法的第一个问题,即大量的经验,这往往代价高昂。然而,从头模拟合理的经验对于许多复杂的环境来说是一个难题,通常会导致基于模型的政策评估和搜索的偏差。这里我们假设记录的,真实的经验和模式替代结果,而不是实际上没有采取的反事实行动。在此基础上,我们提出了针对非政策经验的POMDP学习策略的计数引导策略搜索(CF-GPS)算法。它利用结构因果模型对个别非政策事件中的任意政策进行实际情况评估。 CF-GPS可以通过利用可用的记录数据来消除模型预测,从而改进基于香草模型的RL算法。与基于重要性采样重新加权数据的离场策略算法相比,CF-GPS利用模型明确考虑替代结果,允许算法更好地利用经验数据。我们从经验上发现,这些优势转化为改进的政策评估和搜索结果,这是一项简单的网格世界任务。最后,我们证明了CF-GPS推广了以前提出的引导策略搜索,并且基于重新参数化的算法,例如随机值梯度可以被解释为反事实方法。
translated by 谷歌翻译
今天可用的数据集的大小导致分发机器学习(ML)任务。例如,基于SGD的优化通常由两类参与者执行:参数服务器和工作者。其中一些节点有时可以任意行为(称为\ emph {拜占庭}并由腐败/虚假数据/机器引起),影响整个学习活动的准确性。最近几种方法研究了如何容忍拜占庭工作者,同时假设诚实和可信的参数服务器。为了达到ML的总体稳健性,我们引入了Guanyu,这是第一个算法(据我们所知)来处理拜占庭参数服务器以及拜占庭工作者。我们证明GuanYu确保收敛$ \ frac {1} {3} $ Byzantine参数服务器和$ \ frac {1} {3} $拜占庭工作者,这在异步网络中是最佳的(GuanYu也容忍无限制的通信延迟,即\异步)。为了证明关系的拜占庭弹性,我们使用收缩论证,利用高维空间中的中位数的几何属性来防止(概率为1)每个非拜占庭服务器内的模型上的任何漂移。 %为了表达其实用性,我们使用低级TensorFlow API实现了GuanYu,并使用CIFAR-10数据集将其部署在分布式设置中。与易受单个拜占庭参与者相比的香草TensorFlow部署相比,拜占庭参与者的开销大约在吞吐量(每秒模型更新)方面约为30% - 同时保持相同的收敛率(达到某种准确度所需的模型更新)。
translated by 谷歌翻译
我们提供了几个项目的结果,旨在实现人群及其在建筑环境中的行为的实时理解。我们使用在整个发达和发展的世界中无处不在的闭路电视摄像机,因此能够发挥可靠的传感机制的作用。我们概述了为人群洞察力开发的新方法,并举例说明了它在城市景观中的不同背景下的应用。该技术的应用范围从维护公共空间的安全性到量化公共交通服务水平的充分性。
translated by 谷歌翻译
在本文中,我们解释了超分辨率重建的过程,以提高图像的分辨率。高分辨率数字图像的需求存在于不同的领域,例如医学和空间领域。获取高分辨率数字图像可以在拍摄时进行,但由于避免此类成本的必要材料,它通常是重要成本的同义词,众所周知如何使用超分辨率重建方法,包括一个或多个几个低分辨率图像,以获得高分辨率图像。美国专利US 9 208 537描述了这种算法。根据形成区域边界的像素中包含的信息,分离和分类一个低分辨率图像的区域。它的类别区域决定了用于在上述区域中添加像素的插值类型,以增加图像的饱和度。还知道如何通过使用超分辨率重建模型来重建高分辨率图像的低分辨率图像,该模型基于神经元网络和图像或图像库。中国专利CN 107563965的要求和科学家出版物“Pixel Recursive Super Resolution”,R。Dahl,M。Norouzi,J。Shlens提出了这样的方法。
translated by 谷歌翻译
自动超参数调整旨在促进非专家的机器学习应用。在文献中,为此目的应用了不同的优化方法。本文研究差分进化的性能,用于调整分类任务的监督学习算法的超参数。该实证研究涉及一系列不同的机器学习算法和具有各种特性的数据集,以比较差分进化与基于序列模型的算法配置(SMAC)(参考贝叶斯优化方法)的性能。结果表明,在调整给定的机器学习算法时,差异演化对大多数数据集执行SMAC - 特别是在以首次报告方式断开关系时。只有最严格的计算预算,SMAC才能表现得更好。在smalldatasets上,差异进化比SMAC高出19%(37%的后续破坏)。在从文献中得到的一系列代表性数据的第二次实验中,差异进化得分比SMAC高出15%(23%的失败率)。
translated by 谷歌翻译
光伏(PV)发电已成为主要的可再生能源之一。然而,其生产的特点是高度不确定性,依赖于太阳辐照度和温度等天气条件。即使在24小时预测中,预测光伏生产仍然是一个挑战,并且引导能源供应商保持闲置 - 通常是碳排放 - 工厂。在本文中,我们引入了一个使用数值天气预报(NWP)的长期递归卷积网络来反过来预测24小时和48小时预测视野中的PV生产。该网络架构充分利用了在整个地理区域内采样的时空和空间天气数据。我们在国家海洋和大气管理局(NOAA)的NWP数据集上训练我们的模型,以预测德国的空间聚集光伏生产。我们将其性能与持久性模型和最先进的方法进行比较。
translated by 谷歌翻译
在本文中,我们研究了几种结构化的深度学习模型,用于多光谱时间序列的作物类型分类。特别是,我们的目的是评估这些数据的空间和时间结构各自的重要性。有了这个目标,我们考虑卷积,循环和混合神经网络的几种设计,并在大量免费提供的Sentinel-2图像上评估它们的性能。我们发现最佳执行方法是混合配置,其中大多数参数(高达90%)被分配用于对数据的时间结构进行建模。因此,我们的结果构成了一套用于作物类型分类的定制深度学习模型设计的指南。
translated by 谷歌翻译
小脑灰质形态是研究阿尔茨海默病或唐氏综合症等神经退行性疾病的重要特征。其体积或厚度通常用作此类疾病的替代成像生物标志物。大多数关于灰质厚度估算的研究都集中在心脏上,而对于小脑的形态学的研究很少。使用离体高分辨率MRI,现在可以可视化小鼠小脑中的不同细胞层。在这项工作中,我们引入了框架来提取灰质内的Purkinje层,从而能够估计小脑灰质的厚度,颗粒层和钆增强离体小鼠脑MRI的分子层。应用于唐氏综合征小鼠模型发现转染色体组皮质和layerthickness减少。
translated by 谷歌翻译