已经证明,学习辅助任务可以改善主要任务的概括。然而,这是以手动标记附加任务为代价的,这些任务可能对主要任务有用,也可能没有用。我们提出了一种新方法,可以自动学习辅助任务的标签,这样就可以改进任何监督学习任务,而无需访问其他数据。该方法是训练两个神经网络:用于预测辅助标签的标签生成网络,以及用于训练辅助任务的主要任务的多任务网络。标签生成网络的损失包含了多任务网络的性能,因此两个网络之间的这种交互可以被视为元学习的一种形式。我们表明,我们提出的方法Meta AuXiliary Learning(MAXL)在7个图像数据集上的表现优于单一任务,而不需要额外的辅助标签。我们还展示了MAXLout执行其他几个基线来生成辅助标签,并且与人工定义的辅助标签相比,它们具有竞争力。我们方法的这种监督性质导致了一种朝着自动化概括的有希望的新方向。源代码可从\ url {https://github.com/lorenmt/maxl}获得。
translated by 谷歌翻译
我们提出了变分形状学习器(VSL),这是一种生成模型,以无人监督的方式学习体素化3D形状的基础结构。通过使用跳过连接,我们的模型可以成功地学习和推断对象的潜在的分层表示。此外,通过对VSL的潜在概率流形进行采样,可以轻松生成逼真的3D对象。我们展示了我们的生成模型可以从二维图像到二维图像,从而进行单图像三维模型检索。实验表明,我们提出的模型在一系列任务中的改进通用化,表现更好或与各种状态相当最先进的替代品。
translated by 谷歌翻译
随着移动设备变得越来越流行,移动游戏已经成为一个充满希望的市场,拥有数十亿美元的收入。世界各地已开发出各种移动游戏平台和服务。对这些平台和服务的一个关键挑战是了解移动游戏中的流失行为,这通常涉及微观层面(应用程序和特定用户之间)和宏观层面(应用程序及其所有用户之间)的流失。准确的微观流失预测和宏观级别的流失排名将有利于许多利益相关者,如游戏开发商,广告商和平台运营商。在本文中,我们提出了第一个大规模的流失分析平板电脑分析,它支持微观流失预测和宏观流程排序。对于微观流失预测,鉴于建立在传统机器学习模型上的最先进方法的共同限制,我们设计了一种新颖的半监督和归纳嵌入模型,它共同学习预测功能和用户的嵌入功能 - 应用关系。我们通过深度神经网络对这两个函数进行建模,采用独特的边缘嵌入技术,能够捕获背景信息和关系动态。我们还设计了一种novelattributed随机游走技术,该技术考虑了拓扑性和属性相似性。为了解决宏观级别的流失排名,我们建议构建一个关联图,将估计的微观流失概率作为边权重,并在图上调整链路分析算法。我们设计了一个简单的算法SimSum,并采用了两个更先进的算法PageRank和HITS。我们针对两级churnanalysis问题的解决方案的性能是根据从SamsungGame Launcher平台收集的真实数据进行评估的。
translated by 谷歌翻译
本文扩展了刘等人(2018)提出的深层材料网络(DMN),以解决任意材料几何非线性的一般三维(3D)问题。在离线训练和在线外推阶段详细讨论了机械数据驱动的多尺度材料建模的DMN全局框架。基于界面平衡条件和运动约束,导出了在小应变和有限应变制剂中具有双层结构的3D建筑砌块的解析解。利用代表性体积元素(RVE)上的直接数值模拟生成的线性弹性数据,可以使用随机梯度下降和高级模型压缩算法在离线阶段对网络进行有效训练。通过数值实验验证了DMN在复杂形态和材料规律方面应对长期3D RVE挑战的效率和准确性,包括1)具有穆林效应的超弹性颗粒增强橡胶复合材料; 2)具有速率依赖性晶体可塑性的多晶材料; 3)碳纤维增强聚合物(CFRP)复合材料,具有纤维各向异性弹性和基体可塑性。特别是,我们通过连接微尺度和大规模材料网络证明了CFRP系统的三尺度均匀化过程。 DMN的完整学习和推断程序为多尺度材料建模和设计建立了可靠的数据驱动框架。
translated by 谷歌翻译
车辆重新识别是一个重要的问题,随着视频监控和智能传输应用的快速扩展而变得可取。通过回顾人类视觉的识别过程,我们发现当人类识别不同的车辆时存在本地的等级依赖性。具体地,人类总是首先确定一个车辆的粗粒度类别,即汽车模型/类型。然后,在预测的汽车模型/类型的分支下,他们将通过细微的视觉线索(例如,定制的绘画和挡风玻璃)在细粒度水平上识别特定的车辆。受粗到细分层过程的启发,我们提出了一种用于车辆重新识别的端到端基于RNN的分层注意(RNN-HA)分类模型。 RNN-HA由三个相互耦合的模块组成:第一个模块生成车辆图像的图像表示,第二个层次模块模拟上述层级依赖关系,最后一个注意模块侧重于捕获特定车辆彼此之间的细微视觉信息识别。通过对两个车辆重新识别基准数据集VeRi和VehicleID进行全面的实验,我们证明了所提出的模型实现了超越现有技术的卓越性能。
translated by 谷歌翻译
我们提出了一种新的算法来训练一个强大的神经网络来抵抗对抗攻击。我们的算法受以下两个思想的推动。首先,虽然最近的工作已经证明融合随机性可以提高神经网络的鲁棒性(Liu 2017),但我们注意到,对所有层添加噪声并不是结合随机性的最佳方法。我们在贝叶斯神经网络(BNN)框架下对随机性进行建模,以可扩展的方式正式学习模型的后验分布。其次,我们在BNN中制定了mini-max问题,以学习对抗性攻击下的最佳模式分布,从而导致对抗训练的贝叶斯神经网络。实验结果表明,所提出的算法在强攻击下具有最先进的性能。在CIFAR-10 withVGG网络上,我们的模型与PGDattack下的对抗训练(Madry 2017)和随机自我组合(Liu 2017)相比,在$ 0.035 $失真的情况下,准确度提高了14%,并且在ImageNet的一个子集上差距变得更大。
translated by 谷歌翻译
投注机制是引发代理人对事件预测的一次性投注机制。对于确定性投注机制,现有的不可能性结果表明一些理想的理论性质不相容。特别是,帕累托最优性(在分配之前没有盈利的边注)不能与弱激励兼容性,弱预算平衡和个人理性一起实现。在本文中,我们扩展了投注机制的设计空间,以允许随机化,并询问其中是否有随机化的投注机制,可以实现所有先前考虑​​的所需属性,包括帕累托最优性。我们用两类随机化的投注机制积极地回答这个问题:i)现有确定性投资机制的简单随机抽签式实施,以及ii)我们称之为代理投注机制的另一族简单和随机化投注机制,这些机制是强大的tonoisy基本事实。这一系列机制建立在嘈杂标签学习的基础上(Natarajan等人,2013),以及最近将该信息扩展到信息引出而没有验证设置(Liu和Chen2018)。我们表明,广泛的随机化投注机制家族满足了所有理想的理论属性。
translated by 谷歌翻译
人脸识别近年来取得了长足的进步,主要归功于设计的大容量模型和丰富的标签数据。然而,扩大当前的百万级身份注释变得越来越禁止。在这项工作中,我们表明,未标记的面部数据可以与标记的面部数据一样有效。在这里,我们考虑设置密切模仿现实世界的场景,其中未标记的数据从不受约束的环境收集,并且它们的身份与标记的数据是唯一的。我们的主要观点是,尽管类信息不可用,但我们仍然可以通过以自下而上的方式构建关系图来忠实地近似这些语义关系。我们提出共识驱动传播(CDP)来解决这个具有挑战性的问题,有两个模块,即“委员会”和“调解员”,它们通过仔细聚合多视图信息来强有力地选择正面对。大量实验验证了两个模块的有效性,以丢弃异常值和挖掘硬性积极因素。使用CDP,我们通过仅使用9%的标签实现了对MegaFace识别挑战的78.18%的令人信服的准确度,相比之下,当使用未标记数据时为61.78%,而当使用所有标签时为78.52%。
translated by 谷歌翻译
最近最流行的跟踪框架专注于2D图像序列。它们很少跟踪点云中的3D对象。在本文中,我们提出了一种基于三维道路实例分割的快速,简单的跟踪方法PointIT。首先,我们将3D LiDAR数据转换为尺寸为64 x 512 x 4的球形图像,并将其转换为实例分段模型。获取每个类的预测实例掩码。然后我们使用MobileNet作为我们的主要编码器,而不是原始的ResNet,以降低计算复杂性。最后,我们使用此实例框架扩展Sort算法,以实现3D LiDAR点云数据的跟踪。该模型在球形图像数据集上训练,具有由KITTI3D对象轨道数据集提供的相应实例标签掩模。根据实验结果,我们的网络可以达到0.617的平均精度(AP),并且还提高了多跟踪任务的性能。
translated by 谷歌翻译
对于许多应用来说,标记数据的收集是费力的。在训练期间开发未标记的数据因此是机器学习的长期目标。自我监督学习通过提供大量可用数据的辅助任务(不同但与监督任务相关)来解决这个问题。在本文中,我们展示了如何将排名用作某些回归问题的aproxy任务。作为另一个贡献,我们为连体网络提出了有效的反向传播技术,该技术可以防止多分支网络架构引入的冗余计算。我们将框架应用于两个回归问题:图像质量评估(IQA)和人群计数。对于这两者,我们展示了如何从未标记的数据自动生成排序的图像集。我们的研究结果表明,经过训练的网络可以回归标记数据的地面真实目标,并同时学习对标记数据进行排序,从而获得明显更好的,最先进的IQA和人群计数结果。此外,我们表明,在自我监督代理任务中测量网络不确定性是衡量未标记数据信息量的一个很好的指标。这可用于驱动主动学习算法,并表明这可以减少标签工作量高达50%。
translated by 谷歌翻译