当与分支和界限结合使用时,结合的传播方法是正式验证深神经网络(例如正确性,鲁棒性和安全性)的最有效方法之一。但是,现有作品无法处理在传统求解器中广泛接受的切割平面限制的一般形式,这对于通过凸出凸松弛的加强验证者至关重要。在本文中,我们概括了结合的传播程序,以允许添加任意切割平面的约束,包括涉及放宽整数变量的限制,这些变量未出现在现有的结合传播公式中。我们的广义结合传播方法GCP-crown为应用一般切割平面方法}开辟了一个机会进行神经网络验证,同时受益于结合传播方法的效率和GPU加速。作为案例研究,我们研究了由现成的混合整数编程(MIP)求解器生成的切割平面的使用。我们发现,MIP求解器可以生成高质量的切割平面,以使用我们的新配方来增强基于界限的验证者。由于以分支为重点的绑定传播程序和切削平面的MIP求解器可以使用不同类型的硬件(GPU和CPU)并行运行,因此它们的组合可以迅速探索大量具有强切割平面的分支,从而导致强大的分支验证性能。实验表明,与VNN-Comp 2021中最佳工具相比,我们的方法是第一个可以完全求解椭圆形的基准并验证椭圆21基准的两倍的验证者,并且在oval21基准测试中的最佳工具也明显超过了最先进的验证器。广泛的基准。 GCP-Crown是$ \ alpha $,$ \ beta $ -Crown验证者,VNN-COMP 2022获奖者的一部分。代码可在http://papercode.cc/gcp-crown上获得
translated by 谷歌翻译
推荐系统(RSS)旨在帮助用户从大型目录中有效检索其兴趣的项目。在很长一段时间内,研究人员和从业人员一直专注于开发准确的RSS。近年来,来自攻击,系统和用户产生的噪音,系统偏见的RSS威胁越来越多。结果,很明显,严格关注RS准确性是有限的,研究必须考虑其他重要因素,例如值得信赖。对于最终用户而言,值得信赖的RS(TRS)不仅应该是准确的,而且应该是透明,无偏见,公平的,并且对噪音或攻击也有牢固的态度。这些观察结果实际上导致了RSS研究的范式转移:从面向准确的RSS到TRS。但是,研究人员缺乏对这一小说和快速发展的TRS领域中文献的系统概述和讨论。为此,在本文中,我们提供了TRS的概述,包括讨论TRS的动机和基本概念,构建TRS的挑战的介绍以及该领域未来方向的观点。我们还提供了一个新颖的概念框架来支持TRS的构建。
translated by 谷歌翻译
由于其高识别精度,包括移动设备的面部解锁,社区访问控制系统和城市监视,因此在许多领域都使用了面部识别技术。由于非常深的网络结构可以保证当前的高精度,因此通常需要将面部图像传输到具有高计算能力以进行推理的第三方服务器。但是,面部图像在视觉上揭示了用户的身份信息。在此过程中,不受信任的服务提供商和恶意用户都可以显着增加个人隐私漏洞的风险。当前的隐私识别方法通常伴随着许多副作用,例如推理时间的显着增加或明显的识别准确性下降。本文提出了使用频域中使用差异隐私的保护隐私面部识别方法。由于利用了差异隐私,它在理论上提供了隐私的保证。同时,准确性的丧失非常小。该方法首先将原始图像转换为频域,并删除称为DC的直接组件。然后,可以根据差异隐私框架内的后端面部识别网络的丢失来学习隐私预算分配方法。最后,它为频域特征添加了相应的噪声。根据广泛的实验,我们的方法在几个经典的面部识别测试集中表现出色。
translated by 谷歌翻译
从理论上讲,无监督的域适应性(UDA)的成功在很大程度上取决于域间隙估计。但是,对于无源UDA,在适应过程中无法访问源域数据,这在测量域间隙方面构成了巨大挑战。在本文中,我们建议使用许多分类器来学习源域决策边界,即使两个域数据无法同时访问,它也提供了域间隙的更紧密的上限。对源模型进行了训练,可以推开每对分类器,同时确保决策边界的正确性。从这个意义上讲,我们的许多分类器模型尽可能将源不同类别分开,从而诱导目标域中许多分类器的最大分歧,从而最大程度地提高了可转移的源域知识。为了进行适应,源模型适应最大化分类器对之间的一致性。因此,目标特征从决策范围中推开。在UDA的几个数据集上进行的实验表明,我们的方法在免费的UDA方法中实现了最先进的性能,甚至可以竞争为可用的UDA方法竞争。
translated by 谷歌翻译
我们提出了Tacobot,这是为首届Alexa Prive Taskbot Challenge构建的面向任务的对话系统,该系统可帮助用户完成多步骤烹饪和家庭装修任务。Tacobot的设计采用以用户为中心的原则,并渴望提供协作且易于访问的对话体验。为此,它具有准确的语言理解,灵活的对话管理和引人入胜的响应生成。此外,Tacobot还以强大的搜索引擎和自动化的端到端测试套件为支持。在引导Tacobot的开发中,我们探索了一系列数据增强策略,以训练先进的神经语言处理模型,并通过收集的真实对话不断改善对话经验。在半决赛结束时,Tacobot的平均评分为3.55/5.0。
translated by 谷歌翻译
本文介绍了Cerberus机器人系统系统,该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性,降解的感知条件以及缺乏GPS支持,严峻的导航条件和拒绝通信,地下设置使自动操作变得特别要求。为了应对这一挑战,我们开发了Cerberus系统,该系统利用了腿部和飞行机器人的协同作用,再加上可靠的控制,尤其是为了克服危险的地形,多模式和多机器人感知,以在传感器退化,以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划,反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力,表现出有效的探索,对感兴趣的对象的可靠检测以及准确的映射。在本文中,我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果,并讨论了为社区带来利益的教训所面临的亮点和挑战。
translated by 谷歌翻译
学习提高AUC性能是机器学习中的重要主题。但是,AUC最大化算法可能会由于嘈杂数据而降低泛化性能。自定进度学习是处理嘈杂数据的有效方法。但是,现有的自定进度学习方法仅限于指尖学习,而AUC最大化是一个成对的学习问题。为了解决这个具有挑战性的问题,我们创新提出了一种平衡的自定进度的AUC最大化算法(BSPAUC)。具体而言,我们首先为自节奏的AUC提供了一个统计目标。基于此,我们提出了我们的自进度的AUC最大化公式,其中新型平衡的自定进定的正则化项被嵌入,以确保所选的阳性和负样品具有适当的比例。特别是,关于所有重量变量的子问题在我们的配方中可能是非凸,而通常在现有的自节奏问题中是凸出的。为了解决这个问题,我们提出了一种双环块坐标下降法。更重要的是,我们证明,相对于所有重量变量的子问题基于封闭形式的溶液会收敛到固定点,并且我们的BSPAUC在轻度假设下收敛到我们固定优化目标的固定点。考虑到基于深度学习和基于内核的实现,几个大规模数据集的实验结果表明,与现有的最新AUC最大化方法相比,我们的BSPAUC具有更好的概括性能。
translated by 谷歌翻译
Axie Infinity是一款复杂的纸牌游戏,具有巨大的动作空间。这使得很难使用通用增强学习(RL)算法解决这一挑战。我们提出了一个混合RL框架来学习行动表示和游戏策略。为了避免评估大型可行动作集中的每个动作,我们的方法评估使用动作表示确定的固定大小集中的动作。我们将方法的性能与其他两个基线方法的样本效率和受过训练模型的获胜率进行了比较。我们从经验上表明,我们的方法达到了三种方法中总体上最佳的获胜率和最佳样本效率。
translated by 谷歌翻译
可认证的鲁棒性是在安全至关重要的情况下采用深层神经网络(DNN)的高度理想的属性,但通常需要建立乏味的计算。主要障碍在于大型DNN中的大量非线性。为了权衡DNN表现力(要求更多的非线性)和鲁棒性认证可伸缩性(更喜欢线性性),我们提出了一种新颖的解决方案来通过“授予”适当的线性水平来策略性地操纵神经元。我们建议的核心是首先将无关紧要的依赖神经元线性化,以消除既有用于DNN性能的多余的非线性组件,又对其认证有害。然后,我们优化替换线性激活的相关斜率和截距,以恢复模型性能,同时保持认证性。因此,典型的神经元修剪可以被视为一种特殊情况,即授予固定零斜率和截距的线性功能,这可能过于限制网络灵活性并牺牲其性能。在多个数据集和网络骨架上进行的广泛实验表明,我们的线性嫁接可以有效地收紧认证界限; (2)在没有认证的鲁棒培训的情况下实现竞争性认证的鲁棒性(即CIFAR-10型号的30%改进); (3)将完整的验证扩展到具有17m参数的大型对抗训练的模型。代码可在https://github.com/vita-group/linearity-grafting上找到。
translated by 谷歌翻译
本文研究了用于多机构增强学习的政策优化算法。我们首先在全信息设置中提出了针对两人零和零和马尔可夫游戏的算法框架,其中每次迭代均使用一个策略更新,使用某个矩阵游戏算法在每个状态下进行策略更新,并带有一个带有特定的值更新步骤学习率。该框架统一了许多现有和新的政策优化算法。我们表明,只要矩阵游戏算法在每种状态下,该算法的州平均策略会收敛到游戏的近似NASH平衡(NE),只要矩阵游戏算法在每个状态下都具有低称重的遗憾价值更新。接下来,我们证明,该框架与每个状态(和平滑值更新)的乐观跟踪定制领导者(oftrl)算法可以找到$ \ Mathcal {\ widetilde {o}}(t^{ - 5 /6})$ t $迭代中的$近似NE,并且具有稍微修改的值更新规则的类似算法可实现更快的$ \ Mathcal {\ widetilde {o}}}}(t^{ - 1})$收敛率。这些改进了当前最佳$ \ Mathcal {\ widetilde {o}}}(t^{ - 1/2})$对称策略优化类型算法的速率。我们还将此算法扩展到多玩家通用-SUM Markov游戏,并显示$ \ MATHCAL {\ widetilde {o}}}(t^{ - 3/4})$收敛率与粗相关均衡(CCE)。最后,我们提供了一个数值示例来验证我们的理论并研究平滑价值更新的重要性,并发现使用“渴望”的价值更新(等同于独立的自然策略梯度算法)也可能会大大减慢收敛性,即使在$ h = 2 $层的简单游戏。
translated by 谷歌翻译