联合学习（FL）已成为跨无线边缘设备分配机器学习的流行方法。在这项工作中，我们考虑在设备 - 服务器通信延迟和设备计算异质性下优化FL的模型性能和资源利用之间的权衡。我们提出的StofedDelav算法将本地 - 全局模型组合器包含到FL同步步骤中。我们理论上表征了Stofeddelav的收敛行为，并获得了最佳的组合权重，这考虑了每个设备的全局模型延迟和预期的局部梯度误差。然后，我们制定了一种网络感知优化问题，该问题调整设备的小靶尺寸，以共同最大限度地减少能量消耗和机器学习训练丢失，并通过一系列凸起近似来解决非凸面问题。我们的模拟表明，当调整小批准和组合重量时，STOFeddelav在模型收敛速度和网络资源利用方面优于目前的艺术。此外，我们的方法可以减少模型训练期间所需的上行链路通信轮的数量，以达到相同的精度。
translated by 谷歌翻译
我们提出了一种方法，用于估计具有单个RGB图像的可用3D模型的刚性对象的6DOF姿势。与基于经典对应的方法不同，该方法可以预测输入图像的像素的3D对象坐标，该建议的方法可以预测3D对象坐标在相机frustum中采样的3D查询点。从像素到3D点的移动，这是受到3D重建方法的最新PIFU式方法的启发，可以对整个对象（包括（自我）遮挡部分）进行推理。对于与与像素对齐的图像功能相关的3D查询点，我们训练完全连接的神经网络来预测：（i）相应的3D对象坐标，以及（ii）签名到对象表面的签名距离，首先定义仅适用于地表附近的查询点。我们将该网络实现的映射称为神经通信字段。然后，通过Kabsch-Ransac算法从预测的3D-3D对应关系中稳健地估计对象姿势。所提出的方法在三个BOP数据集上实现了最先进的结果，并且在咬合挑战性案例中表现出了优越。项目网站在：linhuang17.github.io/ncf。
translated by 谷歌翻译
我们讨论了具有未知IV有效性的线性仪器变量（IV）模型中识别的基本问题。我们重新审视了流行的多数和多元化规则，并表明通常没有识别条件是“且仅在总体上”。假设“最稀少的规则”，该规则等同于多数规则，但在计算算法中变得运作，我们研究并证明了基于两步选择的其他IV估计器的非convex惩罚方法的优势，就两步选择而言选择一致性和单独弱IV的适应性。此外，我们提出了一种与识别条件保持一致的替代较低的惩罚，并同时提供甲骨文稀疏结构。与先前的文献相比，针对静脉强度较弱的估计仪得出了理想的理论特性。使用模拟证明了有限样本特性，并且选择和估计方法应用于有关贸易对经济增长的影响的经验研究。
translated by 谷歌翻译
名义隐喻经常用于人类语言，并已被证明可以说服，表达情感和刺激兴趣。本文解决了中国名义上隐喻（NM）一代的问题。我们引入了一个新颖的多任务框架，该框架共同优化了三个任务：NM识别，NM组件识别和NM生成。隐喻识别模块能够执行自我训练程序，该程序从大型未标记的语料库中发现了新的隐喻，以进行NM生成。 NM组件识别模块在训练和条件下强调了这些NM组件上的成分，以获得更连贯的结果。为了训练NM识别和组件识别模块，我们构建了一个注释的语料库，该语料由6.3K句子组成，其中包含多种隐喻模式。自动指标表明，我们的方法可以产生具有良好可读性的多种隐喻，其中92％是新颖的隐喻比较。人类评估表明，我们的模型在一致性和创造力方面显着优于基准。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
少量分类旨在执行分类，因为只有利息类别的标记示例。尽管提出了几种方法，但大多数现有的几次射击学习（FSL）模型假设基础和新颖类是从相同的数据域中汲取的。在识别在一个看不见的域中的新型类数据方面，这成为域广义少量分类的更具挑战性的任务。在本文中，我们为域广义的少量拍摄分类提供了一个独特的学习框架，其中基类来自同质的多个源域，而要识别的新类是来自训练期间未见的目标域。通过推进元学习策略，我们的学习框架跨越多个源域利用数据来捕获域不变的功能，通过基于度量学习的机制跨越支持和查询数据来引入FSL能力。我们进行广泛的实验，以验证我们提出的学习框架和展示从小但同质源数据的效果，能够优选地对来自大规模的学习来执行。此外，我们为域广泛的少量分类提供了骨干模型的选择。
translated by 谷歌翻译
如何通过学习和视觉社区进行识别或分割视觉数据时处理域名转移。在本文中，我们解决了域广义语义分割，其中分割模型在多个源极域上培训，预计将概括到未操作数据域。我们提出了一种具有功能解剖能力的新型元学习方案，它可以使用域泛化保证来派生语义分段的域中的功能。特别是，我们在我们的框架中介绍了一个特定于特定的功能批评模块，强制执行域泛化保证的解除义的视觉功能。最后，我们对基准数据集的定量结果证实了我们所提出的模型的有效性和稳健性，以及在分割中的最先进的域适应和泛化方法表现。
translated by 谷歌翻译
由于希尔伯特空间的指数增长，模拟古典计算机上的量子数量是一个具有挑战性的问题。最近被引入了人工神经网络作为近似量子 - 许多身体状态的新工具。我们基准限制Boltzmann机器量子状态和不同浅层神经自动汇流量子状态的变分力，以模拟不可排益量子依赖链的全局淬火动态。我们发现在给定精度以给定精度表示量子状态所需的参数的数量呈指数增长。增长率仅受到广泛不同设计选择的网络架构的略微影响：浅层和深度网络，小型和大型过滤尺寸，扩张和正常卷积，有和没有快捷连接。
translated by 谷歌翻译
结构化参数空间的自然梯度下降（NGD）（例如，低级CovariRces）是由于困难的Fisher矩阵计算而在计算上具有挑战性。我们通过使用\ emph {local-parameter坐标}来解决此问题，以获取灵活且高效的NGD方法，适用于各种结构化参数化。我们显示了四个应用程序，我们的方法（1）概括指数自然进化策略，（2）恢复现有的牛顿样算法，（3）通过矩阵组产生新的结构化二阶算法，（4）给出了新的算法高斯和基于Wishart的分布的协方差。我们展示了深度学习，变分推论和进化策略的一系列问题。我们的工作为可扩展结构化几何方法开辟了新的方向。
translated by 谷歌翻译
We study the problem of combining neural networks with symbolic reasoning. Recently introduced frameworks for Probabilistic Neurosymbolic Learning (PNL), such as DeepProbLog, perform exponential-time exact inference, limiting the scalability of PNL solutions. We introduce Approximate Neurosymbolic Inference (A-NeSI): a new framework for PNL that uses neural networks for scalable approximate inference. A-NeSI 1) performs approximate inference in polynomial time without changing the semantics of probabilistic logics; 2) is trained using data generated by the background knowledge; 3) can generate symbolic explanations of predictions; and 4) can guarantee the satisfaction of logical constraints at test time, which is vital in safety-critical applications. Our experiments show that A-NeSI is the first end-to-end method to scale the Multi-digit MNISTAdd benchmark to sums of 15 MNIST digits, up from 4 in competing systems. Finally, our experiments show that A-NeSI achieves explainability and safety without a penalty in performance.
translated by 谷歌翻译