生成对抗性网络（甘斯）已经成为对解决图像生成的问题，最常用的网络。自我监督甘斯将在后面提出，以避免鉴相器的灾难性的遗忘，提高图像质量产生不需要的类标签。然而，在不同的GAN架构自检任务概不前研究。为此，我们深入地分析以前提出的自我监督任务的贡献，概背景下DeshuffleGANs的混洗。我们分配混洗的任务，以两种不同的GAN鉴别和研究了这两种体系结构的任务的影响。我们比较各种数据集先前提出的DeshuffleGANs延长评估。我们表明，DeshuffleGAN获得最佳FID结果几个数据集相对于其他自主监督甘斯。此外，我们比较的是首先部署到GAN培训和证明其贡献超过了预测旋转的旋转预测混洗。我们设计的名为cDeshuffleGAN评估了解到表示质量的条件DeshuffleGAN。最后，我们表现出的自我监管任务的损失景观和目前认为这些任务的影响可能不会合作，以在某些环境对抗训练GAN培训的贡献。我们的代码可以在https://github.com/gulcinbaykal/DeshuffleGAN找到。
translated by 谷歌翻译
深层神经网络如今成功地拟合了非常复杂的功能，但是对于推理而言，密集的模型开始非常昂贵。为了减轻这种情况，一个有希望的方向是激活网络稀疏子图的网络。该子图是由数据依赖性路由函数选择的，将输入的固定映射到子网（例如，专家（MOE）在开关变压器中的混合物）。但是，先前的工作在很大程度上是经验的，尽管现有的路由功能在实践中效果很好，但它们并没有导致近似能力的理论保证。我们旨在为稀疏网络的力量提供理论解释。作为我们的第一个贡献，我们提出了一个与数据相关的稀疏网络的形式模型，该网络捕获了流行体系结构的显着方面。然后，我们基于局部性敏感哈希（LSH）引入一个路由函数，使我们能够对稀疏网络近似目标函数的方式进行推论。在用我们的模型代表基于LSH的稀疏网络之后，我们证明稀疏网络可以匹配Lipschitz函数上密集网络的近似能力。在输入向量上应用LSH意味着专家在输入空间的不同子区域中插值目标函数。为了支持我们的理论，我们根据Lipschitz的目标功能定义了各种数据集，并且我们表明，稀疏网络在活动数量数量和近似质量之间具有良好的权衡。
translated by 谷歌翻译