机器学习模型通常培训端到端和监督设置,使用配对(输入,输出)数据。示例包括最近的超分辨率方法,用于在(低分辨率,高分辨率)图像上培训。然而,这些端到端的方法每当输入中存在分布偏移时需要重新训练(例如,夜间图像VS日光)或相关的潜在变量(例如,相机模糊或手动运动)。在这项工作中,我们利用最先进的(SOTA)生成模型(这里是Stylegan2)来构建强大的图像前提,这使得贝叶斯定理应用于许多下游重建任务。我们的方法是通过生成模型(BRGM)的贝叶斯重建,使用单个预先训练的发生器模型来解决不同的图像恢复任务,即超级分辨率和绘画,通过与不同的前向腐败模型相结合。我们将发电机模型的重量保持固定,并通过估计产生重建图像的输入潜在的跳过载体来重建图像来估计图像。我们进一步使用变分推理来近似潜伏向量的后部分布,我们对多种解决方案进行采样。我们在三个大型和多样化的数据集中展示了BRGM:(i)来自Flick的60,000个图像面向高质量的数据集(II)来自MIMIC III的高质量数据集(II)240,000胸X射线,(III)的组合收集5脑MRI数据集,具有7,329个扫描。在所有三个数据集和没有任何DataSet特定的HyperParameter调整,我们的简单方法会在超级分辨率和绘画上对当前的特定任务最先进的方法产生性能竞争力,同时更加稳定,而不需要任何培训。我们的源代码和预先训练的型号可在线获取:https://razvanmarinescu.github.io/brgm/。
translated by 谷歌翻译