Stylegan的成功使得在合成和真实图像上启用了前所未有的语义编辑能力。然而，这种编辑操作要么是使用人类指导的语义监督或描述的培训。在另一个开发中，剪辑架构已被互联网级图像和文本配对培训，并且已被示出在几个零拍摄学习设置中有用。在这项工作中，我们调查了如何有效地链接样式登录和剪辑的预训练潜空间，这反过来允许我们从Stylegan，查找和命名有意义的编辑操作自动提取语义标记的编辑方向，而无需任何额外的人类指导。从技术上讲，我们提出了两块新颖的建筑块;一个用于查找有趣的夹子方向，一个用于在CLIP潜在空间中标记任意方向。安装程序不假设任何预定的标签，因此我们不需要任何其他监督文本/属性来构建编辑框架。我们评估所提出的方法的有效性，并证明了解标记标记的样式编辑方向的提取确实可能，并揭示了有趣和非琐碎的编辑方向。

我们为一个拍摄域适应提供了一种新方法。我们方法的输入是训练的GaN，其可以在域B中产生域A和单个参考图像I_B的图像。所提出的算法可以将训练的GaN的任何输出从域A转换为域B.我们的主要优点有两个主要优点方法与当前现有技术相比：首先，我们的解决方案实现了更高的视觉质量，例如通过明显减少过度装箱。其次，我们的解决方案允许更多地控制域间隙的自由度，即图像I_B的哪些方面用于定义域B.从技术上讲，我们通过在预先训练的样式生成器上建立新方法作为GaN和A用于代表域间隙的预先训练的夹模型。我们提出了几种新的常规程序来控制域间隙，以优化预先训练的样式生成器的权重，以输出域B中的图像而不是域A.常规方法防止优化来自单个参考图像的太多属性。我们的结果表明，对现有技术的显着视觉改进以及突出了改进控制的多个应用程序。

We propose semantic region-adaptive normalization (SEAN), a simple but effective building block for Generative Adversarial Networks conditioned on segmentation masks that describe the semantic regions in the desired output image. Using SEAN normalization, we can build a network architecture that can control the style of each semantic region individually, e.g., we can specify one style reference image per region. SEAN is better suited to encode, transfer, and synthesize style than the best previous method in terms of reconstruction quality, variability, and visual quality. We evaluate SEAN on multiple datasets and report better quan-titative metrics (e.g. FID, PSNR) than the current state of the art. SEAN also pushes the frontier of interactive image editing. We can interactively edit images by changing segmentation masks or the style for any given region. We can also interpolate styles from two reference images per region. Code: https://github.com/ZPdesu/SEAN .

Virtual reality and augmented reality (XR) bring increasing demand for 3D content. However, creating high-quality 3D content requires tedious work that a human expert must do. In this work, we study the challenging task of lifting a single image to a 3D object and, for the first time, demonstrate the ability to generate a plausible 3D object with 360{\deg} views that correspond well with the given reference image. By conditioning on the reference image, our model can fulfill the everlasting curiosity for synthesizing novel views of objects from images. Our technique sheds light on a promising direction of easing the workflows for 3D artists and XR designers. We propose a novel framework, dubbed NeuralLift-360, that utilizes a depth-aware neural radiance representation (NeRF) and learns to craft the scene guided by denoising diffusion models. By introducing a ranking loss, our NeuralLift-360 can be guided with rough depth estimation in the wild. We also adopt a CLIP-guided sampling strategy for the diffusion prior to provide coherent guidance. Extensive experiments demonstrate that our NeuralLift-360 significantly outperforms existing state-of-the-art baselines. Project page: https://vita-group.github.io/NeuralLift-360/

Implicit Neural Representations (INRs) encoding continuous multi-media data via multi-layer perceptrons has shown undebatable promise in various computer vision tasks. Despite many successful applications, editing and processing an INR remains intractable as signals are represented by latent parameters of a neural network. Existing works manipulate such continuous representations via processing on their discretized instance, which breaks down the compactness and continuous nature of INR. In this work, we present a pilot study on the question: how to directly modify an INR without explicit decoding? We answer this question by proposing an implicit neural signal processing network, dubbed INSP-Net, via differential operators on INR. Our key insight is that spatial gradients of neural networks can be computed analytically and are invariant to translation, while mathematically we show that any continuous convolution filter can be uniformly approximated by a linear combination of high-order differential operators. With these two knobs, INSP-Net instantiates the signal processing operator as a weighted composition of computational graphs corresponding to the high-order derivatives of INRs, where the weighting parameters can be data-driven learned. Based on our proposed INSP-Net, we further build the first Convolutional Neural Network (CNN) that implicitly runs on INRs, named INSP-ConvNet. Our experiments validate the expressiveness of INSP-Net and INSP-ConvNet in fitting low-level image and geometry processing kernels (e.g. blurring, deblurring, denoising, inpainting, and smoothening) as well as for high-level tasks on implicit fields such as image classification.

神经体积表示表明，MLP网络可以通过多视图校准图像来训练MLP网络，以表示场景的几何形状和外观，而无需显式3D监督。对象分割可以根据学习的辐射字段丰富许多下游应用程序。但是，引入手工制作的细分以在复杂的现实世界中定义感兴趣的区域是非平凡且昂贵的，因为它获得了每个视图注释。本文使用NERF进行复杂的现实世界场景来探索对物体分割的自我监督学习。我们的框架，nerf-sos，夫妻对象分割和神经辐射字段，以在场景中的任何视图中分割对象。通过提出一种新颖的合作对比度损失，在外观和几何水平上，NERF-SOS鼓励NERF模型将紧凑的几何学分割簇从其密度字段中提炼出紧凑的几何学分割簇以及自我监督的预训练的预训练的2D视觉特征。可以将自我监督的对象分割框架应用于各种NERF模型，这些模型既可以导致室内和室外场景的照片真实的渲染结果和令人信服的分割。 LLFF，坦克和寺庙数据集的广泛结果验证了NERF-SOS的有效性。它始终超过其他基于图像的自我监督基线，甚至比监督的语义nerf捕捉细节。

我们提出了可推广的NERF变压器（GNT），这是一种纯粹的，统一的基于变压器的体系结构，可以从源视图中有效地重建神经辐射场（NERF）。与NERF上的先前作品不同，通过颠倒手工渲染方程来优化人均隐式表示，GNT通过封装两个基于变压器的阶段来实现可概括的神经场景表示和渲染。 GNT的第一阶段，称为View Transformer，利用多视图几何形状作为基于注意力的场景表示的电感偏差，并通过在相邻视图上从异性线中汇总信息来预测与坐标对齐的特征。 GNT的第二阶段，名为Ray Transformer，通过Ray Marching呈现新视图，并使用注意机制直接解码采样点特征的序列。我们的实验表明，当在单个场景上进行优化时，GNT可以在不明确渲染公式的情况下成功重建NERF，甚至由于可学习的射线渲染器，在复杂的场景上甚至将PSNR提高了〜1.3db。当在各种场景中接受培训时，GNT转移到前面的LLFF数据集（LPIPS〜20％，SSIM〜25％$）和合成搅拌器数据集（LPIPS〜20％，SSIM 〜25％$）时，GNN会始终达到最先进的性能4％）。此外，我们表明可以从学习的注意图中推断出深度和遮挡，这意味着纯粹的注意机制能够学习一个物理地面渲染过程。所有这些结果使我们更接近将变形金刚作为“通用建模工具”甚至用于图形的诱人希望。请参阅我们的项目页面以获取视频结果：https：//vita-group.github.io/gnt/。

使用神经网络编码HyperGraphs的HyperGraph神经网络（HNNS）为建模数据中的高阶关系提供了一种有希望的方法，并进一步解决了基于此类高阶关系的相关预测任务。但是，实践中的高阶关系包含复杂的模式，通常是高度不规则的。因此，设计一个足以表达这些关系的HNN在保持计算效率的同时，通常是一项挑战。受到超图扩散算法的启发，这项工作提出了一种名为ED-HNN的新型HNN体系结构，该结构可证明可以代表任何可以建模广泛的高阶关系的连续均值超差扩散算子。 ED-HNN可以通过将超图的星形扩展与传递神经网络的标准消息相结合来有效地实现。 ED-HNN进一步在处理异性超图和建造深层模型方面表现出了极大的优势。我们评估了在9个现实世界中的HyperGraph数据集上进行节点分类的ED-HNN。 ED-HNN均匀地胜过这9个数据集的最佳基线，并在其中四个数据集中获得了超过2 \％$ \ uparrow $的预测准确性。

与基于离散网格的表示相比，通过基于坐标的深层完全连接网络表示视觉信号在拟合复杂的细节和求解逆问题方面有优势。但是，获得这种连续的隐式神经表示（INR）需要对信号测量值进行繁琐的人均培训，这限制了其实用性。在本文中，我们提出了一个通用的INR框架，该框架通过从数据收集中学习神经隐式词典（NID）来实现数据和培训效率，并将INR表示为词典的基础采样的功能组合。我们的NID组装了一组基于坐标的子网，这些子网已调整为跨越所需的函数空间。训练后，可以通过求解编码系数立即，稳健地获取看不见的场景表示形式。为了使大量网络优化，我们借用了从专家的混合物（MOE）借用这个想法，以设计和训练我们的网络，以稀疏的门控机制。我们的实验表明，NID可以将2D图像或3D场景的重建提高2个数量级，而输入数据少98％。我们进一步证明了NID在图像浇筑和遮挡清除中的各种应用，这被认为是香草INR的挑战。我们的代码可在https://github.com/vita-group/neural-implitic-dict中找到。