在过去的几年中，多模式变异自动编码器（VAE）一直是一项激烈研究的主题，因为它们可以将多种模态整合到联合表示中，因此可以作为数据分类和生成的有前途的工具。到目前为止，已经提出了几种多模式VAE学习的方法，但是它们的比较和评估相当不一致。原因之一是模型在实现级别上有所不同，另一个问题是，在这些情况下常用的数据集最初不是为评估多模式生成模型的设计。本文解决了这两个问题。首先，我们提出了一个用于系统多模式VAE训练和比较的工具包。其次，我们提出了一个合成的双峰数据集，旨在全面评估联合发电和交叉生成能力。我们通过比较最新模型来证明数据集的实用性。

Multimodal VAEs seek to model the joint distribution over heterogeneous data (e.g.\ vision, language), whilst also capturing a shared representation across such modalities. Prior work has typically combined information from the modalities by reconciling idiosyncratic representations directly in the recognition model through explicit products, mixtures, or other such factorisations. Here we introduce a novel alternative, the MEME, that avoids such explicit combinations by repurposing semi-supervised VAEs to combine information between modalities implicitly through mutual supervision. This formulation naturally allows learning from partially-observed data where some modalities can be entirely missing -- something that most existing approaches either cannot handle, or do so to a limited extent. We demonstrate that MEME outperforms baselines on standard metrics across both partial and complete observation schemes on the MNIST-SVHN (image-image) and CUB (image-text) datasets. We also contrast the quality of the representations learnt by mutual supervision against standard approaches and observe interesting trends in its ability to capture relatedness between data.

从多模式数据学习是机器学习中的一个重要研究主题，这有可能获得更好的表示。在这项工作中，我们提出了一种基于生成对冲网络的多模式数据建模的新方法。为了学习相干的多模式生成模型，我们表明有必要同时将不同的编码器分布与联合解码器分布对齐。为此，我们构建一种特定形式的鉴别器，以使我们的模型能够有效地利用数据，这可以受到影响。通过利用对比学习通过分解鉴别者，我们培训我们的模型在单向数据上。我们对基准数据集进行了实验，其有希望的结果表明，我们提出的方法越优于各种指标的最先进的方法。源代码将公开可用。

在感官替代领域的长期目标是通过可视化音频内容来实现对聋人的声音感知。与语音和文本或文本和图像之间的现有模型不同，我们针对即时和低级音频到视频翻译，适用于通用环境声音以及人类语音。由于这种替代是人为的，没有监督学习的标签，我们的核心贡献是通过高级约束来建立从音频到视频的映射。对于言语，我们通过将它们映射到共同的解除不诚格的潜在空间来释放型号（性别和方言）的内容（电话）。包括用户学习的定性和定量结果表明，我们的未配对翻译方法在生成的视频中保持了重要的音频功能，并且面孔和数字的视频非常适合可视化可以通过人类解析的高维音频特征和区分声音，单词和扬声器。

多模式学习是建立模型的框架，这些模型可以根据不同类型的方式进行预测。多模式学习中的重要挑战是通过这些表示从任意模式和跨模式产生的共同表示形式推断；但是，实现这一目标需要考虑多模式数据的异质性质。近年来，深层生成模型，即通过深层神经网络参数化的生成模型引起了很多关注，尤其是变异自动编码器，这些自动编码器适合于实现上述挑战，因为它们可以考虑异质性并推断出数据的良好表示。。因此，近年来已经提出了基于变异自动编码器的各种多模式生成模型，称为多模式深生成模型。在本文中，我们提供了对多模式深生成模型研究的分类调查。

Making sense of multiple modalities can yield a more comprehensive description of real-world phenomena. However, learning the co-representation of diverse modalities is still a long-standing endeavor in emerging machine learning applications and research. Previous generative approaches for multimodal input approximate a joint-modality posterior by uni-modality posteriors as product-of-experts (PoE) or mixture-of-experts (MoE). We argue that these approximations lead to a defective bound for the optimization process and loss of semantic connection among modalities. This paper presents a novel variational method on sets called the Set Multimodal VAE (SMVAE) for learning a multimodal latent space while handling the missing modality problem. By modeling the joint-modality posterior distribution directly, the proposed SMVAE learns to exchange information between multiple modalities and compensate for the drawbacks caused by factorization. In public datasets of various domains, the experimental results demonstrate that the proposed method is applicable to order-agnostic cross-modal generation while achieving outstanding performance compared to the state-of-the-art multimodal methods. The source code for our method is available online https://anonymous.4open.science/r/SMVAE-9B3C/.

最近出现了许多变异自动编码器（VAE），目的是建模多模式数据，例如，共同建模图像及其相应的标题。尽管如此，多模式的VAE倾向于仅通过在忽略标题的同时拟合图像来关注模式的子集。我们将此限制称为模态崩溃。在这项工作中，我们认为这种效果是多模式VAE训练中梯度冲突的结果。我们展示了如何检测梯度冲突（公正性块）的计算图中的子图形，以及如何利用从多任务学习到减轻模态崩溃的现有梯度冲突解决方案。也就是说，确保跨模式的公正优化。我们将培训框架应用于文献中的几种多模式VAE模型，损失和数据集，并从经验上表明，我们的框架显着改善了跨模态的潜在空间的重建性能，有条件的产生和连贯性。

提出了一种新的双峰生成模型，用于生成条件样品和关节样品，并采用学习简洁的瓶颈表示的训练方法。所提出的模型被称为变异Wyner模型，是基于网络信息理论中的两个经典问题（分布式仿真和信道综合）设计的，其中Wyner的共同信息是对公共表示简洁性的基本限制。该模型是通过最大程度地减少对称的kullback的训练 - 差异 - 变异分布和模型分布之间具有正则化项，用于常见信息，重建一致性和潜在空间匹配项，该术语是通过对逆密度比率估计技术进行的。通过与合成和现实世界数据集的联合和有条件生成的实验以及具有挑战性的零照片图像检索任务，证明了所提出的方法的实用性。

Testing Deep Learning (DL) based systems inherently requires large and representative test sets to evaluate whether DL systems generalise beyond their training datasets. Diverse Test Input Generators (TIGs) have been proposed to produce artificial inputs that expose issues of the DL systems by triggering misbehaviours. Unfortunately, such generated inputs may be invalid, i.e., not recognisable as part of the input domain, thus providing an unreliable quality assessment. Automated validators can ease the burden of manually checking the validity of inputs for human testers, although input validity is a concept difficult to formalise and, thus, automate. In this paper, we investigate to what extent TIGs can generate valid inputs, according to both automated and human validators. We conduct a large empirical study, involving 2 different automated validators, 220 human assessors, 5 different TIGs and 3 classification tasks. Our results show that 84% artificially generated inputs are valid, according to automated validators, but their expected label is not always preserved. Automated validators reach a good consensus with humans (78% accuracy), but still have limitations when dealing with feature-rich datasets.

利用深度学习的最新进展，文本到图像生成模型目前具有吸引公众关注的优点。其中两个模型Dall-E 2和Imagen已经证明，可以从图像的简单文本描述中生成高度逼真的图像。基于一种称为扩散模型的新型图像生成方法，文本对图像模型可以生产许多不同类型的高分辨率图像，其中人类想象力是唯一的极限。但是，这些模型需要大量的计算资源来训练，并处理从互联网收集的大量数据集。此外，代码库和模型均未发布。因此，它可以防止AI社区尝试这些尖端模型，从而使其结果复制变得复杂，即使不是不可能。在本文中，我们的目标是首先回顾这些模型使用的不同方法和技术，然后提出我们自己的文本模型模型实施。高度基于DALL-E 2，我们引入了一些轻微的修改，以应对所引起的高计算成本。因此，我们有机会进行实验，以了解这些模型的能力，尤其是在低资源制度中。特别是，我们提供了比Dall-e 2的作者（包括消融研究）更深入的分析。此外，扩散模型使用所谓的指导方法来帮助生成过程。我们引入了一种新的指导方法，该方法可以与其他指导方法一起使用，以提高图像质量。最后，我们的模型产生的图像质量相当好，而不必维持最先进的文本对图像模型的重大培训成本。

具有潜在变量的深生成模型已被最近用于从多模式数据中学习关节表示和生成过程。但是，这两种学习机制可能相互冲突，表示形式无法嵌入有关数据模式的信息。本研究研究了所有模式和类标签可用于模型培训的现实情况，但是缺少下游任务所需的一些方式和标签。在这种情况下，我们表明，变异下限限制了联合表示和缺失模式之间的相互信息。为了抵消这些问题，我们引入了一种新型的条件多模式判别模型，该模型使用信息性的先验分布并优化了无可能的无可能目标函数，该目标函数可在联合表示和缺失模态之间最大化相互信息。广泛的实验表明了我们提出的模型的好处，这是经验结果表明，我们的模型实现了最新的结果，从而导致了代表性问题，例如下游分类，声音反演和注释产生。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

A real-world application or setting involves interaction between different modalities (e.g., video, speech, text). In order to process the multimodal information automatically and use it for an end application, Multimodal Representation Learning (MRL) has emerged as an active area of research in recent times. MRL involves learning reliable and robust representations of information from heterogeneous sources and fusing them. However, in practice, the data acquired from different sources are typically noisy. In some extreme cases, a noise of large magnitude can completely alter the semantics of the data leading to inconsistencies in the parallel multimodal data. In this paper, we propose a novel method for multimodal representation learning in a noisy environment via the generalized product of experts technique. In the proposed method, we train a separate network for each modality to assess the credibility of information coming from that modality, and subsequently, the contribution from each modality is dynamically varied while estimating the joint distribution. We evaluate our method on two challenging benchmarks from two diverse domains: multimodal 3D hand-pose estimation and multimodal surgical video segmentation. We attain state-of-the-art performance on both benchmarks. Our extensive quantitative and qualitative evaluations show the advantages of our method compared to previous approaches.

从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络（GAN）或变异自动编码器（VAE）。甘斯具有产生更清晰的图像的能力，但缺乏输出的多样性，而VAE擅长生产各种输出，但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势，我们提出了一个新的有条件VAE（CVAE）和条件gan（CGAN）网络架构，用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块，以实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明，所提出的方法生成了以文本描述为条件的高分辨率图像，并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果

随着脑成像技术和机器学习工具的出现，很多努力都致力于构建计算模型来捕获人脑中的视觉信息的编码。最具挑战性的大脑解码任务之一是通过功能磁共振成像（FMRI）测量的脑活动的感知自然图像的精确重建。在这项工作中，我们调查了来自FMRI的自然图像重建的最新学习方法。我们在架构设计，基准数据集和评估指标方面检查这些方法，并在标准化评估指标上呈现公平的性能评估。最后，我们讨论了现有研究的优势和局限，并提出了潜在的未来方向。

使用文本，图像，音频，视频等多种方式的多模式深度学习系统，与单独的方式（即单向）系统相比，显示出更好的性能。多式联机学习涉及多个方面：表示，翻译，对齐，融合和共同学习。在当前多式联机学习状态下，假设是在训练和测试时间期间存在，对齐和无噪声。然而，在现实世界的任务中，通常，观察到一个或多个模式丢失，嘈杂，缺乏注释数据，具有不可靠的标签，并且在训练或测试中稀缺，或两者都稀缺。这种挑战是由称为多式联合学习的学习范例解决的。通过使用模态之间的知识传输，包括其表示和预测模型，通过从另一个（资源丰富的）方式利用来自另一（资源丰富的）模型的知识来帮助实现（资源差）模型的建模。共同学习是一个新兴地区，没有专注的评论，明确地关注共同学习所解决的所有挑战。为此，在这项工作中，我们对新兴的多式联合学习领域提供了全面的调查，尚未完整探讨。我们审查实施的实施，以克服一个或多个共同学习挑战，而不明确地将它们视为共同学习挑战。我们基于共同学习和相关实施解决的挑战，展示了多式联合学习的综合分类。用于包括最新的技术与一些应用程序和数据集一起审查。我们的最终目标是讨论挑战和观点以及未来工作的重要思想和方向，我们希望对整个研究界的有益，重点关注这一令人兴奋的领域。

高维数据的歧管假设假设数据是通过改变从低维潜在空间获得的一组参数而生成的。深层生成模型（DGM）被广泛用于以无监督的方式学习数据表示。 DGM使用瓶颈体系结构（例如变异自动编码器（VAE））参数化数据空间中的基础低维歧管。 VAE的瓶颈尺寸被视为取决于数据集的超参数，并在广泛调整后在设计时间固定。由于大多数实际数据集的内在维度尚不清楚，因此固有维度与选择为超参数的潜在维度之间存在不匹配。这种不匹配可能会对表示形式学习和样本生成任务的模型性能产生负面影响。本文提出了相关性编码网络（RENS）：一种新型的基于VAE的概率VAE框架，该框架在潜在空间中使用自动相关性确定（ARD）来学习数据特定的瓶颈维度。每个潜在维度的相关性是直接从数据以及使用随机梯度下降的其他模型参数以及适合非高斯先验的重新聚集技巧的其他模型参数中学到的。我们利用深处的概念来捕获数据和潜在空间中的置换统计属性，以确定相关性。所提出的框架是一般且灵活的，可用于最先进的VAE模型，该模型利用正规化器在潜在空间中施加特定特征（例如，脱离）。通过对合成和公共图像数据集进行了广泛的实验，我们表明，所提出的模型了解了相关的潜在瓶颈维度，而不会损害样品的表示和发电质量。

我们解决了从文本描述中产生不同3D人类动作的问题。这项具有挑战性的任务需要两种方式的联合建模：从文本中理解和提取有用的人类以人为中心的信息，然后产生人类姿势的合理和现实序列。与大多数以前的工作相反，该作品着重于从文本描述中产生单一的，确定性的动作，我们设计了一种可以产生多种人类动作的变异方法。我们提出了Temos，这是一种具有人体运动数据的变异自动编码器（VAE）训练的文本生成模型，并结合了与VAE潜在空间兼容的文本编码器结合使用的文本编码器。我们显示Temos框架可以像先前的工作一样产生基于骨架的动画，以及更具表现力的SMPL身体运动。我们在套件运动语言基准上评估了我们的方法，尽管相对简单，但对艺术的状态表现出显着改善。代码和模型可在我们的网页上找到。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。