我们在本文中重新审视语义场景（SSC），是预测3D场景的语义和占用表示的有用任务。此任务的许多方法始终基于用于保存本地场景结构的体蛋白化场景表示。然而，由于存在可见空体素，当网络更深时，这些方法总是遭受重型计算冗余，从而限制完成质量。为了解决这种困境，我们提出了我们为此任务的新型点体素聚集网络。首先，我们通过去除这些可见的空体素来将Voxized场景传输到点云，并采用深点流，以有效地从场景中捕获语义信息。同时，仅包含两个3D卷积层的轻重体素流保留了体蛋白化场景的局部结构。此外，我们设计一个各向异性体素聚合运算符，将结构细节从体素流融合到点流中，并通过语义标签来增强点流中的上采样过程的语义感知传播模块。我们展示了我们的模型在两个基准上超越了最先进的余量，只有深度图像作为输入。
translated by 谷歌翻译
3D互动手重建对于促进人机互动和人类行为理解至关重要。以前的工作在此字段中依赖于辅助输入，例如深度图像，或者如果使用单目的RGB图像，则只能处理单手。当应用于紧密互动时，单手方法倾向于产生碰撞手网格，因为它们无法明确地模拟两只手之间的相互作用。在本文中，我们首次尝试重建从单眼单rgb图像的三维交互手。我们的方法可以通过精确的3D姿势和最小冲突生成3D手网格。这是通过两级框架实现的。具体地，第一阶段采用卷积神经网络来产生容忍碰撞但鼓励姿势准确的手网格的粗略预测。第二阶段通过一系列分解改进逐渐改善碰撞，同时保留3D姿势的精确性。考虑到效率和准确性之间的权衡，我们仔细研究了分解改进的潜在实现。大规模数据集的广泛定量和定性结果，例如Interwand2.6m，证明了所提出的方法的有效性。
translated by 谷歌翻译
我们介绍了CVSS，这是一种大规模的多语言对语音转换（S2ST）语料库，从21种语言覆盖了21种语言的句子级并行S2ST对。通过将Covost 2从Covost 2的翻译文本综合将翻译文本与最先进的TTS系统合成语音，源自公共语音语音语料库和COVOST 2语音到文本转换（ST）语料库。提供了两个版本的翻译演讲：1）CVSS-C：所有翻译演讲都是一种高质量的规范声音; 2）CVSS-T：翻译语音从相应的源语音传输。此外，CVSS提供标准化的翻译文本，它与翻译语音中的发音匹配。在每个版本的CVSS上，我们建立了基线多语言直接S2ST模型和Cascade S2ST模型，验证了语料库的有效性。为了构建强大的Cascade S2ST基准，我们在Covost 2上培训了St模型，这优于前一种最先进的培训，而无需额外的数据。尽管如此，直接S2ST模型的性能在从头开始训练时接近强级联基线，并且在匹配ST模型中初始化时，仅在ASR转换转换时的0.1或0.7bleu差异。
translated by 谷歌翻译
最优传输（OT）正式确定在给定成本矩阵的概率测量之间找到最佳耦合的问题。推断给出耦合的成本的逆问题是逆最佳传输（物联网）。IOT不太明朗地理解OT。我们使用熵正规的OT研究的工具来正式化和系统地分析物联网的属性。理论贡献包括横向比等同成本的歧管的表征，模型前沿的含义，以及MCMC采样器的推导。经验贡献包括对基本实施例和仿真验证理论结果的基本实施例的串联等效效果的可视化。
translated by 谷歌翻译
自我监督的学习是一种从自然数据中学习有用表示的强大方法。还建议作为在人类中建立视觉表现的一种可能手段，但具体的目标和算法是未知的。目前，大多数自我监督的方法都鼓励系统学习与其他图像相反的相同图像的不同变换的不变表示。然而，这种变换通常是非生物学上的，并且通常由具有随机裁剪和颜色抖动之类的具有相识的感知方案组成。在本文中，我们试图反向工程师这些增强术语更加生物学或感知可符号，同时仍然赋予鼓励鲁棒代表的相同益处。批判性地，我们发现随机裁剪可以被皮质倍率代替，并且图像的扫视样品也可以帮助表示学习。这些转变的可行性表明，生物视觉系统可以实施自我监督的潜在方式。此外，它们打破了许多计算机视觉算法中使用的广泛接受的空间均匀的处理假设，这表明在人类和机器中的空间自适应计算的作用。我们可以在此处找到我们的代码和演示。
translated by 谷歌翻译
自我监督的学习表明它有可能在没有人为注释的情况下提取强大的视觉表现。提出各种作品从不同的角度处理自我监督的学习：（1）对比学习方法（例如，MOCO，SIMCLR）利用阳性和阴性样品来引导训练方向; （2）不对称网络方法（例如，BYOL，SIMSIAM）通过引入预测器网络和止动梯度操作来摆脱阴性样本; （3）特征去相关方法（例如，Barlow Twins，ViCREG），而是旨在降低特征尺寸之间的冗余。这些方法在各种动机的设计损失功能中看起来非常不同。最终的准确度数也各不相同，其中不同的网络和技巧在不同的作品中使用。在这项工作中，我们证明这些方法可以统一成相同的形式。我们不是比较他们的损失函数，我们通过梯度分析推出统一的公式。此外，我们进行公平和详细的实验以比较他们的表现。事实证明，这些方法之间几乎没有差距，并且使用动量编码器是提高性能的关键因素。从这个统一的框架来看，我们提出了一个简单但有效的自我监督学习的简单但有效的渐变形式。它不需要内存银行或预测的网络，但仍然可以实现最先进的性能，并轻松采用其他培训策略。广泛的线性评估实验和许多下游任务也表现出其有效性。代码应释放。
translated by 谷歌翻译
最近，基于变压器的图像分割方法对先前的解决方案取得了显着的成功。虽然对于视频域，如何有效地模拟时间上下文，以跨越帧的对象实例的注意仍然是一个打开问题。在本文中，我们提出了一种具有新颖的实例感知时间融合方法的在线视频实例分段框架。我们首先利用表示，即全局上下文（实例代码）和CNN特征映射中的潜在代码来表示实例和像素级别功能。基于此表示，我们介绍了一种无裁剪的时间融合方法来模拟视频帧之间的时间一致性。具体地，我们在实例代码中编码全局实例特定信息，并在实例代码和CNN特征映射之间构建与混合关注的帧间上下文融合。使用订单约束进一步强制执行实例代码之间的帧间一致性。通过利用学习的混合时间一致性，我们能够直接检索和维护帧中的实例标识，从而消除了先前方法中的复杂帧实例匹配。已经在流行的VIS数据集中进行了广泛的实验，即YouTube-Vis-19/21。我们的模式实现了所有在线VIS方法中的最佳性能。值得注意的是，我们的模型也在使用Reset-50骨干时eClipses所有脱机方法。
translated by 谷歌翻译
在本文中，我们提出了一种确定性变分推理方法，通过最小化内核差异来产生低差异点，也称为最大均值差异或MMD。基于Wang Et的一般能量变分推理框架。 al。 （2021），最小化内核差异被转换为通过显式欧拉方案求解动态颂音系统。我们将结果算法EVI-MMD命名，并通过其中统一化常数的常规规定常量规定的实例，并以培训数据的形式明确地已知的示例。与分布近似，数值集成和生成式学习中的应用中的替代方法相比，其性能令人满意。 EVI-MMD算法克服了现有MMD-DESCLITHMS的瓶颈，主要适用于两个样本问题。可以在EVI框架下开发具有更复杂结构和潜在优势的算法。
translated by 谷歌翻译
过度分化的深网络的泛化神秘具有有动力的努力，了解梯度下降（GD）如何收敛到概括井的低损耗解决方案。现实生活中的神经网络从小随机值初始化，并以分类的“懒惰”或“懒惰”或“NTK”的训练训练，分析更成功，以及最近的结果序列（Lyu和Li ，2020年; Chizat和Bach，2020; Ji和Telgarsky，2020）提供了理论证据，即GD可以收敛到“Max-ramin”解决方案，其零损失可能呈现良好。但是，仅在某些环境中证明了余量的全球最优性，其中神经网络无限或呈指数级宽。目前的纸张能够为具有梯度流动训练的两层泄漏的Relu网，无论宽度如何，都能为具有梯度流动的双层泄漏的Relu网建立这种全局最优性。分析还为最近的经验研究结果（Kalimeris等，2019）给出了一些理论上的理由，就GD的所谓简单的偏见为线性或其他“简单”的解决方案，特别是在训练中。在悲观方面，该论文表明这种结果是脆弱的。简单的数据操作可以使梯度流量会聚到具有次优裕度的线性分类器。
translated by 谷歌翻译
具有编码器解码器架构的全卷积网络（FCN）是语义分段的标准范例。编码器 - 解码器架构利用编码器来捕获多级特征映射，其被解码器结合到最终预测中。随着上下文对于精确分割至关重要，已经提出了以智能方式提取此类信息的巨大努力，包括采用扩张/不受欢迎的卷曲或插入注意模块。但是，这些努力都基于与Reset或其他底座的FCN架构，它不能完全利用理论概念的上下文。相比之下，我们提出了Swin变压器作为骨干，以提取上下文信息并设计密集连接的特征聚合模块（DCFAM）的新型解码器，以恢复分辨率并产生分割图。两个遥感语义分割数据集的实验结果证明了提出方案的有效性。
translated by 谷歌翻译