我们研究基于3D-VR-Sketch的细粒度3D形状检索的实际任务。此任务特别令人感兴趣，因为2D草图被证明是2D图像的有效查询。但是，由于域间隙，很难从2D草图中以3D形状的检索获得强劲的性能。最近的工作证明了3D VR素描在此任务上的优势。在我们的工作中，我们专注于3D VR草图中固有的不准确性造成的挑战。我们观察到，带有固定边缘值的三胞胎损失获得的检索结果，通常用于检索任务，包含许多无关的形状，通常只有一个或几个或几个具有与查询相似的结构。为了减轻此问题，我们首次在自适应边距值和形状相似性之间建立联系。特别是，我们建议使用由“拟合差距”驱动的自适应边距值的三重损失，这是在结构保护变形下的两个形状的相似性。我们还进行了一项用户研究，该研究确认这种拟合差距确实是评估形状结构相似性的合适标准。此外，我们介绍了202个VR草图的数据集，用于从内存而不是观察到的202个3D形状。代码和数据可在https://github.com/rowl1ng/structure-aware-aware-vr-sketch-shape-retrieval中找到。
translated by 谷歌翻译
我们介绍了1,497个3D VR草图和具有较大形状多样性的椅子类别的3D形状对的第一个细粒数据集。我们的数据集支持草图社区的最新趋势，以细粒度的数据分析，并将其扩展到主动开发的3D域。我们争辩说最方便的草图场景，其中草图由稀疏的线条组成，并且不需要任何草图技能，事先培训或耗时的准确绘图。然后，我们首次将细粒度3D VR草图的场景研究为3D形状检索，作为一种新颖的VR素描应用程序和一个探索基础，以推动通用见解以告知未来的研究。通过实验在这个新问题上精心选择的设计因素组合，我们得出重要的结论以帮助跟进工作。我们希望我们的数据集能够启用其他新颖的应用程序，尤其是那些需要细粒角的应用程序，例如细粒度的3D形状重建。该数据集可在tinyurl.com/vrsketch3dv21上获得。
translated by 谷歌翻译
生长免费的在线3D形状集合决定了3D检索的研究。然而，已经进行了积极的辩论（i）最佳输入方式是触发检索，以及（ii）这种检索的最终用法场景。在本文中，我们为回答这些问题提供了不同的观点 - 我们研究了3D草图作为输入方式，并提倡进行检索的VR-Scenario。因此，最终的愿景是用户可以通过在VR环境中自由空气供电来自由地检索3D模型。作为新的3D VR-Sketch的首次刺入3D形状检索问题，我们做出了四个贡献。首先，我们对VR实用程序进行编码以收集3D VR-Sketches并进行检索。其次，我们从ModelNet收集了两个形状类别的第一套$ 167 $ 3D VR-SKETCHES。第三，我们提出了一种新的方法，以生成不同抽象级别类似人类的3D草图的合成数据集，以训练深层网络。最后，我们比较了常见的多视图和体积方法：我们表明，与3D形状到3D形状检索相比，基于体积点的方法在3D草图上表现出卓越的性能，并且由于稀疏和抽象的性质而显示出3D形状的检索3D VR-Sketches。我们认为，这些贡献将集体成为未来在此问题的尝试的推动者。 VR接口，代码和数据集可在https://tinyurl.com/3dsketch3dv上找到。
translated by 谷歌翻译
基于草图的3D形状检索（SBSR）是一项重要但艰巨的任务，近年来引起了越来越多的关注。现有方法在限制设置中解决了该问题，而无需适当模拟真实的应用程序方案。为了模仿现实的设置，在此曲目中，我们采用了不同级别的绘图技能的业余爱好者以及各种3D形状的大规模草图，不仅包括CAD型号，而且还可以从真实对象扫描的模型。我们定义了两个SBSR任务，并构建了两个基准，包括46,000多个CAD型号，1,700个现实型号和145,000个草图。四个团队参加了这一轨道，并为这两个任务提交了15次跑步，由7个常用指标评估。我们希望，基准，比较结果和开源评估法会在3D对象检索社区中促进未来的研究。
translated by 谷歌翻译
我们为从大规模数据库中清洁CAD模型的细粒度检索提供了一种新解决方案，以恢复RGBD扫描的详细对象形状几何形状。与以前的工作不同，只需使用对象形状描述符并接受顶部检索结果，将其索引到中等小的数据库中，我们认为在大规模数据库的情况下，可以在描述符的邻域中找到更准确的模型。更重要的是，我们建议，可以通过基于几何形状的重新排列其在实例级别上的形状描述符的独特性缺陷。我们的方法首先利用了学习表示的判别能力来区分不同类别的模型，然后使用一种新颖的稳健点设置距离度量度量来重新置于CAD邻域，从而在大型数据库中实现了细粒度的检索。对现实世界数据集的评估表明，我们基于几何的重新排列是一种概念上简单但高效的方法，与最先进的方法相比，检索准确性可以显着提高。
translated by 谷歌翻译
我们介绍了第一个单次个性化素描细分方法。我们的目标是分割属于与单个草图的相同类别的所有草图，其中包含给定部分注释，而（i）保留在示例中嵌入的零件语义，并且（ii）稳健地输入样式和抽象。我们将此方案称为个性化。因此，我们重要地为下游细粒度素描分析任务提供了绝望的个性化能力。要培训强大的分割模块，我们将示例草图对同一类别的每个可用草图进行了变形。我们的方法推广到培训期间未观察到的草图。我们的中央贡献是特定于草图的层级变形网络。给定通过图形卷积网络获得的多级草图笔划编码，我们的方法估计从对上层的参考的刚体变换。通过冲程明智的变形进一步通过较低水平进一步获得从示例到全球翘曲的参考素描的更精细的变形。两个变形水平都是通过在没有监督的情况下学习的关键点之间的平均平方距离引导，确保中风语义被保留。我们评估我们对最先进的分割和感知分组基线的方法，为单次设置和两次射击3D形状分割方法重新设计。我们表明，我们的方法平均超过10％的所有替代品。消融研究进一步证明我们的方法对个性化是强大的：输入部分语义和风格差异的变化。
translated by 谷歌翻译
人类在需要快速传达对象信息的游戏中显示出高级的抽象功能。他们将消息内容分解为多个部分，并以可解释的协议将它们传达。为了为机器提供这种功能，我们提出了基于原始的草图抽象任务，其目标是在预算影响下使用一组固定的绘图原始图表示草图。为了解决这项任务，我们的原始匹配网络（PMN）以自我监督的方式学习了草图的可解释抽象。具体而言，PMN将草图的每个笔划都映射到给定集中最相似的原始性，预测了仿射转换将所选原始词与目标冲程对齐的仿射转换。我们学习了端到端的这一笔触至关重要的映射，当原始草图精确地用预测的原语重建时，距离转换损失是最小的。我们的PMN抽象在经验上取得了素描识别和基于草图的图像检索的最高性能，同时也是高度可解释的。这为草图分析打开了新的可能性，例如通过提取定义对象类别的最相关的原始图来比较草图。代码可在https://github.com/explainableml/sketch-primitives上找到。
translated by 谷歌翻译
已经提出了多个草图数据集，以了解人们如何绘制3D对象。但是，这样的数据集通常是小规模的，并且覆盖了一小部分对象或类别。此外，这些数据集包含大多来自专家用户的徒手草图，因此很难比较专家和新手用户的图纸，而这种比较对于告知对任何一个用户组的基于草图的界面更为有效的接口至关重要。这些观察结果激发了我们分析具有和没有足够绘图技能的人的不同程度的素描3D对象。我们邀请了70个新手用户和38位专家用户素描136 3D对象，这些对象是从多个视图中呈现的362张图像。这导致了3,620个徒手多视图草图的新数据集，在某些视图下，它们在其相应的3D对象上注册。我们的数据集比现有数据集大的数量级。我们在三个级别（即在空间和时间特征下以及跨越创建者组的内部和范围内）分析了三个级别的收集数据。我们发现，专业人士和新手的图纸在本质和外在的中风级别上显示出显着差异。我们在两个应用程序中演示了数据集的有用性：（i）徒手式的草图合成，（ii）将其作为基于草图的3D重建的潜在基准。我们的数据集和代码可在https://chufengxiao.github.io/differsketching/上获得。
translated by 谷歌翻译
Figure 1: We provide evidence that state-of-the-art single-view 3D reconstruction methods (AtlasNet (light green, 0.38 IoU) [12], OGN (green, 0.46 IoU) [46], Matryoshka Networks (dark green, 0.47 IoU) [37]) do not actually perform reconstruction but image classification. We explicitly design pure recognition baselines (Clustering (light blue, 0.46 IoU) and Retrieval (dark blue, 0.57 IoU)) and show that they produce similar or better results both qualitatively and quantitatively. For reference, we show the ground truth (white) and a nearest neighbor from the training set (red, 0.76 IoU). The inset shows the input image.
translated by 谷歌翻译
基于细粒的草图的图像检索（FG-SBIR）旨在找到来自给定查询草图的大型画廊的特定图像。尽管FG-SBIR在许多关键域中进行了广泛适用性（例如，犯罪活动跟踪），但现有的方法仍然遭受低精度，同时对外部噪声敏感，例如草图中不必要的笔画。在更实际的在飞行环境下，检索性能将进一步恶化，其中仅具有少数（噪声）笔划的部分完整的草图可用于检索相应的图像。我们提出了一种新颖的框架，利用了一个独特设计的深度加强学习模型，该模型执行双层探索，以处理部分素描训练和注意区域选择。通过对模型的注意力对原始草图的重要地区实施，对不必要的行程噪声仍然坚固，并通过大边距提高检索准确性。为了充分探索部分草图并找到要参加的重要区域，该模型在调整控制本地探索的定位器网络的标准偏差项时，该模型对全局探索进行引导策略梯度。培训过程是由混合损失引导的，融合了强化损失和监督损失。开发了一种动态排名奖励，以使用部分草图来适应随机图像检索过程。在三个公共数据集上执行的广泛实验表明，我们的建议方法在部分草图基于图像检索上实现了最先进的性能。
translated by 谷歌翻译
我们使用徒手场景草图FS-Coco的第一个数据集将草图研究推向了场景。考虑到实用的应用，我们收集的草图很好地传达了场景内容，但可以在几分钟之内由具有素描技巧的人勾勒出来。我们的数据集包含10,000个徒手场景向量素描，每点时空信息由100个非专家个人提供，提供对象和场景级抽象。每个草图都用文本描述增强。使用我们的数据集，我们首次研究了徒手场景草图和草图标题的细粒度图像检索问题。我们了解以下内容：（i）使用笔触的时间顺序在草图中编码的场景显着性； （ii）从场景草图和图像标题中进行图像检索的性能比较； （iii）素描和图像标题中信息的互补性，以及结合两种方式的潜在优势。此外，我们扩展了一个流行的矢量草图基于LSTM的编码器，以处理比以前的工作所支持的更复杂性的草图。也就是说，我们提出了一个层次草图解码器，我们将其在特定于草图的“预文本”任务中利用。我们的数据集可以首次研究徒手场景素描理解及其实际应用。
translated by 谷歌翻译
我们解决了用草图和文本查询检索图像的问题。我们提出任务形成器（文本和草图变压器），这是一种可使用文本说明和草图作为输入的端到端训练模型。我们认为，两种输入方式都以一种单独的方式无法轻易实现的方式相互补充。任务形成器遵循延迟融合双编码方法，类似于剪辑，该方法允许有效且可扩展的检索，因为检索集可以独立于查询而独立于索引。我们从经验上证明，与传统的基于文本的图像检索相比，除文本外，使用输入草图（甚至是绘制的草图）大大增加了检索召回。为了评估我们的方法，我们在可可数据集的测试集中收集了5,000个手绘草图。收集的草图可获得https://janesjanes.github.io/tsbir/。
translated by 谷歌翻译
本文介绍了一种数据驱动的形状完成方法，该方法着重于完成3D形状缺失区域的几何细节。我们观察到，现有的生成方法缺乏训练数据和表示能力，可以通过复杂的几何形状和拓扑合成合理的，细粒度的细节。我们的关键见解是从部分输入复制和变形补丁以完成缺失区域。这使我们能够保留本地几何特征的风格，即使它与培训数据有很大不同。我们的全自动方法分为两个阶段。首先，我们学会从输入形状检索候选补丁。其次，我们选择并变形了一些检索到的候选者，以无缝将它们融合到完整的形状中。该方法结合了两种最常见的完成方法的优点：基于相似性的单稳定性完成，以及通过学习形状空间来完成。我们通过从部分输入中检索贴片来利用重复模式，并通过使用神经网络来指导检索和变形步骤来学习全球结构先验。实验结果表明，我们的方法在多个数据集和形状类别上的表现非常优于基线。代码和数据可在https://github.com/gitbosun/patchrd上找到。
translated by 谷歌翻译
我们提出了COGS，这是一种新颖的方法，用于图像的样式条件，素描驱动的合成。 COGS可以为给定的草图对象探索各种外观可能性，从而对输出的结构和外观进行了脱钩的控制。通过输入草图和基于变压器的草图和样式编码器的示例“样式”调理图像启用了对物体结构和外观的粗粒粒度控制，以生成离散的代码簿表示。我们将代码簿表示形式映射到度量空间中，从而在通过量化量化的GAN（VQGAN）解码器生成图像之前，可以对多个合成选项之间的选择和插值进行细粒度的控制和插值。我们的框架因此统一了搜索和综合任务，因为草图和样式对可以用于运行初始合成，该合成可以通过结合结合在搜索语料库中结合使用，以使图像更加与用户的意图更匹配。我们表明，我们的模型对新创建的Pseudosketches数据集的125个对象类培训，能够生产出多种语义内容和外观样式的范围。
translated by 谷歌翻译
素描是一种常用于创新过程的自然和有效的视觉通信介质。深度学习模型的最新发展急剧改善了理解和生成视觉内容的机器能力。令人兴奋的发展领域探讨了用于模拟人类草图的深度学习方法，开设创造性应用的机会。本章介绍了开发深受学习驱动的创造性支持工具的三个基本步骤，这些步骤消耗和生成草图：1）在草图和移动用户界面之间生成新配对数据集的数据收集工作; 2）基于草图的用户界面检索系统，适用于最先进的计算机视觉技术; 3）一个对话的草图系统，支持基于自然语言的草图/批判创作过程的新颖互动。在本章中，我们在深度学习和人机互动社区中进行了对相关的事先工作，详细记录了数据收集过程和系统的架构，目前提供了定性和定量结果，并绘制了几个未来研究的景观在这个令人兴奋的地区的方向。
translated by 谷歌翻译
倒角距离（CD）和地球移动器的距离（EMD）是两个广泛采用的度量标准，用于测量两点集之间的相似性。然而，CD通常对不匹配的局部密度不敏感，EMD通常由全球分配主导，而忽略了详细结构的保真度。此外，他们的无限值范围从异常值引起沉重的影响。这些缺陷可防止它们提供一致的评估。为了解决这些问题，我们提出了一个名为密度感知倒角距离（DCD）的新的相似度量。它来自CD的源自来自若干所需性质的效果：1）它可以检测密度分布的差异，因此与CD相比更加强烈的相似性。 2）更严格，具有详细的结构，比EMD明显更加计算; 3）界限值范围促进整个测试集更稳定和合理的评估。我们采用DCD来评估点云完成任务，实验结果表明，DCD关注整体结构和本地几何细节，即使CD和EMD相互矛盾，也能提供更可靠的评估。我们还可以使用DCD作为培训损失，这胜过与所有三个指标上的CD损失培训的相同模型。此外，我们提出了一种新的点鉴别器模块，其估计另一个引导的下采样步骤的优先级，并且它在DCD下实现了明显的改进以及CD和EMD的竞争结果。我们希望我们的工作可以为更全面而实用的点云相似性评估铺平道路。我们的代码将可用：https://github.com/wutong16/dentions_aware_Chamfer_distance。
translated by 谷歌翻译
我们提出了一种新的方法，可以在点云对之间进行无监督的形状对应学习。我们首次尝试适应经典的局部线性嵌入算法（LLE）（最初是为非线性维度降低）的形状对应关系的。关键思想是通过首先获得低维点云的高维邻域保护嵌入，然后使用局部线性转换对源和目标嵌入对齐，从而找到形状之间的密集对应。我们证明，使用新的LLE启发的点云重建目标学习嵌入会产生准确的形状对应关系。更具体地说，该方法包括一个端到端的可学习框架，该框架是提取高维邻域保护的嵌入，估算嵌入空间中的局部线性变换，以及通过基于差异测量的构建构建的概率密度函数的对准形状，并重建形状。目标形状。我们的方法强制将形状的嵌入在对应中，以放置在相同的通用/规范嵌入空间中，最终有助于正规化学习过程，并导致形状嵌入之间的简单最近的邻居接近以找到可靠的对应关系。全面的实验表明，新方法对涵盖人类和非人类形状的标准形状信号基准数据集进行了明显的改进。
translated by 谷歌翻译
从单个RGB图像预测3D形状和静态对象的姿势是现代计算机视觉中的重要研究区域。其应用范围从增强现实到机器人和数字内容创建。通常，通过直接对象形状和姿势预测来执行此任务，该任务是不准确的。有希望的研究方向通过从大规模数据库中检索CAD模型并将它们对准到图像中观察到的对象来确保有意义的形状预测。然而，现有的工作并没有考虑到对象几何，导致对象姿态预测不准确，特别是对于未经看法。在这项工作中，我们演示了如何从RGB图像到呈现的CAD模型的跨域Keypoint匹配如何允许更精确的对象姿态预测与通过直接预测所获得的那些相比。我们进一步表明，关键点匹配不仅可以用于估计对象的姿势，还可以用于修改对象本身的形状。这与单独使用对象检索可以实现的准确性是重要的，其固有地限于可用的CAD模型。允许形状适配桥接检索到的CAD模型与观察到的形状之间的间隙。我们在挑战PIX3D数据集上展示了我们的方法。所提出的几何形状预测将AP网格改善在所看到的物体上的33.2至37.8上的33.2至37.8。未经证明对象的8.2至17.1。此外，在遵循所提出的形状适应时，我们展示了更准确的形状预测而不会与CAD模型紧密匹配。代码在HTTPS://github.com/florianlanger/leveraging_geometry_for_shape_eStimation上公开使用。
translated by 谷歌翻译
The objective of this paper is to learn dense 3D shape correspondence for topology-varying generic objects in an unsupervised manner. Conventional implicit functions estimate the occupancy of a 3D point given a shape latent code. Instead, our novel implicit function produces a probabilistic embedding to represent each 3D point in a part embedding space. Assuming the corresponding points are similar in the embedding space, we implement dense correspondence through an inverse function mapping from the part embedding vector to a corresponded 3D point. Both functions are jointly learned with several effective and uncertainty-aware loss functions to realize our assumption, together with the encoder generating the shape latent code. During inference, if a user selects an arbitrary point on the source shape, our algorithm can automatically generate a confidence score indicating whether there is a correspondence on the target shape, as well as the corresponding semantic point if there is one. Such a mechanism inherently benefits man-made objects with different part constitutions. The effectiveness of our approach is demonstrated through unsupervised 3D semantic correspondence and shape segmentation.
translated by 谷歌翻译
基于细粒的草图的图像检索（FG-SBIR）解决了在给定查询草图中检索特定照片的问题。然而，它的广泛适用性受到大多数人为大多数人绘制完整草图的事实的限制，并且绘图过程经常需要时间。在这项研究中，我们的目标是用最少数量的笔划检索目标照片（不完整草图），命名为vs-the-fry fg-sbir（bhunia等人.2020），它一旦尽快开始检索每个行程绘图开始。我们认为每张照片的草图绘图集中的这些不完整草图之间存在显着相关性。为了了解照片和ITS不完整的草图之间共享的更高效的联合嵌入空间，我们提出了一个多粒度关联学习框架，进一步优化了所有不完整草图的嵌入空间。具体地，基于草图的完整性，我们可以将完整的草图插曲分为几个阶段，每个阶段对应于简单的线性映射层。此外，我们的框架指导了当前草图的矢量空间表示，以近似速写，以实现草图的检索性能，以利用更多的笔触来接近草图的草图。在实验中，我们提出了更现实的挑战，我们的方法在两个公开的细粒草图检索数据集上实现了最先进的方法和替代基线的卓越的早期检索效率。
translated by 谷歌翻译