在过去的几年中，在有限的监督下，在不受限制的环境中解释凝视方向一直引起人们的兴趣。由于数据策展和注释问题，将目光估计方法复制到其他平台（例如不受限制的户外或AR/VR）可能会导致性能大幅下降，因为对于模型培训的准确注释数据的可用性不足。在本文中，我们探讨了一个有趣但具有挑战性的凝视估计方法的问题，其标记数据有限。所提出的方法将知识从标记的子集中提炼出具有视觉特征。包括特定身份的外观，凝视轨迹的一致性和运动特征。给定凝视轨迹，该方法仅利用凝视序列的开始和终点的标签信息。提出的方法的扩展进一步减少了标记框架的需求，仅在生成标签的质量下略有下降的起始框架。我们评估了四个基准数据集（Cave，Tabletgaze，MPII和Gaze360）的建议方法以及Web craw的YouTube视频。我们提出的方法将注释工作降低到低至2.67％，对性能的影响很小。表明我们的模型的潜力实现了凝视估计的“野外”设置。
translated by 谷歌翻译
在充满挑战的现实生活条件下，例如极端的头置，遮挡和低分辨率图像，视觉信息无法估算视觉注意力/凝视方向，音频信号可以提供重要和互补的信息。在本文中，我们探讨了音频引导的粗置姿势是否可以进一步提高非独立面孔的视觉注意力估计性能。由于很难注释音频信号来估计说话者的头置姿势，因此我们使用现成的最先进的模型来促进跨模式的弱点。在训练阶段，该框架从同步的视听方式中学习了互补的信息。我们的模型可以利用任何可用的模式，即用于特定于任务的推断的音频，视觉或视听。有趣的是，当以这些特定方式在基准数据集上测试AV凝视时，它会在多个数据集上实现竞争成果，同时非常适应充满挑战的情况。
translated by 谷歌翻译
由于大规模标记数据的非可用性，强大的凝视估计是一个具有挑战性的任务，即使是深度的CNN。此外，凝视注释是一种耗时的过程，需要专门的硬件设置。我们提出MTGLS：具有有限监督的多任务凝视估计框架，其利用大量可用的非注释的面部图像数据。 MTGLS从架子的面部图像分析模型中蒸馏出知识，并学习人眼的强大特征表示，由三个互补辅助信号引导：（a）由本地化定义的瞳孔（即伪凝视）的视线面部地标，（b）欧拉角给出的头部姿势，（c）眼贴片的取向（左/右眼）。为了克服监控信号中的内在噪声，MTGL还包括噪声分布建模方法。我们的实验结果表明，MTGLS学习高度广泛的表示，这在一系列数据集中一直表现良好。我们所提出的框架优于无监督的洞穴（6.43％）甚至监督凝席360（按6.59％）数据集的最新方法。
translated by 谷歌翻译
眼目光分析是计算机视觉和人类计算机相互作用领域的重要研究问题。即使在过去十年中取得了显着进展，由于眼睛外观，眼头相互作用，遮挡，图像质量和照明条件的独特性，自动凝视分析仍然具有挑战性。有几个开放的问题，包括在没有先验知识的情况下，在不受限制的环境中解释凝视方向的重要提示以及如何实时编码它们。我们回顾了一系列目光分析任务和应用程序的进展，以阐明这些基本问题，确定凝视分析中的有效方法并提供可能的未来方向。我们根据其优势和报告的评估指标分析了最近的凝视估计和分割方法，尤其是在无监督和弱监督的领域中。我们的分析表明，强大而通用的凝视分析方法的开发仍然需要解决现实世界中的挑战，例如不受限制的设置和学习，并减少了监督。最后，我们讨论了设计现实的目光分析系统的未来研究方向，该系统可以传播到其他领域，包括计算机视觉，增强现实（AR），虚拟现实（VR）和人类计算机交互（HCI）。项目页面：https：//github.com/i-am-shreya/eyegazesurvey} {https://github.com/i-am-shreya/eyegazesurvey
translated by 谷歌翻译
我们提出了对标准重新结构体系结构的简单修改 - 在特征空间上进行L2正则化 - 从前提出的深层确定性不确定性（DDU）基准中，它显着改善了分布外（OOD）的性能。这种变化还引起了早期神经塌陷（NC），我们证明这是一种更有可能的OOD性能的效果。我们的方法在基准的一小部分训练时间中实现了可比或优质的OOD检测分数和分类精度。此外，它基本上改善了多个随机初始化模型的最坏情况。尽管我们不建议NC是深神经网络（DNN）中OOD行为的唯一机制或全面解释，但我们认为NC的简单数学和几何结构可以为对未来工作中这种复杂现象的分析提供一个框架。
translated by 谷歌翻译
已经表明，可以使用具有合适的数据访问的经典算法有效地复制一些量子机器学习算法的表观优点 - 一种称为渐变化的过程。现有的追逐工作的工作比较量子算法占据N-qubit Quantum State $ | x \ rangle = \ sum_ {i} x_i | i \ rangle $的副本到具有样本和查询（Sq）访问的经典算法矢量$ x $。在本说明中，我们证明了具有SQ访问的经典算法可以比量子状态输入的量子算法呈指数级速率地实现一些学习任务。因为经典算法是量子算法的子集，所以这表明SQ接入有时可以比量子状态输入更强大。我们的研究结果表明，在某些学习任务中没有指数量子优势可能是由于相对于量子状态输入的SQ访问过于强大。如果我们将量子算法与量子状态的输入进行比较到具有对量子状态上的测量数据的经典算法，则量子优势的景观可以显着不同。
translated by 谷歌翻译
量子技术有可能彻底改变我们如何获取和处理实验数据以了解物理世界。一种实验设置，将来自物理系统的数据转换为稳定的量子存储器，以及使用量子计算机的数据的处理可以具有显着的优点，这些实验可以具有测量物理系统的传统实验，并且使用经典计算机处理结果。我们证明，在各种任务中，量子机器可以从指数较少的实验中学习而不是传统实验所需的实验。指数优势在预测物理系统的预测属性中，对噪声状态进行量子主成分分析，以及学习物理动态的近似模型。在一些任务中，实现指数优势所需的量子处理可能是适度的;例如，可以通过仅处理系统的两个副本来同时了解许多非信息可观察。我们表明，可以使用当今相对嘈杂的量子处理器实现大量超导QUBITS和1300个量子门的实验。我们的结果突出了量子技术如何能够实现强大的新策略来了解自然。
translated by 谷歌翻译
FIG. 1. Schematic diagram of a Variational Quantum Algorithm (VQA). The inputs to a VQA are: a cost function C(θ), with θ a set of parameters that encodes the solution to the problem, an ansatz whose parameters are trained to minimize the cost, and (possibly) a set of training data {ρ k } used during the optimization. Here, the cost can often be expressed in the form in Eq. ( 3), for some set of functions {f k }. Also, the ansatz is shown as a parameterized quantum circuit (on the left), which is analogous to a neural network (also shown schematically on the right). At each iteration of the loop one uses a quantum computer to efficiently estimate the cost (or its gradients). This information is fed into a classical computer that leverages the power of optimizers to navigate the cost landscape C(θ) and solve the optimization problem in Eq. ( 1). Once a termination condition is met, the VQA outputs an estimate of the solution to the problem. The form of the output depends on the precise task at hand. The red box indicates some of the most common types of outputs.
translated by 谷歌翻译
Array programming provides a powerful, compact, expressive syntax for accessing, manipulating, and operating on data in vectors, matrices, and higher-dimensional arrays [1]. NumPy is the primary array programming library for the Python language [2,3,4,5]. It plays an essential role in research analysis pipelines in fields as diverse as physics, chemistry, astronomy, geoscience, biology, psychology, material science, engineering, finance, and economics. For example, in astronomy, NumPy was an important part of the software stack used in the discovery of gravitational waves [6] and the first imaging of a black hole [7].Here we show how a few fundamental array concepts lead to a simple and powerful programming paradigm for organizing, exploring, and analyzing scientific data. NumPy is the foundation upon which the entire scientific Python universe is constructed. It is so pervasive that several projects, targeting audiences with specialized needs, have developed their own NumPy-like interfaces and array objects. Because of its central position in the ecosystem, NumPy increasingly plays the role of an interoperability layer between these new array computation libraries.
translated by 谷歌翻译
translated by 谷歌翻译