3D gaze estimation is most often tackled as learning a direct mapping between input images and the gaze vector or its spherical coordinates. Recently, it has been shown that pose estimation of the face, body and hands benefits from revising the learning target from few pose parameters to dense 3D coordinates. In this work, we leverage this observation and propose to tackle 3D gaze estimation as regression of 3D eye meshes. We overcome the absence of compatible ground truth by fitting a rigid 3D eyeball template on existing gaze datasets and propose to improve generalization by making use of widely available in-the-wild face images. To this end, we propose an automatic pipeline to retrieve robust gaze pseudo-labels from arbitrary face images and design a multi-view supervision framework to balance their effect during training. In our experiments, our method achieves improvement of 30% compared to state-of-the-art in cross-dataset gaze estimation, when no ground truth data are available for training, and 7% when they are. We make our project publicly available at https://github.com/Vagver/dense3Deyes.

We have a Christmas gift for Harry Potter fans all over the world. In this paper, we present Harry Potter Dialogue (HPD), a dataset that helps train Harry Potter-like dialogue agents. Such a task is typically viewed as a variant of personalized dialogue agents, but they differ significantly in three respects: 1) Harry lived in a virtual world of wizards, thus, real-world commonsense may not apply to Harry's conversations; 2) Harry's behavior is strongly linked to background information in conversations: the scene, its attributes and its relationship to other speakers; and 3) Such backgrounds are dynamically altered as the storyline goes on. The HPD dataset, as the first dataset to facilitate the study of dialogue agent construction for characters within a story, provides rich contextual information about each dialogue session such as scenes, character attributes, and relations. More importantly, all the background information will change over the course of the story. In addition, HPD could support both dialogue generation and retrieval tasks. We evaluate baselines such as Dialog-GPT and BOB to determine the extent to which they can generate Harry Potter-like responses. The experimental results disappoint us in that although the generated responses are fluent, they still seem out of character for Harry. Besides, we validate the current most robust dialogue agent, ChatGPT, which also can't generate plausible Harry-Potter-like responses in some cases, either. Our results suggest that there is much scope for future research.

点对特征（PPF）广泛用于6D姿势估计。在本文中，我们提出了一种基于PPF框架的有效的6D姿势估计方法。我们介绍了一个目标良好的下采样策略，该策略更多地集中在边缘区域，以有效地提取复杂的几何形状。提出了一种姿势假设验证方法来通过计算边缘匹配度来解决对称歧义。我们对两个具有挑战性的数据集和一个现实世界中收集的数据集进行评估，这证明了我们方法对姿势估计几何复杂，遮挡，对称对象的优越性。我们通过将其应用于模拟穿刺来进一步验证我们的方法。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

最近的学习不变（因果）特征（OOD）概括最近引起了广泛的关注，在建议中不变风险最小化（IRM）（Arjovsky等，2019）是一个显着的解决方案。尽管其对线性回归的理论希望，但在线性分类问题中使用IRM的挑战仍然存在（Rosenfeld等，2020； Nagarajan等，2021）。沿着这一行，最近的一项研究（Arjovsky等人，2019年）迈出了第一步，并提出了基于信息瓶颈的不变风险最小化的学习原理（IB-imm）。在本文中，我们首先表明（Arjovsky等人，2019年）使用不变特征的支持重叠的关键假设对于保证OOD泛化是相当强大的，并且在没有这种假设的情况下仍然可以实现最佳解决方案。为了进一步回答IB-IRM是否足以在线性分类问题中学习不变特征的问题，我们表明IB-IRM在两种情况下仍将失败，无论是否不变功能捕获有关标签的所有信息。为了解决此类失败，我们提出了一个\ textit {基于反事实的信息瓶颈（CSIB）}学习算法，该算法可恢复不变的功能。即使从单个环境访问数据时，提出的算法也可以工作，并且在理论上对二进制和多类问题都具有一致的结果。我们对三个合成数据集进行了经验实验，以验证我们提出的方法的功效。

多实施学习（MIL）被广泛用于对病理整体幻灯片图像（WSIS）的计算机辅助解释，以解决缺乏像素或贴片的注释。通常，这种方法直接应用“自然图像驱动”的MIL算法，该算法忽略了WSIS的多尺度（即金字塔）性质。现成的MIL算法通常部署在单个WSIS（例如20x放大倍率）上，而人类病理学家通常以多尺度的方式汇总全球和局部模式（例如，通过放大不同大型）。在这项研究中，我们提出了一种新型的跨尺度注意机制，以明确地将尺度间相互作用汇总到单个MIL网络的克罗恩病（CD）（CD），这是炎症性肠病的一种形式。本文的贡献是两个方面：（1）提出了一种跨尺度注意机制，以从不同分辨率的多尺度相互作用汇总特征； （2）生成差异多尺度注意的可视化，以定位可解释的病变模式。通过训练来自20名CD患者的约250,000 H＆E染色的上升结肠（AC）斑块，在不同尺度上训练30个健康对照样品，我们的方法在曲线下（AUC）得分为0.8924，与基线模型相比达到0.8924。官方实施可在https://github.com/hrlblab/cs-mil上公开获得。

尽管3D面部重建取得了令人印象深刻的进步，但由于在透视图下，由于面部非常接近摄像机，因此大多数基于正交的脸部重建方法无法实现准确，一致的重建结果。在本文中，我们建议在世界空间中同时重建3D面部网格，并预测图像平面上的2D面部标志，以解决透视图3D面对重建问题。基于预测的3D顶点和2D地标，PNP求解器可以轻松估算6DOF（6个自由度）面姿势，以表示透视投影。我们的方法在ECCV 2022 WCPA挑战的Leading板上获得第一名，而我们的模型在不同的身份，表达和姿势下在视觉上具有健壮。释放培训代码和模型以促进未来的研究。

我们建议使用实例检测（实例检测）的新方法，合成优化的布局，以预处理对象检测器具有合成图像。我们的“固体”方法由两个主要组成部分组成：（1）使用具有优化场景布置的未标记的3D模型生成合成图像；（2）在“实例检测”任务上预修对象检测器 - 给定描绘对象的查询图像，检测目标图像中完全相同对象的所有实例。我们的方法不需要任何语义标签来进行预处理，并允许使用任意，不同的3D模型。对可可的实验表明，通过优化的数据生成和适当的预处理任务，合成数据可以是预处理对象探测器的高效数据。特别是，对渲染图像进行预修会在实际图像上预处理，同时使用明显较少的计算资源，从而实现了性能竞争。代码可在https://github.com/princeton-vl/solid上找到。

我们提出了深斑视觉探光仪（DPVO），这是一种新的单眼视觉探光度（VO）的深度学习系统。DPVO在单个RTX-3090 GPU上仅使用4GB存储器以2x-5X实时速度运行时，是准确且健壮的。我们对标准基准测试进行评估，并以准确性和速度均优于所有先前的工作（经典或学习）。代码可在https://github.com/princeton-vl/dpvo上找到。

象征性推理，基于规则的符号操作，是人类智慧的标志。然而，基于规则的系统的成功有限与基于学习的系统在外面的正式域之外的竞争中，例如自动定理证明。我们假设这是由于过去尝试中的规则的手动构建。在这项工作中，我们询问我们如何构建基于规则的系统，可以推理自然语言输入，但没有手动构建规则。我们提出了Metaqnl，这是一种“准自然”语言，可以表达正式逻辑和自然语言句子，并梅多斯诱惑，一种学习算法，它从训练数据组成的训练和答案，有或没有中间推理步骤。我们的方法在多个推理基准上实现了最先进的准确性;它学习具有更少数据的紧凑型号，不仅可以答案，而且产生答案。此外，对现实世界的形态学分析基准测试的实验表明，我们可以处理噪音和歧义。代码将在https://github.com/princeton-vl/metaqnl发布。