Surgery is the only viable treatment for cataract patients with visual acuity (VA) impairment. Clinically, to assess the necessity of cataract surgery, accurately predicting postoperative VA before surgery by analyzing multi-view optical coherence tomography (OCT) images is crucially needed. Unfortunately, due to complicated fundus conditions, determining postoperative VA remains difficult for medical experts. Deep learning methods for this problem were developed in recent years. Although effective, these methods still face several issues, such as not efficiently exploring potential relations between multi-view OCT images, neglecting the key role of clinical prior knowledge (e.g., preoperative VA value), and using only regression-based metrics which are lacking reference. In this paper, we propose a novel Cross-token Transformer Network (CTT-Net) for postoperative VA prediction by analyzing both the multi-view OCT images and preoperative VA. To effectively fuse multi-view features of OCT images, we develop cross-token attention that could restrict redundant/unnecessary attention flow. Further, we utilize the preoperative VA value to provide more information for postoperative VA prediction and facilitate fusion between views. Moreover, we design an auxiliary classification loss to improve model performance and assess VA recovery more sufficiently, avoiding the limitation by only using the regression metrics. To evaluate CTT-Net, we build a multi-view OCT image dataset collected from our collaborative hospital. A set of extensive experiments validate the effectiveness of our model compared to existing methods in various metrics. Code is available at: https://github.com/wjh892521292/Cataract OCT.

Visual place recognition (VPR) is usually considered as a specific image retrieval problem. Limited by existing training frameworks, most deep learning-based works cannot extract sufficiently stable global features from RGB images and rely on a time-consuming re-ranking step to exploit spatial structural information for better performance. In this paper, we propose StructVPR, a novel training architecture for VPR, to enhance structural knowledge in RGB global features and thus improve feature stability in a constantly changing environment. Specifically, StructVPR uses segmentation images as a more definitive source of structural knowledge input into a CNN network and applies knowledge distillation to avoid online segmentation and inference of seg-branch in testing. Considering that not all samples contain high-quality and helpful knowledge, and some even hurt the performance of distillation, we partition samples and weigh each sample's distillation loss to enhance the expected knowledge precisely. Finally, StructVPR achieves impressive performance on several benchmarks using only global retrieval and even outperforms many two-stage approaches by a large margin. After adding additional re-ranking, ours achieves state-of-the-art performance while maintaining a low computational cost.

User-generated-content (UGC) videos have dominated the Internet during recent years. While many methods attempt to objectively assess the quality of these UGC videos, the mechanisms of human quality perception in the UGC-VQA problem is still yet to be explored. To better explain the quality perception mechanisms and learn more robust representations, we aim to disentangle the effects of aesthetic quality issues and technical quality issues risen by the complicated video generation processes in the UGC-VQA problem. To overcome the absence of respective supervisions during disentanglement, we propose the Limited View Biased Supervisions (LVBS) scheme where two separate evaluators are trained with decomposed views specifically designed for each issue. Composed of an Aesthetic Quality Evaluator (AQE) and a Technical Quality Evaluator (TQE) under the LVBS scheme, the proposed Disentangled Objective Video Quality Evaluator (DOVER) reach excellent performance (0.91 SRCC for KoNViD-1k, 0.89 SRCC for LSVQ, 0.88 SRCC for YouTube-UGC) in the UGC-VQA problem. More importantly, our blind subjective studies prove that the separate evaluators in DOVER can effectively match human perception on respective disentangled quality issues. Codes and demos are released in https://github.com/teowu/dover.

组合多个传感器使机器人能够最大程度地提高其对环境的感知意识，并增强其对外部干扰的鲁棒性，对机器人导航至关重要。本文提出了可融合的基准测试，这是一个完整的多传感器数据集，具有多种移动机器人序列。本文提出了三项贡献。我们首先推进便携式和通用的多传感器套件，可提供丰富的感官测量值：10Hz激光镜点云，20Hz立体声框架图像，来自立体声事件相机的高速率和异步事件，来自IMU的200Hz惯性读数以及10Hz GPS信号。传感器已经在硬件中暂时同步。该设备轻巧，独立，并为移动机器人提供插件支持。其次，我们通过收集17个序列来构建数据集，该序列通过利用多个机器人平台进行数据收集来涵盖校园上各种环境。一些序列对现有的SLAM算法具有挑战性。第三，我们为将本地化和映射绩效评估提供了基础真理。我们还评估最新的大满贯方法并确定其局限性。该数据集将发布由原始传感器的设置，地面真相，校准数据和评估算法组成：https：//ram-lab.com/file/site/site/multi-sensor-dataset。

随着视频数量的越来越多，对技术的需求很大，可以帮助人们迅速导航到他们感兴趣的视频片段。但是，当前的视频理解主要理解主要是视频内容摘要，而几乎没有努力，而对探索视频的结构。受文本轮廓生成的启发，我们介绍了一项新颖的视频理解任务，即视频大纲生成（VOG）。该任务定义为包含两个子任务：（1）首先根据内容结构对视频进行分割，然后（2）为每个段生成一个标题。要学习和评估VOG，我们注释了一个10K+数据集，称为Duvog。具体来说，我们使用OCR工具来识别视频的字幕。然后，要求注释者将字幕分为章节，并将每个章节分为标题。在视频中，突出显示的文本往往是标题，因为它更有可能引起人们的注意。因此，我们提出了一个视觉字幕功能增强的视频大纲生成模型（VSENET），该模型将文本字幕及其视觉字体大小和位置作为输入。我们将VOG任务视为一个序列标记问题，该问题提取了跨标题的位置，然后将其重写以形成最终大纲。此外，基于视频概述和文本概述之间的相似性，我们使用大量文章带有章节标题来预先我们的模型。 Duvog上的实验表明，我们的模型在很大程度上胜过其他基线方法，对于视频分割水平达到了77.1的F1得分，对于标题生成级别的Rouge-L_F0.5的85.0。

终身学习旨在学习一系列任务，而无需忘记先前获得的知识。但是，由于隐私或版权原因，涉及的培训数据可能不是终身合法的。例如，在实际情况下，模型所有者可能希望不时启用或禁用特定任务或特定样本的知识。不幸的是，这种灵活的对知识转移的灵活控制在以前的增量或减少学习方法中，即使在问题设定的水平上也被忽略了。在本文中，我们探索了一种新颖的学习方案，称为学习，可回收遗忘（LIRF），该方案明确处理任务或特定于样本的知识去除和恢复。具体而言，LIRF带来了两个创新的方案，即知识存款和撤回，这使用户指定的知识从预先训练的网络中隔离开来，并在必要时将其注入。在知识存款过程中，从目标网络中提取了指定的知识并存储在存款模块中，同时保留了目标网络的不敏感或一般知识，并进一步增强。在知识提取期间，将带走知识添加回目标网络。存款和提取过程仅需在删除数据上对几个时期进行填充时期，从而确保数据和时间效率。我们在几个数据集上进行实验，并证明所提出的LIRF策略具有令人振奋的概括能力。

示例引导图像生成的一个关键挑战在于在输入图像和引导图像之间建立细粒度的对应关系。尽管结果有令人鼓舞，但先前的方法还是依赖于对计算每点匹配的密集关注的依赖。在本文中，我们提出了一个动态稀疏注意的变压器模型，称为动态稀疏变压器（Dynast），以实现具有优惠效率的优质匹配。我们方法的核心是一个新颖的动态注意事项单元，致力于涵盖最佳代币数量的差异。具体而言，Dynast利用变压器结构的多层性质，并以级联的方式执行动态注意力方案，以完善匹配结果并合成视觉上令人愉悦的输出。此外，我们还为Dynast引入了一个统一的培训目标，使其成为监督和无监督场景的广泛参考图像翻译框架。对三种应用，姿势引导的人形象产生，基于边缘的面部合成以及未变形的图像样式转移的广泛实验表明，朝代在本地细节中实现了卓越的性能，超过了最新的技术，同时降低了计算成本。我们的代码可从https://github.com/huage001/dynast获得

当前的深度视频质量评估（VQA）方法通常在评估高分辨率视频时具有高计算成本。这使他们无法通过端到端培训学习更好的视频质量相关表示。现有方法通常考虑幼稚的采样以降低计算成本，例如调整大小和裁剪。但是，它们显然在视频中损坏了与质量相关的信息，因此并不是学习VQA的良好表示形式的最佳选择。因此，渴望为VQA设计一种新的质量保留抽样方案。在本文中，我们提出了网格迷你斑点采样（GMS），该采样允许通过在原始分辨率下采样贴片来考虑局部质量，并通过以统一网格采样的迷你绘制来涵盖全球质量。这些迷你斑点是剪接和对齐的，称为片段。我们进一步构建了专门设计的碎片注意网络（粉丝），以适应碎片作为输入。由片段和粉丝组成，VQA（快速VQA）提出的片段样品变压器可实现有效的端到端深VQA，并学习有效的与视频质量相关的表示。它可以提高最新准确性约10％，同时减少1080p高分辨率视频的99.5％的失败。新学习的与视频质量相关的表示形式也可以转移到较小的VQA数据集中，从而在这些情况下提高性能。广泛的实验表明，Fast-VQA在各种分辨率的输入方面具有良好的性能，同时保持高效率。我们在https://github.com/timothyhtimothy/fast-vqa上发布代码。

在本文中，我们探讨了一项新颖而雄心勃勃的知识转移任务，称为知识分解〜（KF）。 KF的核心思想在于知识的模块化和组装性：鉴于验证的网络模型作为输入，KF旨在将其分解为多个因素网络，每个网络仅处理专用任务，并从源中维护特定于任务的知识，并从源网络。此类因素网络是由任务分开的，可以直接组装，而无需进行任何微调，以产生更有能力的组合任务网络。换句话说，因子网络用作像乐高积木一样的构建块，使我们能够以插件的方式构建自定义网络。具体而言，每个因素网络都包含两个模块，这是一个通用知识模块，该模块是任务无关并由所有因素网络共享的模块，以及一个专门针对因子网络本身的任务特定模块。我们介绍了一个信息理论目标，即Infomax-Bottleneck〜（IMB），以通过优化学习表示和输入之间的相互信息来执行KF。各种基准的实验表明，派生因子网络不仅在专用任务，而且还可以分离，同时享有更好的解释性和模块化。此外，学到的公共知识表示会为转移学习带来令人印象深刻的结果。

我们提出了GO-SURF，这是一种直接特征网格优化方法，可从RGB-D序列进行准确和快速的表面重建。我们用学习的分层特征素网格对基础场景进行建模，该网络封装了多级几何和外观本地信息。特征向量被直接优化，使得三线性插值后，由两个浅MLP解码为签名的距离和辐射度值，并通过表面体积渲染渲染，合成和观察到的RGB/DEPTH值之间的差异最小化。我们的监督信号-RGB，深度和近似SDF可以直接从输入图像中获得，而无需融合或后处理。我们制定了一种新型的SDF梯度正则化项，该项鼓励表面平滑度和孔填充，同时保持高频细节。 GO-SURF可以优化$ 1 $ - $ 2 $ K框架的序列，价格为$ 15 $ - $ 45 $分钟，$ \ times60 $的速度超过了NeuralRGB-D，这是基于MLP表示的最相关的方法，同时保持PAR性能在PAR上的性能标准基准。项目页面：https：//jingwenwang95.github.io/go_surf/