Vision Transformers have shown great promise recently for many vision tasks due to the insightful architecture design and attention mechanism. By revisiting the self-attention responses in Transformers, we empirically observe two interesting issues. First, Vision Transformers present a queryirrelevant behavior at deep layers, where the attention maps exhibit nearly consistent contexts in global scope, regardless of the query patch position (also head-irrelevant). Second, the attention maps are intrinsically sparse, few tokens dominate the attention weights; introducing the knowledge from ConvNets would largely smooth the attention and enhance the performance. Motivated by above observations, we generalize self-attention formulation to abstract a queryirrelevant global context directly and further integrate the global context into convolutions. The resulting model, a Fully Convolutional Vision Transformer (i.e., FCViT), purely consists of convolutional layers and firmly inherits the merits of both attention mechanism and convolutions, including dynamic property, weight sharing, and short- and long-range feature modeling, etc. Experimental results demonstrate the effectiveness of FCViT. With less than 14M parameters, our FCViT-S12 outperforms related work ResT-Lite by 3.7% top1 accuracy on ImageNet-1K. When scaling FCViT to larger models, we still perform better than previous state-of-the-art ConvNeXt with even fewer parameters. FCViT-based models also demonstrate promising transferability to downstream tasks, like object detection, instance segmentation, and semantic segmentation. Codes and models are made available at: https://github.com/ma-xu/FCViT.

Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.

Spatial autocorrelation and spatial heterogeneity widely exist in spatial data, which make the traditional machine learning model perform badly. Spatial domain generalization is a spatial extension of domain generalization, which can generalize to unseen spatial domains in continuous 2D space. Specifically, it learns a model under varying data distributions that generalizes to unseen domains. Although tremendous success has been achieved in domain generalization, there exist very few works on spatial domain generalization. The advancement of this area is challenged by: 1) Difficulty in characterizing spatial heterogeneity, and 2) Difficulty in obtaining predictive models for unseen locations without training data. To address these challenges, this paper proposes a generic framework for spatial domain generalization. Specifically, We develop the spatial interpolation graph neural network that handles spatial data as a graph and learns the spatial embedding on each node and their relationships. The spatial interpolation graph neural network infers the spatial embedding of an unseen location during the test phase. Then the spatial embedding of the target location is used to decode the parameters of the downstream-task model directly on the target location. Finally, extensive experiments on thirteen real-world datasets demonstrate the proposed method's strength.

这项研究旨在实现两个目标：第一个目标是策划一个大型且信息丰富的数据集，其中包含有关球员的行动和位置的关键和简洁的摘要，以及在专业和NCAA中排球的来回旅行模式Div-i室内排球游戏。尽管几项先前的研究旨在为其他运动创建类似的数据集（例如羽毛球和足球），但尚未实现为室内排球创建这样的数据集。第二个目标是引入排球描述性语言，以充分描述游戏中的集会过程并将语言应用于我们的数据集。基于精选的数据集和我们的描述性运动语言，我们使用我们的数据集介绍了三项用于自动化排球行动和战术分析的任务：（1）排球拉力赛预测，旨在预测集会的结果，并帮助球员和教练改善决策制定决策在实践中，（2）设置类型和命中类型预测，以帮助教练和球员更有效地为游戏做准备，以及（3）排球策略和进攻区统计，以提供高级排球统计数据，并帮助教练了解游戏和对手的策略更好的。我们进行了案例研究，以展示实验结果如何为排球分析社区提供见解。此外，基于现实世界数据的实验评估为我们的数据集和语言的未来研究和应用建立了基准。这项研究弥合了室内排球场与计算机科学之间的差距。

增加片上光子神经网络（PNN）的层数对于改善其模型性能至关重要。但是，网络隐藏层的连续级联导致更大的集成光子芯片区域。为了解决此问题，我们提出了光学神经常规微分方程（ON-ON-ON-OD-ON-OD-ON-OD-ON-OD-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ODINE），该架构用光ODE求解器参数化了隐藏层的连续动力学。 On-Ode包括PNN，然后是光子积分器和光反馈回路，可以配置为代表残留的神经网络（RESNET）和复发性神经网络，并有效地降低了芯片面积占用率。对于基于干扰的光电非线性隐藏层，数值实验表明，单个隐藏层ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ON-ONE表示与图像分类任务中的两层光学重新系统大致相同。此外，Onode提高了基于衍射的全光线性隐藏层的模型分类精度。 On-Eod的时间依赖性动力学属性进一步应用于高精度的轨迹预测。

本文通过讨论参加了为期三年的SubT竞赛的六支球队的不同大满贯策略和成果，报道了地下大满贯的现状。特别是，本文有四个主要目标。首先，我们审查团队采用的算法，架构和系统；特别重点是以激光雷达以激光雷达为中心的SLAM解决方案（几乎所有竞争中所有团队的首选方法），异质的多机器人操作（包括空中机器人和地面机器人）和现实世界的地下操作（从存在需要处理严格的计算约束的晦涩之处）。我们不会回避讨论不同SubT SLAM系统背后的肮脏细节，这些系统通常会从技术论文中省略。其次，我们通过强调当前的SLAM系统的可能性以及我们认为与一些良好的系统工程有关的范围来讨论该领域的成熟度。第三，我们概述了我们认为是基本的开放问题，这些问题可能需要进一步的研究才能突破。最后，我们提供了在SubT挑战和相关工作期间生产的开源SLAM实现和数据集的列表，并构成了研究人员和从业人员的有用资源。

由于患病患者经常患贫血或凝血病，因此血液产物的输血是重症监护病房（ICU）的经常干预。但是，医生做出的不当输血决定通常与并发症的风险增加和医院成本更高有关。在这项工作中，我们旨在开发一种决策支持工具，该工具使用可用的患者信息来对三种常见的血液产品（红细胞，血小板和新鲜的冷冻血浆）进行输血决策。为此，我们采用了单批批处理增强学习（RL）算法，即离散的批处理约束Q学习，以确定观察到的患者轨迹的最佳动作（输血）。同时，我们考虑了不同的国家表示方法和奖励设计机制，以评估其对政策学习的影响。实验是在两个现实世界中的重症监护数据集上进行的：MIMIC-III和UCSF。结果表明，关于输血的政策建议通过准确性和对模拟III数据集的加权重要性评估进行了与真实医院政策的可比匹配。此外，数据筛选UCSF数据集的转移学习（TL）和RL的组合可以在准确性方面可提供高达$ 17.02％的提高，而跳跃和渐近性绩效提高了18.94％和21.63％加权重要性采样在三个输血任务上平均。最后，对输血决策的模拟表明，转移的RL政策可以将患者估计的28天死亡率降低2.74％，而UCSF数据集的敏锐度率降低了1.18％。

及时调整是以参数有效的方式对预训练的预训练语言模型的新范式。在这里，我们探讨了超级核武器的使用来产生超预价：我们提出了HyperPrompt，这是一种用于迅速基于变形金刚自我注意的任务调节的新型体系结构。超预要是通过超网络通过一代人来学习的端到端。 HyperPrompt允许网络学习特定于任务的功能地图，其中超预告是要参与的查询的任务全局记忆，同时启用了任务之间的灵活信息共享。我们表明，HyperPrompt与强大的多任务学习基线具有竞争力，其额外的任务条件参数的$ 0.14 \％$ $ \％，实现了出色的参数和计算效率。通过广泛的经验实验，我们证明，超级启示可以比强大的T5多任务学习基准和参数效率高效的适配器变体获得卓越的性能，包括及时调整和SuplyFormer ++在许多模型尺寸的自然语言理解胶水和SuperGrue的基准上。

行动预测旨在通过部分观察视频推断即将举行的人类行动，这是由于早期观察结果有限的信息有限。现有方法主要采用重建策略来处理此任务，期望从部分观察到完整视频来学习单个映射函数，以便于预测过程。在这项研究中，我们提出了来自两个新方面的部分视频查询生成“完整视频”功能调节的对抗性记忆网络（AMEMNet）。首先，键值结构化存储器发生器旨在将不同的部分视频存储为键存储器，并在具有门控机制和查询关注的值存储器中动态地写入完整视频。其次，我们开发了一个类感知判别者，以指导内存发生器在对抗训练时不仅提供现实，而且还提供鉴别的完整视频特征。通过RGB和光学流量的晚期融合给出了AMEMNET的最终预测结果。提供两个基准视频数据集，UCF-101和HMDB51的广泛实验结果，以证明所提出的AMEMNET模型在最先进的方法的有效性。

传统的假视频检测方法输出篡改图像的可能性值或可疑掩码。但是，这种无法解释的结果不能用作令人信服的证据。因此，更好地追溯虚假视频来源。传统的散列方法用于检索语义 - 相似的图像，这不能区分图像的细微差别。具体地，与传统视频检索相比，源跟踪。从类似的源视频中找到真实的挑战是一项挑战。我们设计了一种新的损失哈希多粒损失，解决了人们的视频非常相似的问题：与不同角度相同的场景，与同一个人的类似场景。我们提出了基于视觉变压器的模型，名为视频跟踪和篡改本地化（VTL）。在第一阶段，我们通过Vithash（VTL-T）训练哈希中心。然后，将假视频输入到Vithash，该vithash输出散列码。哈希码用于从哈希中心检索源视频。在第二阶段，源视频和假视频被输入到生成器（VTL-L）。然后，掩盖可疑区域以提供辅助信息。此外，我们构建了两个数据集：DFTL和Davis2016-TL。对DFTL的实验明显展示了我们在类似视频的追踪中框架的优势。特别地，VTL还通过在Davis2016-TL上实现了与最先进的方法的相当性能。我们的源代码和数据集已在github上发布：\ url {https:/github.com/lajlksdf/vtl}。