Existing methods for large-scale point cloud semantic segmentation require expensive, tedious and error-prone manual point-wise annotations. Intuitively, weakly supervised training is a direct solution to reduce the cost of labeling. However, for weakly supervised large-scale point cloud semantic segmentation, too few annotations will inevitably lead to ineffective learning of network. We propose an effective weakly supervised method containing two components to solve the above problem. Firstly, we construct a pretext task, \textit{i.e.,} point cloud colorization, with a self-supervised learning to transfer the learned prior knowledge from a large amount of unlabeled point cloud to a weakly supervised network. In this way, the representation capability of the weakly supervised network can be improved by the guidance from a heterogeneous task. Besides, to generate pseudo label for unlabeled data, a sparse label propagation mechanism is proposed with the help of generated class prototypes, which is used to measure the classification confidence of unlabeled point. Our method is evaluated on large-scale point cloud datasets with different scenarios including indoor and outdoor. The experimental results show the large gain against existing weakly supervised and comparable results to fully supervised methods\footnote{Code based on mindspore: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}.

Recent advances on text-to-image generation have witnessed the rise of diffusion models which act as powerful generative models. Nevertheless, it is not trivial to exploit such latent variable models to capture the dependency among discrete words and meanwhile pursue complex visual-language alignment in image captioning. In this paper, we break the deeply rooted conventions in learning Transformer-based encoder-decoder, and propose a new diffusion model based paradigm tailored for image captioning, namely Semantic-Conditional Diffusion Networks (SCD-Net). Technically, for each input image, we first search the semantically relevant sentences via cross-modal retrieval model to convey the comprehensive semantic information. The rich semantics are further regarded as semantic prior to trigger the learning of Diffusion Transformer, which produces the output sentence in a diffusion process. In SCD-Net, multiple Diffusion Transformer structures are stacked to progressively strengthen the output sentence with better visional-language alignment and linguistical coherence in a cascaded manner. Furthermore, to stabilize the diffusion process, a new self-critical sequence training strategy is designed to guide the learning of SCD-Net with the knowledge of a standard autoregressive Transformer model. Extensive experiments on COCO dataset demonstrate the promising potential of using diffusion models in the challenging image captioning task. Source code is available at \url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/scdnet}.

异常检测任务在AI安全中起着至关重要的作用。处理这项任务存在巨大的挑战。观察结果表明，深度神经网络分类器通常倾向于以高信心将分布（OOD）输入分为分配类别。现有的工作试图通过在培训期间向分类器暴露于分类器时明确对分类器施加不确定性来解决问题。在本文中，我们提出了一种替代概率范式，该范式实际上对OOD检测任务既有用，又可行。特别是，我们在培训过程中施加了近距离和离群数据之间的统计独立性，以确保inlier数据在培训期间向深度估计器显示有关OOD数据的信息很少。具体而言，我们通过Hilbert-Schmidt独立标准（HSIC）估算了Inlier和离群数据之间的统计依赖性，并在培训期间对此类度量进行了惩罚。我们还将方法与推理期间的新型统计测试相关联，加上我们的原则动机。经验结果表明，我们的方法对各种基准测试的OOD检测是有效且可靠的。与SOTA模型相比，我们的方法在FPR95，AUROC和AUPR指标方面取得了重大改进。代码可用：\ url {https://github.com/jylins/hone}。

生成对抗网络（GAN）的适应旨在将预训练的GAN转移到具有有限培训数据的给定领域。在本文中，我们专注于单次案例，这在以前的作品中更具挑战性，很少探索。我们认为，从源域到目标域的适应性可以分为两个部分：全球样式（如纹理和颜色）的转移，以及不属于源域的新实体的出现。虽然先前的作品主要关注样式转移，但我们提出了一个新颖而简洁的框架\ footNote {\ url {https://github.com/thevoidname/generalized-onerized-one-one-shot-gan-adaption}}，以解决\ textit {对样式和实体传输的一般性单发适应性}任务，其中提供了参考图像及其二进制实体掩码。我们的核心目标是通过切成薄片的瓦斯坦距离来限制参考文献和合成的内部分布之间的差距。为了更好地实现这一目标，首先使用样式固定来大致获得模范样式，并将辅助网络引入原始生成器以删除实体和样式传输。此外，为了实现跨域的对应关系，我们提出了变异的拉普拉斯正则化以限制适应性发生器的平滑度。定量和定性实验都证明了我们方法在各种情况下的有效性。

我们开发了WOC，这是一个基于网络摄像头的3D虚拟在线聊天室，用于多人交互，该聊天介绍了用户的3D运动，并实时驱动其单独的3D虚拟化头像。与现有的基于可穿戴设备的解决方案相比，WOC使用单个相机提供方便和低成本的3D运动捕获。为了促进身临其境的聊天体验，WOC提供了高保真虚拟化的化身操纵，这也支持用户定义的字符。使用分布式数据流服务，系统为所有用户提供高度同步的运动和声音。部署在网站上，无需安装，用户可以在https://yanch.cloud上自由体验虚拟在线聊天。

由于其广泛的应用，例如自动驾驶，机器人技术等，认识到Point Cloud视频的人类行为引起了学术界和行业的极大关注。但是，当前的点云动作识别方法通常需要大量的数据，其中具有手动注释和具有较高计算成本的复杂骨干网络，这使得对现实世界应用程序不切实际。因此，本文考虑了半监督点云动作识别的任务。我们提出了一个蒙版的伪标记自动编码器（\ textbf {Maple}）框架，以学习有效表示，以较少的注释以供点云动作识别。特别是，我们设计了一个新颖有效的\ textbf {de}耦合\ textbf {s} patial- \ textbf {t} emporal trans \ textbf {pert}（\ textbf {destbrof {destformer}）作为maple的backbone。在Destformer中，4D点云视频的空间和时间维度被脱钩，以实现有效的自我注意，以学习长期和短期特征。此外，要从更少的注释中学习判别功能，我们设计了一个蒙版的伪标记自动编码器结构，以指导Destformer从可用框架中重建蒙面帧的功能。更重要的是，对于未标记的数据，我们从分类头中利用伪标签作为从蒙版框架重建功能的监督信号。最后，全面的实验表明，枫树在三个公共基准上取得了优异的结果，并且在MSR-ACTION3D数据集上以8.08 \％的精度优于最先进的方法。

语义细分是计算机视觉中的一个流行研究主题，并且在其上做出了许多努力，结果令人印象深刻。在本文中，我们打算搜索可以实时运行此问题的最佳网络结构。为了实现这一目标，我们共同搜索深度，通道，扩张速率和特征空间分辨率，从而导致搜索空间约为2.78*10^324可能的选择。为了处理如此大的搜索空间，我们利用差异架构搜索方法。但是，需要离散地使用使用现有差异方法搜索的体系结构参数，这会导致差异方法找到的架构参数与其离散版本作为体系结构搜索的最终解决方案之间的离散差距。因此，我们从解决方案空间正则化的创新角度来缓解离散差距的问题。具体而言，首先提出了新型的解决方案空间正则化（SSR）损失，以有效鼓励超级网络收敛到其离散。然后，提出了一种新的分层和渐进式解决方案空间缩小方法，以进一步实现较高的搜索效率。此外，我们从理论上表明，SSR损失的优化等同于L_0-NORM正则化，这说明了改善的搜索评估差距。综合实验表明，提出的搜索方案可以有效地找到最佳的网络结构，该结构具有较小的模型大小（1 m）的分割非常快的速度（175 fps），同时保持可比较的精度。

多尺度学习框架已被视为一种能够提高语义分割的能力类别。然而，这个问题并不是微不足道的，尤其是对于现实世界的部署，通常需要高效率推理潜伏期。在本文中，我们彻底分析了卷积块的设计（卷积的类型和卷积中的频道数量），以及跨多个尺度的相互作用方式，所有这些都是从轻量级的语义分割的角度来看。通过这样的深入比较，我们综述了三个原则，因此设计了轻巧且逐渐估计的网络（LPS-NET），这些网络以贪婪的方式在新颖地扩展了网络复杂性。从技术上讲，LPS-NET首先利用了建立小型网络的原则。然后，LPS-NET通过扩展单个维度（卷积块的数量，通道数量或输入分辨率）来逐步扩展到较大网络，以实现最佳的速度/准确性交易。在三个数据集上进行的广泛实验始终证明了LPS-NET优于几种有效的语义分割方法。更值得注意的是，我们的LPS-NET在CityScapes测试套装上达到73.4％MIOU，NVIDIA GTX 1080TI的速度为413.5fps，导致绩效提高1.5％，对抗最高的速度为65％ - ART STDC。代码可在\ url {https://github.com/yihengzhang-cv/lps-net}中获得。

多尺度视觉变压器（VIT）已成为计算机视觉任务的强大骨干，而变压器量表中的自发计算则四处w.r.r.t.输入补丁编号。因此，现有的解决方案通常采用下采样操作（例如，平均合并）对密钥/值进行大幅降低计算成本。在这项工作中，我们认为，这种过度侵略性的下采样设计并不是可逆的，不可避免地会导致信息删除，尤其是对于物体中的高频组件（例如，纹理细节）。在小波理论的驱动下，我们构建了一种新的小波视觉变压器（\ textbf {Wave-vit}），该变压器以统一的方式通过小波变换和自我发挥学习来制定可逆的下采样。该提案可以通过对钥匙/价值观进行无损的下采样，从而实现自我发挥的学习，从而促进了追求更好的效率-VS-VS-Crifacy权衡。此外，逆小波变换被利用以通过扩大的接收场来汇总局部环境来增强自我注意力输出。我们通过广泛的实验比多个视觉任务（例如，图像识别，对象检测和实例分割）来验证波动的优势。它的性能超过了具有可比的拖鞋的最先进的VIT骨干。源代码可在\ url {https://github.com/yehli/imagenetmodel}中获得。

先前的工作提出了几种策略，以降低自我发挥机制的计算成本。这些作品中的许多作品都考虑将自我关注程序分解为区域和局部特征提取程序，这些程序都会产生较小的计算复杂性。但是，区域信息通常仅以损失的不良信息为代价，原因是由于下采样而丢失。在本文中，我们提出了一种新颖的变压器体系结构，旨在减轻成本问题，称为双视觉变压器（双击）。新的体系结构结合了一个关键的语义途径，可以更有效地将代币向量压缩到具有降低的复杂性顺序的全球语义中。然后，这种压缩的全局语义是通过另一个构造的像素途径在学习更精细的像素级详细信息中作为有用的先前信息。然后将语义途径和像素途径集成在一起并进行联合训练，从而通过这两个途径并行传播增强的自我运动信息。此后，双攻击能够降低计算复杂性，而不会损害很大的准确性。我们从经验上证明，双重射击比SOTA变压器体系结构具有较高的训练复杂性。源代码可在\ url {https://github.com/yehli/imagenetmodel}中获得。