This paper introduces a learned hierarchical B-frame coding scheme in response to the Grand Challenge on Neural Network-based Video Coding at ISCAS 2023. We address specifically three issues, including (1) B-frame coding, (2) YUV 4:2:0 coding, and (3) content-adaptive variable-rate coding with only one single model. Most learned video codecs operate internally in the RGB domain for P-frame coding. B-frame coding for YUV 4:2:0 content is largely under-explored. In addition, while there have been prior works on variable-rate coding with conditional convolution, most of them fail to consider the content information. We build our scheme on conditional augmented normalized flows (CANF). It features conditional motion and inter-frame codecs for efficient B-frame coding. To cope with YUV 4:2:0 content, two conditional inter-frame codecs are used to process the Y and UV components separately, with the coding of the UV components conditioned additionally on the Y component. Moreover, we introduce adaptive feature modulation in every convolutional layer, taking into account both the content information and the coding levels of B-frames to achieve content-adaptive variable-rate coding. Experimental results show that our model outperforms x265 and the winner of last year's challenge on commonly used datasets in terms of PSNR-YUV.

随着第五代无线通信技术的应用，正在使用更多的智能终端并生成大量数据，这引发了有关如何处理和利用这些无线数据的广泛研究。目前，研究人员专注于有关上层应用程序数据的研究或研究基于蒙特卡洛模拟产生的大量数据的特定问题的智能传输方法。本文旨在通过根据无线通信协议构建知识图以及领域专家知识并进一步研究无线内源性智能来了解无线数据的内源关系。我们首先构建了通过5G/B5G测试网络收集的无线核心网络数据的内源性因素的知识图。然后，基于图形卷积神经网络的新型模型旨在学习图表的表示，该图表用于对图节点进行分类和模拟关系预测。提出的模型实现了自动节点分类和网络异常引起的跟踪。它也以无监督的方式应用于公共数据集。最后，结果表明，所提出的模型的分类精度比现有的无监督图神经网络模型（例如VGAE和ARVGE）更好。

变压器被认为是自2018年以来最重要的深度学习模型之一，部分原因是它建立了最先进的记录（SOTA）记录，并有可能取代现有的深神经网络（DNNS）。尽管取得了显着的胜利，但变压器模型的延长周转时间是公认的障碍。序列长度的多样性施加了其他计算开销，其中需要将输入零填充到批处理中的最大句子长度，以容纳并行计算平台。本文针对现场可编程的门阵列（FPGA），并提出了一个连贯的序列长度自适应算法 - 硬件与变压器加速度的共同设计。特别是，我们开发了一个适合硬件的稀疏注意操作员和长度意识的硬件资源调度算法。提出的稀疏注意操作员将基于注意力的模型的复杂性降低到线性复杂性，并减轻片外记忆流量。提出的长度感知资源硬件调度算法动态分配了硬件资源以填充管道插槽并消除了NLP任务的气泡。实验表明，与CPU和GPU实施相比，我们的设计准确度损失很小，并且具有80.2 $ \ times $和2.6 $ \ times $速度，并且比先进的GPU加速器高4 $ \ times $ $ $ \ times $通过Cublas Gemm优化。

地球观测卫星多年来一直在不同位置和具有不同模态的光谱带的地球环境中连续监测地球环境。由于复杂的卫星传感条件（例如，天气，云，大气，轨道），可能无法使用某些模式，乐队，位置和时间的观察。CVPR 2022 [1]中的多学历矩阵完成挑战提供了多模式卫星数据，用于以亚马逊雨林作为感兴趣的地区来解决此类数据稀疏挑战。这项工作提出了自适应的实时多模式回归和生成框架，并以0.2226的LPIP，123.0372的PSNR和0.6347的SSIM在这一挑战中在看不见的测试查询方面取得了出色的性能。

最近，我们提供了Wenet，这是一种面向生产的端到端语音识别工具包，它引入了统一的两通道（U2）框架和内置运行时，以解决单个中的流和非流传输模式。模型。为了进一步提高ASR性能并促进各种生产要求，在本文中，我们提出了Wenet 2.0，并提供四个重要的更新。 （1）我们提出了U2 ++，这是一个带有双向注意解码器的统一的两次通行框架，其中包括通过左右注意力解码器的未来上下文信息，以提高共享编码器的代表性和在夺回阶段的表现。 （2）我们将基于N-Gram的语言模型和基于WFST的解码器引入WENET 2.0，从而促进了在生产方案中使用丰富的文本数据。 （3）我们设计了一个统一的上下文偏见框架，该框架利用特定于用户的上下文（例如联系人列表）为生产提供快速适应能力，并提高了使用LM和没有LM场景的ASR准确性。 （4）我们设计了一个统一的IO，以支持大规模数据进行有效的模型培训。总而言之，全新的WENET 2.0可在各种Corpora上的原始WENET上取得高达10 \％的相对识别性能提高，并提供了一些重要的以生产为导向的功能。

视频实例细分（VIS）是一项在视频中同时需要分类，细分和实例关联的任务。最近的VIS方法依靠复杂的管道来实现此目标，包括与ROI相关的操作或3D卷积。相比之下，我们通过添加额外的跟踪头提出了基于实例分割方法Condinst的简单有效的单阶段VIS框架。为了提高实例关联精度，提出了一种新型的双向时空对比度学习策略，用于跟踪跨帧的嵌入。此外，利用实例的时间一致性方案来产生时间连贯的结果。在YouTube-VIS-2019，YouTube-Vis-2021和OVIS-2021数据集上进行的实验验证了所提出方法的有效性和效率。我们希望所提出的框架可以作为许多其他实例级视频关联任务的简单而强大的替代方案。

在本文中，设计了一种人类的驾驶和决策框架，专为自治车辆（AVS）而设计，其旨在使AVS更好地融入人类驾驶的运输生态，并消除人类驱动程序对自主驾驶的误解和不相容。基于对交互数据集的分析，以模糊推理方法建立驾驶侵略性估计模型。然后，设计了一种人类的驾驶模型，将大脑情绪学习电路模型（BELCM）与两点预览模型集成。在人类的车道改变决策算法中，成本函数全面考虑推动安全性和旅行效率。基于成本函数和多约束，动态游戏算法应用于建模AV和人司机之间的交互和决策。另外，为了保证AVS的车道变化安全，建立了人工潜在的场模型，用于碰撞风险评估。最后，基于驾驶模拟器，利用LOOM-in--in--in--in--in--in--in--in--in-in-in-in in算法进行评估。

为了增强对多模式知识库和多模式信息处理的研究，我们提出了一项具有多模式知识库（MKB）的称为多模式实体标签（MET）的新任务。我们还使用现有的MKB开发了问题的数据集。在MKB中，有实体及其相关的文本和图像。在MET中，给定文本图像对，一个人使用MKB中的信息自动识别文本图像对中的相关实体。我们通过使用信息检索范式来解决任务，并使用NLP和CV中的最新方法实现多个基线。我们进行了广泛的实验，并对实验结果进行了分析。结果表明，任务具有挑战性，但是当前的技术可以实现相对较高的性能。我们将发布数据集，代码和模型，以供将来研究。

本文介绍了WenetsPeech，一个由10000多小时的高质量标记语音组成的多域普通话语料库，2400多小时弱贴言论，大约100万小时的语音，总共22400多小时。我们收集来自YouTube和Podcast的数据，涵盖各种演讲样式，场景，域名，主题和嘈杂的条件。引入了基于光学字符识别（OCR）的方法，以在其对应的视频字幕上为YouTube数据生成音频/文本分段候选，而高质量的ASR转录系统用于为播客数据生成音频/文本对候选。然后我们提出了一种新的端到端标签错误检测方法，可以进一步验证和过滤候选者。我们还提供三个手动标记的高质量测试集，以及WenetsPeech进行评估 - 开发用于训练中的交叉验证目的，从互联网收集的匹配测试，并从真实会议中记录的测试\ _MEETING，以获得更具挑战性的不匹配测试。使用有线exeeEX培训的基线系统，用于三个流行的语音识别工具包，即Kaldi，Espnet和Wenet，以及三个测试集的识别结果也被提供为基准。据我们所知，WenetsPeech是目前最大的开放式普通话语音语料库，其中有利于生产级语音识别的研究。

In recent years, arbitrary image style transfer has attracted more and more attention. Given a pair of content and style images, a stylized one is hoped that retains the content from the former while catching style patterns from the latter. However, it is difficult to simultaneously keep well the trade-off between the content details and the style features. To stylize the image with sufficient style patterns, the content details may be damaged and sometimes the objects of images can not be distinguished clearly. For this reason, we present a new transformer-based method named STT for image style transfer and an edge loss which can enhance the content details apparently to avoid generating blurred results for excessive rendering on style features. Qualitative and quantitative experiments demonstrate that STT achieves comparable performance to state-of-the-art image style transfer methods while alleviating the content leak problem.