Direct speech-to-speech translation (S2ST), in which all components can be optimized jointly, is advantageous over cascaded approaches to achieve fast inference with a simplified pipeline. We present a novel two-pass direct S2ST architecture, {\textit UnitY}, which first generates textual representations and predicts discrete acoustic units subsequently. We enhance the model performance by subword prediction in the first-pass decoder, advanced two-pass decoder architecture design and search strategy, and better training regularization. To leverage large amounts of unlabeled text data, we pre-train the first-pass text decoder based on the self-supervised denoising auto-encoding task. Experimental evaluations on benchmark datasets at various data scales demonstrate that UnitY outperforms a single-pass speech-to-unit translation model by 2.5-4.2 ASR-BLEU with 2.83x decoding speed-up. We show that the proposed methods boost the performance even when predicting spectrogram in the second pass. However, predicting discrete units achieves 2.51x decoding speed-up compared to that case.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.

立体声匹配是许多视觉和机器人应用程序的基本构建块。信息性和简洁的成本量表示对于高准确性和效率的立体声匹配至关重要。在本文中，我们提出了一种新颖的成本量构建方法，称为“注意串联量”（ACV），该方法从相关线索中产生了注意力权重，以抑制冗余信息并增强串联体积中与匹配相关的信息。 ACV可以无缝嵌入大多数立体声匹配网络中，所得网络可以使用更轻巧的聚合网络，同时获得更高的精度。我们进一步设计了快速版本的ACV版本以实现实时性能，名为FAST-ACV，它产生了很高的可能性差异假设，以及来自低分辨率相关线索的相应注意力权重，可显着降低计算和记忆成本，同时保持令人满意的精度。我们快速ACV的核心思想是音量注意传播（VAP），它可以自动从上采样相关量中选择准确的相关值，并将这些准确的值传播到周围环境像素具有模棱两可的相关线索。此外，我们分别基于我们的ACV和Fast-ACV设计了高度准确的网络ACVNET和实时网络快速ACVNET，该网络在几个基准上实现了最新性能（即，我们的ACVNET排名第二，第二名在Kitti 2015和场景流以及所有已发布方法中的Kitti 2012和Eth3d的第三次；我们的快速ACVNET几乎优于现场流的所有最新实时方法，Kitti 2012和2015年，与此同时，与此同时更好的概括能力）

视频语义细分（VSS）的本质是如何利用时间信息进行预测。先前的努力主要致力于开发新技术来计算诸如光学流和注意力之类的跨框架亲和力。取而代之的是，本文通过跨框架亲和力之间的采矿关系从不同的角度做出了贡献，可以在其上实现更好的时间信息聚合。我们在两个方面探索亲和力之间的关系：单尺度的内在相关性和多尺度关系。受传统功能处理的启发，我们提出了单尺度亲和力改进（SAR）和多尺度亲和力聚合（MAA）。为了使执行MAA可行，我们提出了一种选择性令牌掩蔽（STM）策略，以在计算亲和力时为不同量表选择一致参考令牌的子集，这也提高了我们方法的效率。最后，采用了SAR和MAA加强的跨框架亲和力，以自适应地汇总时间信息。我们的实验表明，所提出的方法对最新的VSS方法表现出色。该代码可在https://github.com/guoleisun/vss-mrcfa上公开获取

激光雷达语义分割的当前方法对于现实世界应用，例如自动驾驶，因为它是封闭式和静态的。封闭设置的假设使网络只能输出训练的类的标签，即使是从未见过的对象，而静态网络也无法根据所看到的知识来更新其知识库。因此，在这项工作中，我们提出了激光点云的开放世界语义细分任务，其目的是1）使用开放式语义分段确定旧类和新颖的类，以及2）逐渐将新颖对象纳入现有知识库中使用增量学习而不会忘记旧课程。为此，我们提出了一个冗余分类器（真实）框架，以为开放式语义细分和增量学习问题提供一般体系结构。实验结果表明，真实可以同时在Semantickitti和Nuscenes数据集中的开放式语义分割任务中实现最新性能，并在增量学习过程中减轻灾难性遗忘问题，并减少较大的利润率。

我们提出了一种新的基于网格的学习方法（N-Cloth），适用于合理的3D布变形预测。我们的方法是通用的，可以处理具有任意拓扑的三角网格表示的布料或障碍物。我们使用Graph卷积将布料和对象网格转换为潜在空间以减少网格空间中的非线性。我们的网络可以基于初始布网格模板和目标障碍物网的状态来预测目标3D布网格变形。我们的方法可以处理复杂的布料网格，最高可达100美元的k三角形和场景，具有与SMPL人，非SMPL人或刚体相对应的各种对象。在实践中，我们的方法展示了连续输入框架之间的良好时间相干性，并且可用于在NVIDIA GeForce RTX 3090 GPU上以30-45美元的$ 30-45 $ FPS产生合理的布料模拟。我们突出了以前基于学习的方法和基于物理的布料模拟器的好处。

3D可线模型（3DMMS）是面部形状和外观的生成模型。然而，传统3DMMS的形状参数满足多变量高斯分布，而嵌入式嵌入满足过边距分布，并且这种冲突使得面部重建模型同时保持忠诚度和形状一致性的挑战。为了解决这个问题，我们提出了一种用于单眼脸部重建的新型3DMM的球体面部模型（SFM），这可以保持既有忠诚度和身份一致性。我们的SFM的核心是可以用于重建3D面形状的基矩阵，并且通过采用在第一和第二阶段中使用3D和2D训练数据的两级训练方法来学习基本矩阵。为了解决分发不匹配，我们设计一种新的损失，使形状参数具有超球的潜在空间。广泛的实验表明，SFM具有高表示能力和形状参数空间的聚类性能。此外，它产生富翼面形状，并且形状在单眼性重建中的挑战条件下是一致的。

自动化驾驶系统（ADSS）近年来迅速进展。为确保这些系统的安全性和可靠性，在未来的群心部署之前正在进行广泛的测试。测试道路上的系统是最接近真实世界和理想的方法，但它非常昂贵。此外，使用此类现实世界测试覆盖稀有角案件是不可行的。因此，一种流行的替代方案是在一些设计精心设计的具有挑战性场景中评估广告的性能，A.k.a.基于场景的测试。高保真模拟器已广泛用于此设置中，以最大限度地提高测试的灵活性和便利性 - 如果发生的情况。虽然已经提出了许多作品，但为测试特定系统提供了各种框架/方法，但这些作品之间的比较和连接仍然缺失。为了弥合这一差距，在这项工作中，我们在高保真仿真中提供了基于场景的测试的通用制定，并对现有工作进行了文献综述。我们进一步比较了它们并呈现开放挑战以及潜在的未来研究方向。

我们提出了直接同时的语音转换（SIMUL-S2ST）模型，此外，翻译的产生与中间文本表示无关。我们的方法利用了最近与离散单位直接语音转换的最新进展，其中从模型中预测了一系列离散表示，而不是连续频谱图特征，而不是以无监督的方式学习，并直接传递给语音的声码器综合在一起。我们还介绍了变分单调的多口语注意力（V-MMA），以处理语音同声翻译中效率低效的政策学习的挑战。然后，同时策略在源语音特征和目标离散单元上运行。我们开展实证研究，比较级联和直接方法对Fisher西班牙语 - 英语和必需的英语西班牙语数据集。直接同步模型显示通过在翻译质量和延迟之间实现更好的权衡来优于级联模型。