Script is a kind of structured knowledge extracted from texts, which contains a sequence of events. Based on such knowledge, script event prediction aims to predict the subsequent event. To do so, two aspects should be considered for events, namely, event description (i.e., what the events should contain) and event encoding (i.e., how they should be encoded). Most existing methods describe an event by a verb together with only a few core arguments (i.e., subject, object, and indirect object), which are not precise. In addition, existing event encoders are limited to a fixed number of arguments, which are not flexible to deal with extra information. Thus, in this paper, we propose the Rich Event Prediction (REP) framework for script event prediction. Fundamentally, it is based on the proposed rich event description, which enriches the existing ones with three kinds of important information, namely, the senses of verbs, extra semantic roles, and types of participants. REP contains an event extractor to extract such information from texts. Based on the extracted rich information, a predictor then selects the most probable subsequent event. The core component of the predictor is a transformer-based event encoder to flexibly deal with an arbitrary number of arguments. Experimental results on the widely used Gigaword Corpus show the effectiveness of the proposed framework.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

Video super-resolution is one of the most popular tasks on mobile devices, being widely used for an automatic improvement of low-bitrate and low-resolution video streams. While numerous solutions have been proposed for this problem, they are usually quite computationally demanding, demonstrating low FPS rates and power efficiency on mobile devices. In this Mobile AI challenge, we address this problem and propose the participants to design an end-to-end real-time video super-resolution solution for mobile NPUs optimized for low energy consumption. The participants were provided with the REDS training dataset containing video sequences for a 4X video upscaling task. The runtime and power efficiency of all models was evaluated on the powerful MediaTek Dimensity 9000 platform with a dedicated AI processing unit capable of accelerating floating-point and quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 500 FPS rate and 0.2 [Watt / 30 FPS] power consumption. A detailed description of all models developed in the challenge is provided in this paper.

电缆在房屋，医院和工业仓库中很普遍，容易纠结。本文通过引入新颖的不确定性定量指标和与电缆相互作用以减少感知不确定性相互作用的新型不确定性定量指标和动作，扩展了对自动释放长电缆的先前工作。我们为Tangle操纵2.0（SGTM 2.0）提供了滑动和握力，该系统使用双边机器人自动解开大约3米长的电缆，并使用每个步骤的不确定性估算值估计，以告知动作。通过互动降低不确定性，缠结操作2.0（SGTM 2.0）的滑动和握住可以减少其必须采用的状态排列动作的数量，从而大大加快运行时间。实验表明，SGTM 2.0可以在1或2台上和图8节的电缆上取得83％的脱节成功，并且在这些配置中的70％终止检测成功，在无障碍精度上优于SGTM 1.0，超过43％，在全部推出速度上超过200％ 。可以在sites.google.com/view/sgtm2上找到补充材料，可视化和视频。

对话场景是语音处理技术最重要，最具挑战性的场景之一，因为对话中的人们以随意的方式相互反应。在对话中检测每个人的语音活动对于下游任务，例如自然语言处理，机器翻译等。人们指的是“何时说话”作为说话者诊断（SD）的检测技术。传统上，诊断错误率（DER）长期以来一直用作SD系统的标准评估度量。但是，der没有给简短的对话短语提供足够的重视，这在语义层面上很重要。此外，在语音社区中，仍然无法使用精心准确的手动测试数据集，适合评估对话性SD技术。在本文中，我们设计和描述了对话式短语扬声器诊断（CSSD）任务，该任务包括培训和测试数据集，评估指标和基线。在数据集方面，尽管先前开源的180小时对话魔术Data-RAMC数据集，但我们还准备了一个20小时的对话演讲测试数据集，并精心验证了CSSD任务的时间戳注释。在度量方面，我们设计了新的对话der（CDER）评估度量，该评估度量计算出语音级别的SD准确性。在基线方面，我们采用了一种常用的方法：变异贝叶斯HMM X-vector系统，作为CSSD任务的基线。我们的评估指标可在https://github.com/speechclub/cder_metric上公开获得。

时间动作本地化在视频分析中起着重要作用，该视频分析旨在将动作定位和分类在未修剪视频中。先前的方法通常可以预测单个时间尺度的特征空间上的动作。但是，低级量表的时间特征缺乏足够的语义来进行动作分类，而高级尺度则无法提供动作边界的丰富细节。为了解决这个问题，我们建议预测多个颞尺度特征空间的动作。具体而言，我们使用不同尺度的精致特征金字塔将语义从高级尺度传递到低级尺度。此外，为了建立整个视频的长时间尺度，我们使用时空变压器编码器来捕获视频帧的远程依赖性。然后，具有远距离依赖性的精制特征被送入分类器以进行粗糙的动作预测。最后，为了进一步提高预测准确性，我们建议使用框架级别的自我注意模块来完善每个动作实例的分类和边界。广泛的实验表明，所提出的方法可以超越Thumos14数据集上的最先进方法，并在ActivityNet1.3数据集上实现可比性的性能。与A2NET（tip20，avg \ {0.3：0.7 \}），sub-action（csvt2022，avg \ {0.1：0.5 \}）和afsd（cvpr21，avg \ {0.3：0.7 \}） ，提出的方法分别可以提高12.6 \％，17.4 \％和2.2 \％

磁共振成像是临床诊断的重要工具。但是，它遭受了漫长的收购时间。深度学习的利用，尤其是深层生成模型，在磁共振成像中提供了积极的加速和更好的重建。然而，学习数据分布作为先验知识并从有限数据中重建图像仍然具有挑战性。在这项工作中，我们提出了一种新颖的Hankel-K空间生成模型（HKGM），该模型可以从一个k-空间数据的训练集中生成样品。在先前的学习阶段，我们首先从k空间数据构建一个大的Hankel矩阵，然后从大型Hankel矩阵中提取多个结构化的K空间贴片，以捕获不同斑块之间的内部分布。从Hankel矩阵中提取斑块使生成模型可以从冗余和低级别的数据空间中学习。在迭代重建阶段，可以观察到所需的解决方案遵守学识渊博的先验知识。通过将其作为生成模型的输入来更新中间重建解决方案。然后，通过对测量数据对其Hankel矩阵和数据一致性组合施加低排名的惩罚来替代地进行操作。实验结果证实，单个K空间数据中斑块的内部统计数据具有足够的信息来学习强大的生成模型并提供最新的重建。

我们提出XMEM，这是一种由Atkinson-Shiffrin Memory模型启发的统一功能存储器存储的长视频的视频对象分割体系结构。视频对象分割的先前工作通常仅使用一种类型的功能内存。对于超过一分钟的视频，单个功能内存模型紧密地链接了内存消耗和准确性。相比之下，遵循Atkinson-Shiffrin模型，我们开发了一种结构，该体系结构结合了多个独立但深厚的特征记忆存储：快速更新的感觉存储器，高分辨率的工作记忆和紧凑的长期记忆。至关重要的是，我们开发了一种记忆增强算法，该算法通常将主动使用的工作记忆元素合并为长期记忆，从而避免记忆爆炸并最大程度地减少长期预测的性能衰减。结合新的记忆阅读机制，XMEM在与最先进的方法（不适用于长视频上使用）相当的长视频时，XMEM大大超过了长效数据集上的最先进性能数据集。代码可从https://hkchengrex.github.io/xmem获得

我们考虑了个性化新闻推荐的问题，每个用户都以顺序消费新闻。现有的个性化新闻推荐方法的重点是利用用户兴趣，而忽略了推荐中的探索，从而导致反馈循环并长期损害了建议质量。我们基于上下文土匪推荐策略，自然可以解决剥削 - 探索权衡取舍。主要挑战是探索大规模项目空间并利用不确定性的深层表示的计算效率。我们提出了一个两阶段的分层主题，新的深层上下文强盗框架，以在有许多新闻项目时有效地学习用户偏好。我们为用户和新闻使用深度学习表示形式，并将神经上限限制（UCB）策略推广到广义添加剂UCB和BILINEAR UCB。大规模新闻建议数据集的经验结果表明，我们提出的政策是有效的，并且表现优于基线匪徒政策。

随着代表性学习成为一种在实践中降低增强学习（RL）样本复杂性（RL）的强大技术，对其优势的理论理解仍然是有限的。在本文中，我们从理论上表征了在低级马尔可夫决策过程（MDP）模型下表示学习的好处。我们首先研究多任务低级RL（作为上游培训），所有任务都共享一个共同的表示，并提出了一种称为加油的新型多任务奖励算法。加油站同时了解每个任务的过渡内核和近乎最佳的策略，并为下游任务输出良好的代表。我们的结果表明，只要任务总数高于一定的阈值，多任务表示学习比单独学习的样本效率要高。然后，我们研究在线和离线设置中的下游RL，在该设置中，代理商分配了一个新任务，共享与上游任务相同的表示形式。对于在线和离线设置，我们都会开发出样本效率高的算法，并表明它找到了一个近乎最佳的策略，其次要差距在上游中学习的估计误差和一个消失的术语作为数字作为数字的估计误差的范围。下游样品的大量变大。我们在线和离线RL的下游结果进一步捕获了从上游采用学习的表示形式的好处，而不是直接学习低级模型的表示。据我们所知，这是第一个理论研究，它表征了代表性学习在基于探索的无奖励多任务RL中对上游和下游任务的好处。