会话代理已成为简单任务允许情况的一般人群的组成部分。然而，这些系统尚未对各种和少数群体的任何社会影响，例如，帮助患有神经系统障碍的人，例如ALS和言语，语言和社交交流障碍的人。语言模型技术可以发挥巨大作用，以帮助这些用户进行日常沟通和社交互动。要启用此群体，我们构建了一个对话系统，可以使用CUES或关键字的用户控制。我们构建可以在用于控制响应生成的对话响应上下文中建立相关提示的模型，并可以加快通信。我们还介绍了一个关键字丢失来限制模型输出。我们在定性和定量上展示我们的模型可以有效地将关键字诱导到模型响应中，而不会降低响应的质量。在使用退行性障碍的人的使用情况的背景下，我们展示了对我们的提示或关键字预测器和可控对话系统的人类评估，并显示我们的模型比没有控制的模型更好地表现更好。我们的研究表明，在结束到结束响应生成模型的关键字控制是强大的，可以使用户能够与退行性疾病启用和赋予日常通信的日常沟通。
translated by 谷歌翻译
A challenge in spoken language translation is that plenty of spoken content is long-form, but short units are necessary for obtaining high-quality translations. To address this mismatch, we fine-tune a general-purpose, large language model to split long ASR transcripts into segments that can be independently translated so as to maximize the overall translation quality. We compare to several segmentation strategies and find that our approach improves BLEU score on three languages by an average of 2.7 BLEU overall compared to an automatic punctuation baseline. Further, we demonstrate the effectiveness of two constrained decoding strategies to improve well-formedness of the model output from above 99% to 100%.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
本文提议使用修改的完全连接层转移初始化，以进行1900诊断。卷积神经网络（CNN）在图像分类中取得了显着的结果。但是，由于图像识别应用程序的复杂性，培训高性能模型是一个非常复杂且耗时的过程。另一方面，转移学习是一种相对较新的学习方法，已在许多领域使用，以减少计算来实现良好的性能。在这项研究中，Pytorch预训练的模型（VGG19 \ _bn和WideresNet -101）首次在MNIST数据集中应用于初始化，并具有修改的完全连接的层。先前在Imagenet中对使用的Pytorch预培训模型进行了培训。提出的模型在Kaggle笔记本电脑中得到了开发和验证，并且在网络培训过程中没有花费巨大的计算时间，达到了99.77％的出色精度。我们还将相同的方法应用于SIIM-FISABIO-RSNA COVID-19检测数据集，并达到80.01％的精度。相比之下，以前的方法在训练过程中需要大量的压缩时间才能达到高性能模型。代码可在以下链接上找到：github.com/dipuk0506/spinalnet
translated by 谷歌翻译
数字化和自动化方面的快速进步导致医疗保健的加速增长，从而产生了新型模型，这些模型正在创造新的渠道，以降低成本。 Metaverse是一项在数字空间中的新兴技术，在医疗保健方面具有巨大的潜力，为患者和医生带来了现实的经验。荟萃分析是多种促成技术的汇合，例如人工智能，虚拟现实，增强现实，医疗设备，机器人技术，量子计算等。通过哪些方向可以探索提供优质医疗保健治疗和服务的新方向。这些技术的合并确保了身临其境，亲密和个性化的患者护理。它还提供自适应智能解决方案，以消除医疗保健提供者和接收器之间的障碍。本文对医疗保健的荟萃分析提供了全面的综述，强调了最新技术的状态，即采用医疗保健元元的能力技术，潜在的应用程序和相关项目。还确定了用于医疗保健应用的元元改编的问题，并强调了合理的解决方案作为未来研究方向的一部分。
translated by 谷歌翻译
超越地球轨道的人类空间勘探将涉及大量距离和持续时间的任务。为了有效减轻无数空间健康危害，数据和空间健康系统的范式转移是实现地球独立性的，而不是Earth-Reliance所必需的。有希望在生物学和健康的人工智能和机器学习领域的发展可以解决这些需求。我们提出了一个适当的自主和智能精密空间健康系统，可以监控，汇总和评估生物医学状态;分析和预测个性化不良健康结果;适应并响应新累积的数据;并提供对其船员医务人员的个人深度空间机组人员和迭代决策支持的预防性，可操作和及时的见解。在这里，我们介绍了美国国家航空航天局组织的研讨会的建议摘要，以便在太空生物学和健康中未来的人工智能应用。在未来十年，生物监测技术，生物标志科学，航天器硬件，智能软件和简化的数据管理必须成熟，并编织成精确的空间健康系统，以使人类在深空中茁壮成长。
translated by 谷歌翻译
空间生物学研究旨在了解太空飞行对生物的根本影响，制定支持深度空间探索的基础知识，最终生物工程航天器和栖息地稳定植物，农作物，微生物，动物和人类的生态系统，为持续的多行星寿命稳定。要提高这些目标，该领域利用了来自星空和地下模拟研究的实验，平台，数据和模型生物。由于研究扩展到低地球轨道之外，实验和平台必须是最大自主，光，敏捷和智能化，以加快知识发现。在这里，我们介绍了由美国国家航空航天局的人工智能，机器学习和建模应用程序组织的研讨会的建议摘要，这些应用程序为这些空间生物学挑战提供了关键解决方案。在未来十年中，将人工智能融入太空生物学领域将深化天空效应的生物学理解，促进预测性建模和分析，支持最大自主和可重复的实验，并有效地管理星载数据和元数据，所有目标使生活能够在深空中茁壮成长。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译
卷积神经网络（CNN）通常是使用基于随机梯度下降（SGD）优化技术训练的。现有的SGD优化器通常会遭受最小值和最低振荡的过度损失。在本文中，我们提出了一种新方法，以下内容称为Adainject，以将二阶时刻注入一阶时刻，以称为梯度下降优化器。具体而言，参数的短期更改被用作重量，以在更新规则中注入二阶时刻。 Adainject优化器控制参数更新，避免了最小值的过度换档，并减少了最小值接近的振荡。提出的方法本质上是通用的，可以与任何现有的SGD优化器集成。通过直观地解释了Anainject优化器的有效性以及一些玩具示例。我们还显示了拟议的基于注射的优化器的收敛性。此外，我们通过广泛的实验与最新的优化器（即Adaminject，diffgradinject，radaminject和Adabeliefinject在四个基准数据集中）一起描述了ADAIN方法的功效。实验中使用了不同的CNN模型。在CIFAR10数据集上使用resnext29模型，使用diffgradinject Optimizer观察到TOP-1分类错误率$ 16.54 \％$的最高提高。总体而言，我们通过提出的ADAIN方法观察到现有优化器的性能提高非常有希望。该代码可在：\ url {https://github.com/shivram1987/adainject}中获得。
translated by 谷歌翻译
随机平滑最近被出现为一种有效的工具，可以在尺度上进行深度神经网络分类器认证。随机平滑的所有现有技术都集中在各向同性$ \ ell_p $认证，这具有通过$ \ ell_p $ -norm半径在各向同性方法中可以轻松地进行证书的优势。然而，各向同性认证限制了可以通过输入到最坏情况对手的输入的区域，即，它不能推理其他“关闭”，潜在的大，恒定的预测安全区域。为了缓解这个问题，（i）我们在简化分析后理论上将各向同性随机平滑$ \ ell_1 $和$ \ ell_2 $证明延伸到其广泛的各向异性同行。此外，（ii）我们提出了评估指标，允许比较一般证书 - 如果它通过经过认证区域的卷定量每个证书的量化，证书优于另一个证书。我们介绍ACCER，是通过体积最大化获得给定测试集样本的各向异性证书的实际框架。我们的经验结果表明，ACCER在多个半径的CIFAR-10和ImageNet上实现最先进的$ \ ell_1 $和$ \ ell_2 $认证准确性，同时在体积方面认证大幅更大的地区，从而突出了益处远离各向同性分析。我们的代码可以在https://github.com/motasemalfarra/ancer中获得。
translated by 谷歌翻译