使用自然语言和基于语音的界面Gradu-ally转换消费者搜索，商店和表达他们的喜好。目前的工作探讨了与会话接口交互的语法结构的变化（命令与基于请求的表达方式）对消费者的主观任务享受产生负面影响，并系统地改变人类声音的客观声音特征。我们表明请求（与命令）导致语音融合和更低的语音延迟的折扣，最终是消费者的更自然的任务经验。据我们所知，这是第一份工作文件，可以改变消费者如何与智能对象系统地影响消费者的物联网体验的输入方式。我们提供了改变所需输入，以启动与智能对象的对话引发系统的改变，这两者都在消费者的主观经验和人类声音的客观语音变化。目前的研究还通过突出人类语音中的特征提取的未开发潜力作为一种在语音形成期间与消费者的声音特征联系起来的新型数据格式以及他们的子行程任务经验来进行方法暗示。
translated by 谷歌翻译
We present an extension to masked autoencoders (MAE) which improves on the representations learnt by the model by explicitly encouraging the learning of higher scene-level features. We do this by: (i) the introduction of a perceptual similarity term between generated and real images (ii) incorporating several techniques from the adversarial training literature including multi-scale training and adaptive discriminator augmentation. The combination of these results in not only better pixel reconstruction but also representations which appear to capture better higher-level details within images. More consequentially, we show how our method, Perceptual MAE, leads to better performance when used for downstream tasks outperforming previous methods. We achieve 78.1% top-1 accuracy linear probing on ImageNet-1K and up to 88.1% when fine-tuning, with similar results for other downstream tasks, all without use of additional pre-trained models or data.
translated by 谷歌翻译
Synthetic data offers the promise of cheap and bountiful training data for settings where lots of labeled real-world data for tasks is unavailable. However, models trained on synthetic data significantly underperform on real-world data. In this paper, we propose Proportional Amplitude Spectrum Training Augmentation (PASTA), a simple and effective augmentation strategy to improve out-of-the-box synthetic-to-real (syn-to-real) generalization performance. PASTA involves perturbing the amplitude spectrums of the synthetic images in the Fourier domain to generate augmented views. We design PASTA to perturb the amplitude spectrums in a structured manner such that high-frequency components are perturbed relatively more than the low-frequency ones. For the tasks of semantic segmentation (GTAV to Real), object detection (Sim10K to Real), and object recognition (VisDA-C Syn to Real), across a total of 5 syn-to-real shifts, we find that PASTA outperforms more complex state-of-the-art generalization methods while being complementary to the same.
translated by 谷歌翻译
The NASA Astrophysics Data System (ADS) is an essential tool for researchers that allows them to explore the astronomy and astrophysics scientific literature, but it has yet to exploit recent advances in natural language processing. At ADASS 2021, we introduced astroBERT, a machine learning language model tailored to the text used in astronomy papers in ADS. In this work we: - announce the first public release of the astroBERT language model; - show how astroBERT improves over existing public language models on astrophysics specific tasks; - and detail how ADS plans to harness the unique structure of scientific papers, the citation graph and citation context, to further improve astroBERT.
translated by 谷歌翻译
Many current approaches to machine learning in particle physics use generic architectures that require large numbers of parameters and disregard underlying physics principles, limiting their applicability as scientific modeling tools. In this work, we present a machine learning architecture that uses a set of inputs maximally reduced with respect to the full 6-dimensional Lorentz symmetry, and is fully permutation-equivariant throughout. We study the application of this network architecture to the standard task of top quark tagging and show that the resulting network outperforms all existing competitors despite much lower model complexity. In addition, we present a Lorentz-covariant variant of the same network applied to a 4-momentum regression task.
translated by 谷歌翻译
尽管变压器已经开始在视力中占主导地位，但将它们应用于大图像仍然很困难。这样做的一个很大的原因是，自我发场的标记数二次缩放，而令牌数量又随图像大小而倍增。在较大的图像（例如1080p）上，网络中总计算的60％以上仅用于创建和应用注意矩阵。我们通过引入Hydra注意来解决这个问题，这是视觉变压器（VITS）的极有效的关注操作。自相矛盾的是，这种效率来自对其极端的多头关注：通过使用尽可能多的注意力头部，Hydra注意力在代币和没有隐藏常数的特征上是线性的，使其比标准自我注意力要快得多。在现成的VIT-B/16中，代币计数的一倍。此外，Hydra注意力保留了ImageNet上的高精度，在某些情况下实际上可以改善它。
translated by 谷歌翻译
在本文中，我们介绍Bayesldm，这是一个用于贝叶斯纵向数据建模的系统，该系统由高级建模语言组成，具有针对复杂的多变量时间序列数据建模的特定功能，并与编译器相结合，可以生成优化的概率程序代码，以在指定模型中执行指定的推理。 Bayesldm支持贝叶斯网络模型的建模，其特定关注动态贝叶斯网络（DBN）的高效，声明性规范。 Bayesldm编译器将模型规范与可用数据和输出代码相结合，用于执行贝叶斯推断，以同时处理丢失的数据，同时处理未知模型参数。这些功能有可能通过抽象产生计算有效的概率推断代码的过程来显着加速域中的迭代建模工作流，这些迭代建模工作流程涉及复杂纵向数据的分析。我们描述了Bayesldm系统组件，评估表示和推理优化的效率，并提供了该系统在分析异质和部分观察到的移动健康数据的应用示例。
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
昼夜节律的破坏是阿尔茨海默氏病（AD）患者的基本症状。人类脑中基因表达的完整昼夜节律编排及其与AD的固有关联仍然很大程度上是未知的。我们提出了一种新颖的综合方法，即Prime，以检测和分析在多个数据集中不合时宜的高维基因表达数据中的节奏振荡模式。为了证明Prime的实用性，首先，我们通过从小鼠肝脏中的时间课程表达数据集作为跨物种和跨器官验证来对其进行验证。然后，我们将其应用于研究来自19个对照和AD患者的19个人脑区域的未接收基因组基因表达中的振荡模式。我们的发现揭示了15对控制大脑区域中清晰，同步的振荡模式，而这些振荡模式要么消失或昏暗。值得注意的是，Prime在不需要样品的时间戳而发现昼夜节律的节奏模式。 Prime的代码以及在本文中复制数字的代码，可在https://github.com/xinxingwu-uk/prime上获得。
translated by 谷歌翻译
深度学习一直是近来最具破坏性的技术进步之一。深度学习模型的高性能以高度计算，存储和功率要求为代价。感知到加速和压缩这些模型以提高设备性能的直接需求，我们引入了Deeplite Neutrino，以便对模型的生产优化和Deeplite运行时进行介绍，以在基于ARM的平台上部署超低位量化模型。我们为ARMV7和ARMV8架构实施低级量化内核，可在32位和64位基于ARM的设备上进行部署。通过使用矢量化，并行化和平铺的有效实现，与具有XNNPACK后端的TensorFlow Lite相比，我们在分类和检测模型上分别实现了高达2倍和2.2倍的速度。与ONNX运行时相比，我们还获得了高达5倍和3.2倍的显着加速，分别用于分类和检测模型。
translated by 谷歌翻译