The introduction of high-quality image generation models, particularly the StyleGAN family, provides a powerful tool to synthesize and manipulate images. However, existing models are built upon high-quality (HQ) data as desired outputs, making them unfit for in-the-wild low-quality (LQ) images, which are common inputs for manipulation. In this work, we bridge this gap by proposing a novel GAN structure that allows for generating images with controllable quality. The network can synthesize various image degradation and restore the sharp image via a quality control code. Our proposed QC-StyleGAN can directly edit LQ images without altering their quality by applying GAN inversion and manipulation techniques. It also provides for free an image restoration solution that can handle various degradations, including noise, blur, compression artifacts, and their mixtures. Finally, we demonstrate numerous other applications such as image degradation synthesis, transfer, and interpolation.
translated by 谷歌翻译
深度学习模型已在解决财务时间序列分析问题,推翻常规机器学习和统计方法方面已成为主导。大多数情况下,由于市场条件固有的差异,经过培训的一个市场或安全性的模型不能直接应用于另一个市场或安全性。此外,随着市场随着时间的推移的发展,有必要在提供新数据时更新现有模型或培训新模型。这种情况是大多数财务预测应用程序固有的,自然会提出以下研究问题:如何有效地将预训练的模型适应新的数据集,同时保留旧数据的性能,尤其是当旧数据无法访问时?在本文中,我们提出了一种方法,可以有效保留在一组证券上预先培训的神经网络中可用的知识,并将其调整以实现新的证券。在我们的方法中,通过保持现有连接的固定来维护预先训练的神经网络中编码的先验知识,并且通过一组增强连接对新证券进行调整,并使用新数据对新证券进行了调整。辅助连接被限制为低级。这不仅使我们能够快速针对新任务进行优化,而且还可以降低部署阶段的存储和运行时间复杂性。我们的方法的效率在使用大规模限制订单数据集的股票中价运动预测问题中得到了经验验证。实验结果表明,我们的方法增强了预测性能,并减少了网络参数的总数。
translated by 谷歌翻译
贝叶斯神经网络(BNNS)通过考虑为每个输入的权重和采样不同模型的分布,提供了一种工具来估计神经网络的不确定性。在本文中,我们提出了一种称为变异神经网络的神经网络中不确定性估计的方法,该方法通过使用可学习的子层转换其输入来生成层的输出分布的参数,而是为层的输出分布生成参数。在不确定性质量估计实验中,我们表明VNN与通过反向传播方法相比,VNN比Monte Carlo辍学或贝叶斯获得更好的不确定性质量。
translated by 谷歌翻译
我们为神经机翻译(NMT)提供了一个开源工具包。新工具包主要基于拱形变压器(Vaswani等,2017)以及下面详述的许多其他改进,以便创建一个独立的,易于使用,一致和全面的各个领域的机器翻译任务框架。它是为了支持双语和多语言翻译任务的工具,从构建各个语料库的模型开始推断新的预测或将模型打包给提供功能的JIT格式。
translated by 谷歌翻译
In this paper, we propose a novel technique, namely INVALIDATOR, to automatically assess the correctness of APR-generated patches via semantic and syntactic reasoning. INVALIDATOR reasons about program semantic via program invariants while it also captures program syntax via language semantic learned from large code corpus using the pre-trained language model. Given a buggy program and the developer-patched program, INVALIDATOR infers likely invariants on both programs. Then, INVALIDATOR determines that a APR-generated patch overfits if: (1) it violates correct specifications or (2) maintains errors behaviors of the original buggy program. In case our approach fails to determine an overfitting patch based on invariants, INVALIDATOR utilizes a trained model from labeled patches to assess patch correctness based on program syntax. The benefit of INVALIDATOR is three-fold. First, INVALIDATOR is able to leverage both semantic and syntactic reasoning to enhance its discriminant capability. Second, INVALIDATOR does not require new test cases to be generated but instead only relies on the current test suite and uses invariant inference to generalize the behaviors of a program. Third, INVALIDATOR is fully automated. We have conducted our experiments on a dataset of 885 patches generated on real-world programs in Defects4J. Experiment results show that INVALIDATOR correctly classified 79% overfitting patches, accounting for 23% more overfitting patches being detected by the best baseline. INVALIDATOR also substantially outperforms the best baselines by 14% and 19% in terms of Accuracy and F-Measure, respectively.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
语义分割是开发医学图像诊断系统的重要任务。但是,构建注释的医疗数据集很昂贵。因此,在这种情况下,半监督方法很重要。在半监督学习中,标签的质量在模型性能中起着至关重要的作用。在这项工作中,我们提出了一种新的伪标签策略,可提高用于培训学生网络的伪标签的质量。我们遵循多阶段的半监督训练方法,该方法在标记的数据集上训练教师模型,然后使用训练有素的老师将伪标签渲染用于学生培训。通过这样做,伪标签将被更新,并且随着培训的进度更加精确。上一个和我们的方法之间的关键区别在于,我们在学生培训过程中更新教师模型。因此,在学生培训过程中,提高了伪标签的质量。我们还提出了一种简单但有效的策略,以使用动量模型来提高伪标签的质量 - 训练过程中原始模型的慢复制版本。通过应用动量模型与学生培训期间的重新渲染伪标签相结合,我们在五个数据集中平均达到了84.1%的骰子分数(即Kvarsir,CVC-ClinicdB,Etis-laribpolypdb,cvc-colondb,cvc-colondb,cvc-colondb和cvc-300)和CVC-300)只有20%的数据集用作标记数据。我们的结果超过了3%的共同实践,甚至在某些数据集中取得了完全监督的结果。我们的源代码和预培训模型可在https://github.com/sun-asterisk-research/online学习SSL上找到
translated by 谷歌翻译
为了提倡研究基于深度学习的机器故障检测系统的研究,我们根据微小的声音数据集对拟议系统进行了案例研究。我们的案例研究调查了一个变异自动编码器(VAE),用于增强Valmet AB的小型钻头数据集。一个气门数据集包含134种声音,分为两类:从Valmet AB的一台钻机中记录的“异常”和“正常”,这是瑞典Sundsvall的一家公司,该公司为生物燃料的生产提供设备和流程。使用深度学习模型来检测如此小的声音数据集上的故障钻头通常没有成功。我们采用了VAE来通过合成原始声音的新声音来增加微小数据集中的声音数量。增强数据集是通过将这些合成的声音与原始声音相结合来创建的。我们使用了一个高通滤波器,其通带频率为1000 Hz和一个具有22 \ kern的Passband频率的低通滤波器0.16667EM000 Hz,以在增强数据集中的预处理声音中,然后将其转换为MEL频谱图。然后使用这些MEL频谱图对预训练的2D-CNN ALEXNET进行训练。与使用原始的小声音数据集进行训练预先训练的Alexnet时,使用增强声音数据集将CNN模型的分类结果提高了6.62 \%(94.12 \%(在增强数据集对87.5 \%训练的原始训练时,接受了87.5 \%)数据集)。
translated by 谷歌翻译
Denoising是从声音信号中消除噪音的过程,同时提高声音信号的质量和充分性。 Denoising Sound在语音处理,声音事件分类和机器故障检测系统中有许多应用。本文介绍了一种创建自动编码器来映射噪声机器声音以清洁声音的方法。声音中有几种类型的噪声,例如,环境噪声和信号处理方法产生的频率依赖性噪声。环境活动产生的噪音是环境噪声。在工厂中,可以通过车辆,钻探,人员在调查区,风和流水中进行交谈来产生环境噪音。这些噪音在声音记录中显示为尖峰。在本文的范围内,我们证明了以高斯分布和环境噪声的消除,并以感应电动机的水龙头水龙头噪声为特定示例。对所提出的方法进行了训练和验证,并在49个正常功能声音和197个水平错位故障声音(Mafaulda)中进行了验证。均方根误差(MSE)用作评估标准,用于评估使用拟议的自动编码器和测试集中的原始声音在deno的声音之间的相似性。当Denoise在正常函数类别的15个测试声音上两种类型的噪声时,MSE低于或等于0.14。当在水平错位故障类别上降低60个测试声音时,MSE低于或等于0.15。低MSE表明,生成的高斯噪声和环境噪声几乎都通过拟议的训练有素的自动编码器从原始声音中删除。
translated by 谷歌翻译
在本文中,我们介绍了一个高质量的大规模基准数据集,用于英语 - 越南语音翻译,其中有508音频小时,由331k的三胞胎组成(句子长度的音频,英语源笔录句,越南人目标subtitle句子)。我们还使用强基础进行了经验实验,发现传统的“级联”方法仍然优于现代“端到端”方法。据我们所知,这是第一个大规模的英语 - 越南语音翻译研究。我们希望我们的公开数据集和研究都可以作为未来研究和英语语音翻译应用的起点。我们的数据集可从https://github.com/vinairesearch/phost获得
translated by 谷歌翻译