世界各地的数百万人无法访问网络上的内容,因为大多数内容都没有用他们的语言提供。机器翻译(MT)系统有可能改变这种语言。目前的MT系统为高资源语言对提供了非常准确的结果,例如德语和英语。但是,对于许多低资源语言,MT仍在积极研究中。关键挑战是缺少数据集来构建这些系统。我们呈现Lesan,一个用于低资源语言的MT系统。我们的管道通过利用在线和离线来源来解决低资源MT的关键瓶颈,是埃塞俄比亚的自定义OCR系统和自动对准模块。管道中的最终步骤是序列模型的序列,它将并将语料库与输入进行并联,给我们一个翻译模型。 Lesan的翻译模型是基于变压器架构。构建基础模型后,返回转换,用于利用单旋语。目前莱森支持Tigrinya,Amharic和英语的翻译。我们执行广泛的人类评估,并表明Lesan优于最先进的系统,例如谷歌翻译和全部六对的微软翻译。莱森自由地提供,迄今为止已达到超过1000万译本。目前,只有217个Tigrinya和15,009个Amharic Wikipedia文章。我们相信莱森将通过MT为数百万人民促进对网络的进入。
translated by 谷歌翻译
In the recent years, various gradient descent algorithms including the methods of gradient descent, gradient descent with momentum, adaptive gradient (AdaGrad), root-mean-square propagation (RMSProp) and adaptive moment estimation (Adam) have been applied to the parameter optimization of several deep learning models with higher accuracies or lower errors. These optimization algorithms may need to set the values of several hyperparameters which include a learning rate, momentum coefficients, etc. Furthermore, the convergence speed and solution accuracy may be influenced by the values of hyperparameters. Therefore, this study proposes an analytical framework to use mathematical models for analyzing the mean error of each objective function based on various gradient descent algorithms. Moreover, the suitable value of each hyperparameter could be determined by minimizing the mean error. The principles of hyperparameter value setting have been generalized based on analysis results for model optimization. The experimental results show that higher efficiency convergences and lower errors can be obtained by the proposed method.
translated by 谷歌翻译
The reward hypothesis posits that, "all of what we mean by goals and purposes can be well thought of as maximization of the expected value of the cumulative sum of a received scalar signal (reward)." We aim to fully settle this hypothesis. This will not conclude with a simple affirmation or refutation, but rather specify completely the implicit requirements on goals and purposes under which the hypothesis holds.
translated by 谷歌翻译
Accurate and consistent vehicle localization in urban areas is challenging due to the large-scale and complicated environments. In this paper, we propose onlineFGO, a novel time-centric graph-optimization-based localization method that fuses multiple sensor measurements with the continuous-time trajectory representation for vehicle localization tasks. We generalize the graph construction independent of any spatial sensor measurements by creating the states deterministically on time. As the trajectory representation in continuous-time enables querying states at arbitrary times, incoming sensor measurements can be factorized on the graph without requiring state alignment. We integrate different GNSS observations: pseudorange, deltarange, and time-differenced carrier phase (TDCP) to ensure global reference and fuse the relative motion from a LiDAR-odometry to improve the localization consistency while GNSS observations are not available. Experiments on general performance, effects of different factors, and hyper-parameter settings are conducted in a real-world measurement campaign in Aachen city that contains different urban scenarios. Our results show an average 2D error of 0.99m and consistent state estimation in urban scenarios.
translated by 谷歌翻译
地下水位预测是一个应用时间序列预测任务,具有重要的社会影响,以优化水管理以及防止某些自然灾害:例如,洪水或严重的干旱。在文献中已经报告了机器学习方法以实现这项任务,但它们仅专注于单个位置的地下水水平的预测。一种全球预测方法旨在利用从各个位置的地下水级时序列序列,一次在一个地方或一次在几个地方产生预测。鉴于全球预测方法在著名的竞争中取得了成功,因此在地下水级别的预测上进行评估并查看它们与本地方法的比较是有意义的。在这项工作中,我们创建了一个1026地下水级时序列的数据集。每个时间序列都是由每日测量地下水水平和两个外源变量,降雨和蒸散量制成的。该数据集可向社区提供可重现性和进一步评估。为了确定最佳的配置,可以有效地预测完整的时间序列的地下水水平,我们比较了包括本地和全球时间序列预测方法在内的不同预测因子。我们评估了外源变量的影响。我们的结果分析表明,通过训练过去的地下水位和降雨数据的全球方法获得最佳预测。
translated by 谷歌翻译
遗传算法(GA)是基于遗传学和自然选择原理的基于搜索的优化技术。我们提出了一种算法,该算法通过量子退火器的输入来增强经典GA。与经典GA一样,该算法通过根据其适应性繁殖一系列可能的解决方案来工作。但是,个体的人口是由量子退火器上的连续耦合来定义的,然后通过量子退火产生代表尝试溶液的相应表型。这将定向突变的一种形式引入算法中,可以以各种方式增强其性能。两种关键的增强功能来自具有从父母的适应性(所谓的裙带关系)和退火耦合的连续耦合,从而使整个人群受到最合适的人(所谓的量子量子化)的影响。我们发现我们的算法在几个简单问题上比经典GA更强大。
translated by 谷歌翻译
元梯度方法(Xu等,2018; Zahavy等,2020)为非平稳加强学习问题中的超参数选择和适应性提供了有希望的解决方案。但是,尚未系统地研究此类环境中元梯度的特性。在这项工作中,我们在非平稳环境中对元级别的新清晰度进行了新的清晰度。具体而言,我们问:(i)应向学习的优化者提供多少信息,以使一生中更快地适应和概括,(ii)在此过程中学习了什么元访问功能,以及(iii)是否)元梯度方法在高度非平稳的环境中提供了更大的优势。为了研究提供给元淘汰的信息的影响,如最近的作品(Flennerhag等,2021; Almeida等,2021),我们用学识渊博的元参数功能替换了固定更新规则的调谐元参数选定的上下文功能。上下文功能携带有关代理性能和环境变化的信息,因此可以告知学习的元参数计划。我们发现,添加更多的上下文信息通常是有益的,从而导致元参数值更快地适应并在一生中提高绩效。我们通过对结果的元参数计划和上下文特征的学习功能进行定性分析来支持这些结果。最后,我们发现没有上下文,在高度非平稳的环境中,元梯度并不能比基线提供一致的优势。我们的发现表明,情境化的元梯度可以在非平稳设置中的元梯度中提取高性能方面发挥关键作用。
translated by 谷歌翻译
数据集在机器学习(ML)模型的培训和评估中起着核心作用。但是它们也是许多不希望的模型行为的根本原因,例如有偏见的预测。为了克服这种情况,ML社区提出了一个以数据为中心的文化转变,在该转变中,将数据问题给予他们应有的关注,并且围绕数据集的收集和处理的更多标准实践开始讨论和建立。到目前为止,这些建议主要是自然语言中描述的高级准则,因此,它们很难形式化并适用于特定数据集。从这个意义上讲,受这些建议的启发,我们定义了一种新的特定领域语言(DSL),以精确描述机器学习数据集,以其结构,数据出处和社会关注。我们认为,该DSL将促进任何ML计划,以利用和受益于ML的这种以数据为中心的转移(例如,为新项目选择最合适的数据集或更好地复制其他ML结果)。 DSL被实现为视觉工作室代码插件,并已根据开源许可发布。
translated by 谷歌翻译
成功的数据表示是基于机器学习的医学成像分析的基本因素。深度学习(DL)在强大的表示学习中起着至关重要的作用。但是,深层模型无法概括地看不见的数据可以快速过度拟合复杂的模式。因此,我们可以方便地实施策略,以帮助深入模型,从数据中发现有用的先验,以了解其内在属性。我们称之为双重角色网络(DRN)的模型使用基于最小平方相互信息(LSMI)的依赖关系最大化方法。 LSMI利用依赖度量来确保表示不变性和局部平滑度。尽管先前的工作使用了信息理论诸如相互信息(由于密度估计步骤)在计算上很昂贵的信息理论,但我们的LSMI公式减轻了棘手的相互信息估计的问题,可以用来近似它。基于CT的COVID-19检测和COVID-19的严重程度检测基准的实验证明了我们方法的有效性。
translated by 谷歌翻译
对计算的需求仍在呈指数增长。这种增长将转化为计算能源消耗的指数增长,除非其能源效率的提高可以超过其需求增加。然而,经过数十年的研究,由于已经进行了高度优化,因此进一步提高能源效率变得越来越具有挑战性。结果,在某个时候,计算需求的增加可能会超过其能源效率的增加,这可能会大大增加。这种指数增长(如果不受组织)将把计算定位为全球碳排放的重要贡献者。尽管著名的技术公司已经意识到了这一问题并试图减少其碳排放,但可以理解的是,他们的成功是可以无意间传达出现在或很快就会解决问题的错误印象的潜力。如果这种错误的印象有助于阻止在这一领域进行进一步研究,因为我们讨论了消除计算机,而且更普遍地社会的碳排放远非解决问题。为了更好地理解问题的范围,本文提炼了决定计算的碳足迹及其对实现可持续计算的影响的基本趋势。
translated by 谷歌翻译