今天机器学习的普遍的范式是使用过去的观察来预测未来的观点。但是,如果我们有兴趣了解现在的过去?这种情况确实是天文学家必须经常争辩。要了解我们宇宙的形成,我们必须导出星系的可见质量含量的时间演变。然而,要观察完整的明星生活,人们需要等待十亿年!为了克服这种困难,天体物理学家利用超级计算机来利用和发展的星系模拟模型,直到宇宙的当前年龄,从而建立观察到的辐射和星形成历史(SFHS)之间的映射。这种地面真理SFHS缺乏实际的星系观察,通常推断出 - 使用贝叶斯拟合方法从光谱能量分布(SED)的信心差。在这次调查中,我们讨论了无监督域适应的能力,以获得具有模拟数据的星系的准确SFH,作为开发最终应用于观察数据的技术的必要的第一步。
translated by 谷歌翻译
宇宙学调查实验中的数据处理和分析管道引入了数据扰动,可以显着降低基于深度学习的模型的性能。鉴于加工和分析宇宙学调查数据的监督深度学习方法的增加,数据扰动效应的评估以及增加模型稳健性的方法的发展越来越重要。在星系形态分类的背景下,我们研究了扰动在成像数据中的影响。特别是,我们在基线数据培训和扰动数据测试时检查使用神经网络的后果。我们考虑与两个主要来源相关的扰动:1)通过泊松噪声和2)诸如图像压缩或望远镜误差的图像压缩或望远粉误差所产生的步骤所产生的数据处理噪声提高了观测噪声。我们还测试了域适应技术在减轻扰动驱动误差时的功效。我们使用分类准确性,潜在空间可视化和潜在空间距离来评估模型稳健性。如果没有域适应,我们发现处理像素级别错误容易将分类翻转成一个不正确的类,并且更高的观察噪声使得模型在低噪声数据上培训无法对Galaxy形态进行分类。另一方面,我们表明,具有域适应的培训改善了模型稳健性并减轻了这些扰动的影响,以更高的观测噪声的数据提高了23%的分类精度。域适应也增加了基线与错误分类的错误分类的潜在空间距离〜2.3的倍数距离,使模型更强大地扰动。
translated by 谷歌翻译
We introduce a new representation learning approach for domain adaptation, in which data at training and test time come from similar but different distributions. Our approach is directly inspired by the theory on domain adaptation suggesting that, for effective domain transfer to be achieved, predictions must be made based on features that cannot discriminate between the training (source) and test (target) domains.The approach implements this idea in the context of neural network architectures that are trained on labeled data from the source domain and unlabeled data from the target domain (no labeled target-domain data is necessary). As the training progresses, the approach promotes the emergence of features that are (i) discriminative for the main learning task on the source domain and (ii) indiscriminate with respect to the shift between the domains. We show that this adaptation behaviour can be achieved in almost any feed-forward model by augmenting it with few standard layers and a new gradient reversal layer. The resulting augmented architecture can be trained using standard backpropagation and stochastic gradient descent, and can thus be implemented with little effort using any of the deep learning packages.We demonstrate the success of our approach for two distinct classification problems (document sentiment analysis and image classification), where state-of-the-art domain adaptation performance on standard benchmarks is achieved. We also validate the approach for descriptor learning task in the context of person re-identification application.
translated by 谷歌翻译
Process monitoring and control are essential in modern industries for ensuring high quality standards and optimizing production performance. These technologies have a long history of application in production and have had numerous positive impacts, but also hold great potential when integrated with Industry 4.0 and advanced machine learning, particularly deep learning, solutions. However, in order to implement these solutions in production and enable widespread adoption, the scalability and transferability of deep learning methods have become a focus of research. While transfer learning has proven successful in many cases, particularly with computer vision and homogenous data inputs, it can be challenging to apply to heterogeneous data. Motivated by the need to transfer and standardize established processes to different, non-identical environments and by the challenge of adapting to heterogeneous data representations, this work introduces the Domain Adaptation Neural Network with Cyclic Supervision (DBACS) approach. DBACS addresses the issue of model generalization through domain adaptation, specifically for heterogeneous data, and enables the transfer and scalability of deep learning-based statistical control methods in a general manner. Additionally, the cyclic interactions between the different parts of the model enable DBACS to not only adapt to the domains, but also match them. To the best of our knowledge, DBACS is the first deep learning approach to combine adaptation and matching for heterogeneous data settings. For comparison, this work also includes subspace alignment and a multi-view learning that deals with heterogeneous representations by mapping data into correlated latent feature spaces. Finally, DBACS with its ability to adapt and match, is applied to a virtual metrology use case for an etching process run on different machine types in semiconductor manufacturing.
translated by 谷歌翻译
Top-performing deep architectures are trained on massive amounts of labeled data. In the absence of labeled data for a certain task, domain adaptation often provides an attractive option given that labeled data of similar nature but from a different domain (e.g. synthetic images) are available. Here, we propose a new approach to domain adaptation in deep architectures that can be trained on large amount of labeled data from the source domain and large amount of unlabeled data from the target domain (no labeled targetdomain data is necessary).As the training progresses, the approach promotes the emergence of "deep" features that are (i) discriminative for the main learning task on the source domain and (ii) invariant with respect to the shift between the domains. We show that this adaptation behaviour can be achieved in almost any feed-forward model by augmenting it with few standard layers and a simple new gradient reversal layer. The resulting augmented architecture can be trained using standard backpropagation.Overall, the approach can be implemented with little effort using any of the deep-learning packages. The method performs very well in a series of image classification experiments, achieving adaptation effect in the presence of big domain shifts and outperforming previous state-ofthe-art on Office datasets.
translated by 谷歌翻译
二进制恒星经历各种相互作用和进化阶段,对于预测和解释观察到的特性至关重要。具有完整恒星结构和进化模拟的二元种群合成在计算上需要大量的质量转移序列。最近开发的二元种群综合代码Posydon结合了梅萨二元星模拟的网格,然后将其插值以模拟大型大型二进制文件。计算高密度直线网格的传统方法对于高维网格,不可扩展,这是一系列金属性,旋转和偏心率的范围。我们提出了一种新的活跃学习算法PSY-CRI,该算法使用数据收集过程中的机器学习来适应和迭代选择目标模拟以运行,从而导致自定义,高性能的训练集。我们在玩具问题上测试PSY-CRIS,发现所得的训练集比常规或随机采样网格所需的模拟更少以进行准确的分类和回归。我们进一步将psy-cris应用于构建Mesa模拟动态网格的目标问题,我们证明,即使没有微调,仅$ \ sim 1/4 $的模拟集也足以足以达到相同的分类精度。当针对目标应用程序优化算法参数时,我们预计将进一步增益。我们发现,仅对分类进行优化可能会导致回归中的绩效损失,反之亦然。降低产生网格的计算成本将使Posydon的未来版本涵盖更多的输入参数,同时保留插值精度。
translated by 谷歌翻译
银河系的半分析模型(SAM)的关键要素是晕光的质量组装历史,该历史是在树结构中编码的。构建光环合并历史的最常用方法是基于高分辨率,计算密集的N体模拟的结果。我们显示机器学习(ML)技术,特别是生成的对抗网络(GAN),是一种有希望的新工具,可以通过适度的计算成本解决此问题,并保留模拟中合并树的最佳功能。我们通过使用两个Halo Finder-Tree-Tree Builder算法构建的星系及其环境(EAGLE)模拟套件的有限的合并树样品来训练我们的GAN模型:Subfind-D-D-Trees和Rockstar-Consistentrees。我们的GAN模型成功地学习了具有高时间分辨率的结构良好的合并树结构,并在考虑训练过程中最多三个变量时,重现用于训练的合并树样品的统计特征。这些输入(我们的GAN模型)也学到了其表示,是光环祖细胞的质量和最终的后代,祖细胞类型(主晕或卫星)以及祖细胞与主分支中的祖先的距离。后两个输入的包含大大改善了对光环质量生长历史的最终学识,尤其是对于子发现样的ML树。当将ML合并树的同等大小的样本与Eagle模拟的样品进行比较时,我们发现了与子发现样的ML树的更好一致性。最后,我们的基于GAN的框架可用于构建低和中间质量光环的合并历史,这是宇宙学模拟中最丰富的。
translated by 谷歌翻译
由于耗时的光曲线计算和高维参数空间中的病理可能性景观,通过基于标准的采样方法对二进制微透镜曲线进行建模可能具有挑战性。在这项工作中,我们提出了魔术,这是一个机器学习框架,可有效,准确地推断出具有现实数据质量的二进制事件的微透镜参数。在魔术中,将二进制微透镜参数分为两组,并通过不同的神经网络分别推断。魔术的关键特征是引入神经控制的微分方程,该方程提供了通过不规则采样和较大数据差距处理光曲线的能力。基于模拟的光曲线,我们表明魔术可以在二进制质量比和分离上达到几%的分数不确定性。我们还在真实的微透镜事件中测试魔术。即使引入了较大的数据差距,魔术也能够找到退化的解决方案。由于不规则的采样在天文学调查中很常见,因此我们的方法还对涉及时间序列的其他研究具有影响。
translated by 谷歌翻译
深度学习模型的最新发展,捕捉作物物候的复杂的时间模式有卫星图像时间序列(坐在),大大高级作物分类。然而,当施加到目标区域从训练区空间上不同的,这些模型差没有任何目标标签由于作物物候区域之间的时间位移进行。为了解决这个无人监督跨区域适应环境,现有方法学域不变特征没有任何目标的监督,而不是时间偏移本身。因此,这些技术提供了SITS只有有限的好处。在本文中,我们提出TimeMatch,一种新的无监督领域适应性方法SITS直接占时移。 TimeMatch由两个部分组成:1)时间位移的估计,其估计具有源极训练模型的未标记的目标区域的时间偏移,和2)TimeMatch学习,它结合了时间位移估计与半监督学习到一个分类适应未标记的目标区域。我们还引进了跨区域适应的开放式访问的数据集与来自欧洲四个不同区域的旁边。在此数据集,我们证明了TimeMatch优于所有竞争的方法,通过11%的在五个不同的适应情景F1-得分,创下了新的国家的最先进的跨区域适应性。
translated by 谷歌翻译
Deep learning has produced state-of-the-art results for a variety of tasks. While such approaches for supervised learning have performed well, they assume that training and testing data are drawn from the same distribution, which may not always be the case. As a complement to this challenge, single-source unsupervised domain adaptation can handle situations where a network is trained on labeled data from a source domain and unlabeled data from a related but different target domain with the goal of performing well at test-time on the target domain. Many single-source and typically homogeneous unsupervised deep domain adaptation approaches have thus been developed, combining the powerful, hierarchical representations from deep learning with domain adaptation to reduce reliance on potentially-costly target data labels. This survey will compare these approaches by examining alternative methods, the unique and common elements, results, and theoretical insights. We follow this with a look at application areas and open research directions.
translated by 谷歌翻译
我们开发了卷积神经网络(CNNS),快速,直接从无线电尘埃连续图像中推断出行星质量。在原始板块中的年轻行星引起的子结构可用于推断潜在的年轻行星属性。流体动力模拟已被用于研究地球属性与这些磁盘特征之间的关系。然而,这些尝试了微调的数值模拟,以一次适合一个原始磁盘,这是耗时的,或者四方平均模拟结果,以导出间隙宽度/深度和行星质量之间的一些线性关系,这丢失了信息磁盘中的不对称功能。为了应对这些缺点,我们开发了行星间隙神经网络(PGNET),以推断出2D图像的行星质量。我们首先符合张等人的网格数据。 (2018)作为分类问题。然后,通过使用近随机采样参数运行额外的模拟来分布数据集,并将行星质量和磁盘粘度一起作为回归问题衍生在一起。分类方法可以达到92 \%的准确性,而回归方法可以达到1 $ \ Sigma $ AS 0.16 DEX,用于行星质量和0.23°D磁盘粘度。我们可以在线性拟合方法中重现退化缩放$ \ alpha $ $ \ propto $ $ m_p ^ 3 $。这意味着CNN方法甚至可以用于寻找退化关系。梯度加权类激活映射有效地确认PGNETS使用适当的磁盘特征来限制行星质量。我们为张等人提供了PGNETS和传统配件方法的计划。 (2018),并讨论各种方法的优缺点。
translated by 谷歌翻译
在2015年和2019年之间,地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”,研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用,并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人,仍然在测试阶段,承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中,在研究和开发的那些中,最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
目前,由精确的径向速度(RV)观察结果受到恒星活性引入的虚假RV信号的限制。我们表明,诸如线性回归和神经网络之类的机器学习技术可以有效地从RV观测中删除活动信号(由于星形/张图引起的)。先前的工作着重于使用高斯工艺回归等建模技术仔细地过滤活性信号(例如Haywood等人,2014年)。取而代之的是,我们仅使用对光谱线平均形状的更改进行系统地删除活动信号,也没有有关收集观测值的信息。我们对模拟数据(使用SOAP 2.0软件生成; Dumusque等人,2014年生成)和从Harps-N太阳能望远镜(Dumusque等,2015; Phillips等人2015; 2016; Collier训练)培训了机器学习模型。 Cameron等人2019)。我们发现,这些技术可以从模拟数据(将RV散射从82 cm/s提高到3 cm/s)以及从HARPS-N太阳能望远镜中几乎每天进行的600多种真实观察结果来预测和消除恒星活动(将RV散射从82 cm/s提高到3 cm/s)。 (将RV散射从1.753 m/s提高到1.039 m/s,提高了约1.7倍)。将来,这些或类似的技术可能会从太阳系以外的恒星观察中去除活动信号,并最终有助于检测到阳光状恒星周围可居住的区域质量系外行星。
translated by 谷歌翻译
本文重点研究\文本颜色的问题{黑} {半监督}域适配用于时间序列预测,这是一个很容易被忽视的,但具有挑战性的问题是由于可变的和复杂的条件的依赖关系。事实上,这些特定领域的条件依赖主要领导的数据偏移量,时间滞后,并且变体数据的分布。为了解决这个问题,我们分析了变条件依赖于时间序列数据,并认为因果结构是不同的域之间的稳定,并进一步提高了因果条件转变的假设。通过这一假设的启发,我们考虑的时间序列数据的因果生成过程,并制定一个终端到终端的型号为转移的时间序列预测。该方法不仅可以发现跨域\ textit {Granger因果}也解决了跨域的时间序列预测问题。它甚至可以提供预测结果在一定程度上的解释性。我们进一步分析理论所提出的方法,其中在目标域泛化的错误不仅通过在源和目标域,但也受到来自不同域的因果结构之间的相似经验的风险有界的优越性。在合成的和真实数据实验结果表明,用于转让的时间序列预测了该方法的有效性。
translated by 谷歌翻译
域适应性是现代机器学习中的一种流行范式,旨在解决培训或验证数据集之间具有用于学习和测试分类器(源域)和潜在的大型未标记数据集的培训或验证数据集之间的分歧问题,其中利用了模型(目标域)(目标域)(目标域) 。任务是找到源数据集的源和目标数据集的这种常见表示,其中源数据集提供了培训的信息,因此可以最大程度地减少来源和目标之间的差异。目前,最流行的领域适应性解决方案是基于训练神经网络,这些神经网络结合了分类和对抗性学习模块,这些模块是饥饿的,通常很难训练。我们提出了一种称为域适应性主成分分析(DAPCA)的方法,该方法发现线性减少的数据表示有助于解决域适应任务。 DAPCA基于数据点对之间引入正权重,并概括了主成分分析的监督扩展。 DAPCA代表一种迭代算法,因此在每次迭代中都解决了一个简单的二次优化问题。保证算法的收敛性,并且在实践中的迭代次数很少。我们验证了先前提出的用于解决域适应任务的基准的建议算法,还显示了在生物医学应用中对单细胞法数据集进行分析中使用DAPCA的好处。总体而言,考虑到源域和目标域之间可能的差异,DAPCA可以作为许多机器学习应用程序中有用的预处理步骤。
translated by 谷歌翻译
最近,深度神经网络在时间序列的预测中越来越受欢迎。他们成功的主要原因是他们有效捕获多个相关时间序列的复杂时间动态的能力。这些深度预测者的优势才开始在有足够数量的数据的情况下开始出现。这对实践中的典型预测问题提出了挑战,在实践中,每个时间序列的时间序列或观察值有限,或者两者兼而有之。为了应对这些数据稀缺问题,我们提出了一个新颖的域适应框架,域适应预报员(DAF)。 DAF利用具有丰富数据样本(源)的相关领域的统计强度,以通过有限的数据(目标)提高感兴趣域的性能。特别是,我们使用基于注意力的共享模块,该模块与跨域跨域和私人模块的域歧视器一起使用。我们同时诱导域不变的潜在特征(查询和密钥)和重新培训特定特征(值),以使源和目标域上的预报员的联合训练。一个主要的见解是,我们对齐密钥的设计使目标域即使具有不同的特征也可以利用源时间序列。对各个领域的广泛实验表明,我们提出的方法在合成和现实世界数据集上优于最先进的基准,而消融研究验证了我们的设计选择的有效性。
translated by 谷歌翻译
洪水灾害造成巨大的社会和经济损失。但是,传统的物理模型和基于学习的洪水预测模型都需要大量的历史洪水数据来训练模型参数。当来到一些没有足够历史数据的新站点时,由于过度拟合,模型性能会大大下降。该技术报告提出了一个洪水域适应网络(Flooddan),这是将无监督的域适应性(UDA)应用于洪水预测问题的基准。具体而言,洪水的培训包括两个阶段:在第一阶段,我们训练一个降雨编码器和一个预测头,以学习有关大规模源域数据的一般可转移的水文知识;在第二阶段,我们通过对抗结构域的比对将验证编码器中的知识转移到目标域的降雨编码器中。在推断期间,我们利用了在第二阶段接受训练的目标域降雨编码器,并在第一阶段进行了训练的预测头,以获得洪水预测的预测。 Tunxi和Changhua洪水数据集的实验结果表明,Flooddan可以通过零目标域监督有效地进行洪水预测。 Flooddan的性能与使用450-500小时的监督的监督模型相当。
translated by 谷歌翻译
暗物质光环的质量分布是初始密度扰动通过质量积聚和合并的层次增长的结果。我们使用一个可解释的机器学习框架来提供对暗物质光环的球形平均质量概况的起源的物理见解。我们训练梯度促进的树算法,以预测聚类大小的光环的最终质量曲线,并衡量提供给算法的不同输入的重要性。我们在初始条件(ICS)中找到了两个主要量表,它们影响最终的质量曲线:大约在Haloes的Lagrangian Patch $ r_l $($ r \ sim 0.7 \,r_l $)的比例下的密度,并且在大型中-scale环境($ r \ sim 1.7〜r_l $)。该模型还标识了光环组装历史记录中的三个主要时间尺度,这些时间尺度影响最终轮廓:(i)晕圈内病毒化的,折叠的材料的形成时间,(ii)动态时间,捕获动态无移动的,插入的动态时间光环的第一个轨道(iii)的组成部分是第三个,最近的时间尺度,它捕获了对最近大规模合并事件外部特征的影响。尽管内部轮廓保留了IC的内存,但仅此信息就不足以对外部轮廓产生准确的预测。当我们添加有关Haloes的质量积聚历史的信息时,我们发现所有半径的预测概况都有显着改善。我们的机器学习框架为ICS和质量组装历史的作用提供了新的见解,并在确定集群大小的光环的最终质量概况中。
translated by 谷歌翻译
采用基于数据的方法会导致许多石油和天然气记录数据处理问题的模型改进。由于深度学习提供的新功能,这些改进变得更加合理。但是,深度学习的使用仅限于研究人员拥有大量高质量数据的领域。我们提出了一种提供通用数据表示的方法,适用于针对不同油田的不同问题的解决方案,而少量数据。我们的方法依赖于从井的间隔内进行连续记录数据的自我监督方法,因此从一开始就不需要标记的数据。为了验证收到的表示形式,我们考虑分类和聚类问题。我们还考虑转移学习方案。我们发现,使用变异自动编码器会导致最可靠,最准确的模型。方法我们还发现,研究人员只需要一个针对目标油田的微小单独的数据集即可在通用表示之上解决特定问题。
translated by 谷歌翻译
许多利用移动设备中的传感器的应用以及应用机器学习以提供新颖的服务。然而,诸如不同的用户,设备,环境和超参数之类的各种因素影响了这种应用的性能,从而使域移位(即,来自训练源数据集的目标用户的分发偏移)是一个重要问题。虽然最近的域适应技术试图解决这个问题,但各种因素之间的复杂相互作用通常会限制其有效性。我们认为,准确估算未训练的域中的性能可能会显着降低性能不确定性。我们呈现Dapper(域适配性能估计器),其估计目标域中的适应性能,只有未标记的目标数据。我们的直觉是目标数据上模型的输出提供了模型在目标域中的实际性能的线索。 Dapper不需要昂贵的标签成本,也不需要在部署后涉及额外的培训。与四个基线相比,我们与四个真实世界传感数据集进行了评估,表明,估计精度平均17%平均占据了基线的表现。此外,我们的On-Device实验表明,与基线相比,Dapper达到了多达216倍的计算开销。
translated by 谷歌翻译