关于语境化词语表示问题的研究 - 用于句子理解的可重用神经网络组件的发展 - 最近出现了一系列进展,其中心是使用ELMo等方法进行语言建模的无监督预训练任务。本文提供了第一个大规模的系统研究,比较了该语境中不同的预训练任务,既作为语言建模的补充,也作为潜在的替代。该研究的主要结果支持使用语言模型作为预训练任务,并使用语言模型的多任务学习在可比模型中设置新的技术水平。然而,仔细观察这些结果可以发现令人担忧的强大基线和跨越目标任务的惊人变化的结果,这表明广泛使用的预训练和冻结句子编码器的范例可能不是进一步工作的理想平台。
translated by 谷歌翻译
由于深度网络和大型数据集,已知类别对象的视点估计得到了显着改善,但泛化的已知类别仍然非常具有挑战性。为了提高未知类别的表现,我们引入了类别级别的镜头观点估计问题。我们设计了一个新的框架来成功地为新类别训练视点网络,只有很少的例子(10个或更少)。我们将问题表述为学习估计特定类别的3D扫描形状,相关深度估计和语义2D关键点之一。我们应用元学习来学习我们网络的权重,这些权重是特定于特定类别的微观微调。此外,我们设计了一个灵活的暹罗网络,在元学习过程中最大化信息共享。通过对ObjectNet3D和Pascal3D + benchmark数据集的大量实验,我们证明我们的框架,我们称之为MetaView,明显优于微调状态。 -art模型与fewexamples,我们的方法的具体架构创新是实现良好性能的关键。
translated by 谷歌翻译
基于one.g.的数值模拟评估的计算工作量。有限元方法很高。元模型可用于创建低成本替代方案。然而,用于创建足够的元模型的所需样本的数量应该保持较低,这可以通过使用自适应采样技术来实现。在这篇硕士论文中,研究了自适应采样技术在使用克里金技术创建元模型中的应用,该技术通过由先验协方差控制的高斯过程来插值。提出了扩展到多保真问题的Kriging框架,并用于比较文献中提出的基准问题的自适应采样技术以及接触力学的应用。本文首次对Kriging框架的自适应技术的大范围进行了综合比较。此外,自适应技术的灵活性被引入到多保真Kriging以及具有减少的超参数维度的Kriging模型,称为偏最小二乘Kriging。此外,提出了一种创新的二进制分类自适应方案,并用于识别Duffing型振荡器的混沌运动。
translated by 谷歌翻译
统计模型检查(SMC)是一种用于分析可能(部分)未知的概率系统的技术。我们提出了一种用于(无界)可达性的SMC算法,可能对结果产生近似正确(PAC)的保证。一方面,它是第一个这样的算法forstochastic游戏。另一方面,它是第一个实用的算法,即使对马尔可夫决策过程也有这样的保证。与先前的方法相比,PAC保证要求运行时间长于多年的时间,即使对于具有少数状态的系统,我们的算法通常在几分钟内产生合理的精确结果。我们考虑设置(i)不知道转换函数和(ii)知道底层图的拓扑。
translated by 谷歌翻译
我们探索人工神经网络作为从虚构时间格林函数重建光谱函数的工具,这是一个经典条件反问题。我们的ansatz基于有监督的学习框架,其中先验知识在训练数据中被编码,并且逆变换流形通过神经网络被明确地参数化。我们系统地研究了这种新的重建方法,提供了对其在物理动机模拟数据上的表现的详细分析,并将其与已建立的贝叶斯推理方法进行了比较。发现构造精度至少是可比较的,并且特别是在较大的噪声水平下可能是优越的。我们认为,在监督环境中使用标记的训练数据和确定优化目标的自由度是本方法的固有优势,并且可能导致对未来最先进方法的重大改进。进一步研究的潜在方向是详细讨论。
translated by 谷歌翻译
在本文中,我们调查了为对话系统评估而开发的方法和概念。评估是开发过程中的关键部分。通常,对话系统通过人工评估和问卷调查进行评估。然而,这往往是非常耗费成本和时间的。因此,已经做了很多工作来寻找能够减少人工劳动的方法。在本次调查中,我们提出了主要的概念和方法。为此,我们区分了各种对话系统(面向任务的对话系统,会话对话系统和问答 - 对话系统)。我们通过介绍为对话系统开发的主要技术,然后介绍有关该课程的评估方法,涵盖每个课程。
translated by 谷歌翻译
沿复杂轨迹高速移动的物体经常出现视频,特别是运动视频。这些物体在单个帧的曝光时间期间经历了不可忽略的距离,因此它们在帧中的位置没有很好地定义。它们由于运动模糊而呈现为半透明条纹,并且无法通过标准跟踪器可靠地跟踪。我们提出了一种新的方法,称为Deblatting跟踪,基于观察,运动模糊与物体的帧内轨迹直接相关。通过解决两个交织的反问题,盲目去模糊和图像模糊,我们称之为deblatting来估计。然后通过拟合分段二次曲线来估计轨迹,该曲线模拟物理上合理的轨迹。结果,跟踪对象精确地定位,具有比传统跟踪器更高的分辨率。提议的TbD跟踪器对新创建的具有地面实况的视频数据集进行了评估,该数据集由高速摄像机使用新的轨迹 - IoU度量获得,该度量推广了传统的交叉点,并测量了帧 - 帧轨迹的准确性。所提出的方法在重新轨道轨迹精度方面优于基线。
translated by 谷歌翻译
进化和学习是生命适应生存和超越限制的两个基本机制。这些生物学现象启发了成功的计算方法,如进化算法和深度学习。进化依赖于随机突变和随机遗传重组。在这里,我们表明,学习进化,即学习变异和重组比在任意时更好,改善了每代健身增加的进化结果,甚至在可达到的健康方面。我们使用深度强化学习来学习动态调整进化算法的策略以适应不同的环境。我们的方法在组合和连续优化问题上优于经典的进化算法。
translated by 谷歌翻译
已知香草卷积神经网络不仅在图像识别任务中而且在自然语言处理和时间序列分析中提供优异的性能。卷积层的优势之一是能够使用各种参数化卷积核来学习输入域中空间关系的特征。然而,在时间序列分析中,学习这种空间关系并不一定需要无效。在这种情况下,建议使用具有更宽空间分辨率的时间依赖性或内核建模的内核,以便通过扩张内核提供更有效的训练。然而,扩张必须先于先前固定,这限制了内核的灵活性。我们提出了广义扩张网络,它在两个方面概括了初始扩张。首先,我们推导出扩张层的端到端可学习架构,同时也可以学习扩张速率。其次,我们打破了严格的扩张结构,因为我们开发了在输入空间中独立运行的内核。
translated by 谷歌翻译
广泛的计算负担限制了移动设备中CNN的使用以用于密集估计任务。在本文中,我们提出了一个轻量级网络来解决这个问题,即LEDNet,它采用非对称编码器 - 解码器架构来完成实时语义分段。更具体地说,编码器采用ResNet作为骨干网络,其中两个新的操作,在每个残余块中利用信道分离和混洗,以大大降低计算成本,同时保持更高的分割精度。另一方面,在解码器中采用了注意金字塔网络(APN),进一步减轻了整个网络的复杂性。我们的模型只有不到1M的参数,并且能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。综合实验表明,我们的方法在CityScapesdataset的速度和准确性权衡方面取得了最新的成果。
translated by 谷歌翻译