这项工作系统地调查了深度图像去噪者（DIDS）的对抗性稳健性，即，可以从嘈杂的观察中恢复地面真理的噪音，因对抗性扰动而变化。首先，为了评估DIDS的稳健性，我们提出了一种新的逆势攻击，即观察到的零平均攻击（{\ SC obsatk}），对给定嘈杂的图像来制作对抗零均匀扰动。我们发现现有的确实容易受到{\ SC Obsatk}产生的对抗噪声。其次，为了强化犯罪，我们提出了一种对抗性培训策略，混合对抗训练（{\ SC帽}），共同列车与对抗性和非对抗性嘈杂的数据做出，以确保重建质量很高，并且围绕非对抗性数据是局部光滑的。所得到的确实可以有效去除各种类型的合成和对抗性噪声。我们还发现，DIDS的稳健性使其在看不见的真实噪音上的概括能力。实际上，{\ SC帽子} -Tromed DID可以从真实世界的噪音中恢复高质量的清洁图像，即使没有真正的嘈杂数据训练。基准数据集的广泛实验，包括SET68，PolyU和SIDD，证实了{\ SC Obsatk}和{\ SC帽}的有效性。
translated by 谷歌翻译
类增量学习（CIL）旨在以相位逐相的方式学习多级分类器，其中仅在每个阶段提供类的子集的数据。以前的作品主要专注于初始之后减轻阶段的遗忘。但是，我们发现，在初始阶段改善CIL也是一个有希望的方向。具体而言，我们通过实验表明，在初始阶段直接鼓励CIL学习者将类似的表示类似的表示，因为在所有类别上训练的模型可以大大提升CIL性能。由此激励，我们研究了NA \“IVERY训练初始阶段模型和Oracle模型之间的差异。具体来说，由于这两个模型之间的一个主要区别是培训类的数量，我们研究了这种差异如何影响模型表示。我们发现，通过较少的培训类，每个班级的数据表示位于一个漫长而狭窄的地区;通过更多的培训类，每个阶级的陈述更统一地散射。灵感来自这种观察，我们提出了课堂上的去相关性（CWD）有效地规范了每个类的表示，以更统一地散射，从而模拟与所有类联合训练的模型（即Oracle模型）。我们的CWD易于实施，易于插入现有方法。各种各样的实验基准数据集显示CWD一直在且显着提高现有最先进方法的性能约为1 \％至3 \％。代码将被释放。
translated by 谷歌翻译
本文统一了设计，简化了风险厌恶汤普森采样算法的分析，为多武装爆炸问题的常规风险功能为$ \ rho $。在大偏差理论中使用收缩原理，我们证明了这些连续风险功能的新型浓度界限。与现有的作品相比，所界限取决于样本本身，我们的范围仅取决于样本的数量。这使我们能够以追求的分析挑战，并统一现有汤普森采样的算法的遗憾范围。我们展示了广泛的风险功能以及它们的“漂亮”功能满足连续性条件。使用我们新开发的分析工具包，我们分析了算法$ \ rho $ -mts（对于多项式发行版）和$ \ rho $ -npts（对于有界分布），并证明他们承认渐近最佳的风险厌恶算法的最佳遗憾平均方差，CVAR等普遍存在风险措施，以及一系列新综合的风险措施。数值模拟表明，我们的界限是相当严格的VIS-\“A-VIS算法无关的下限。
translated by 谷歌翻译
我们从频道明智激活的角度调查CNN的对抗性鲁棒性。通过比较\ Textit {非鲁棒}（通常训练）和\ exingit {REXITIT {REARUSTIFIED}（普及培训的）模型，我们观察到对抗性培训（AT）通过将频道明智的数据与自然的渠道和自然的对抗激活对齐来强调CNN同行。然而，在处理逆势数据时仍仍会过度激活以\ texit {excy-computive}（nr）的频道仍会过度激活。此外，我们还观察到，在所有课程上不会导致类似的稳健性。对于强大的类，具有较大激活大小的频道通常是更长的\ extedit {正相关}（pr）到预测，但这种对齐不适用于非鲁棒类。鉴于这些观察结果，我们假设抑制NR通道并对齐PR与其相关性进一步增强了在其下的CNN的鲁棒性。为了检查这个假设，我们介绍了一种新的机制，即\下划线{C} Hannel-Wise \ Underline {i} Mportance的\下划线{F} eature \ Underline {s}选举（CIFS）。 CIFS通过基于与预测的相关性产生非负乘法器来操纵某些层的激活。在包括CIFAR10和SVHN的基准数据集上的广泛实验明确验证了强制性CNN的假设和CIFS的有效性。 \ url {https://github.com/hanshuyan/cifs}
translated by 谷歌翻译
神经常规差分方程（ODES）最近在各种研究域中引起了不断的关注。有一些作品研究了神经杂物的优化问题和近似能力，但他们的鲁棒性尚不清楚。在这项工作中，我们通过探索神经杂物经验和理论上的神经杂物的鲁棒性质来填补这一重要差异。我们首先通过将它们暴露于具有各种类型的扰动并随后研究相应输出的变化来提出基于神经竞争的网络（odeNets）的鲁棒性的实证研究。与传统的卷积神经网络（CNNS）相反，我们发现odeenets对随机高斯扰动和对抗性攻击示例的更稳健。然后，我们通过利用连续时间颂的流动的某种理想性能来提供对这种现象的富有识别理解，即积分曲线是非交叉的。我们的工作表明，由于其内在的稳健性，它很有希望使用神经杂散作为构建强大的深网络模型的基本块。为了进一步增强香草神经杂物杂物的鲁棒性，我们提出了时间不变的稳定神经颂（Tisode），其通过时间不变性和施加稳态约束来规则地规则地规则地对扰动数据的流程。我们表明，Tisode方法优于香草神经杂物，也可以与其他最先进的架构方法一起制造更强大的深网络。 \ url {https://github.com/hanshuyan/tisode}
translated by 谷歌翻译
我们想要模型的文本单位是什么？从字节到多字表达式，可以在许多粒度下分析和生成文本。直到最近，大多数自然语言处理（NLP）模型通过单词操作，将那些作为离散和原子令牌处理，但从字节对编码（BPE）开始，基于次字的方法在许多领域都变得占主导地位，使得仍然存在小词汇表允许快速推断。是道路字符级模型的结束或字节级处理吗？在这项调查中，我们通过展示和评估基于学习分割的词语和字符以及基于子字的方法的混合方法以及基于学习的分割的杂交方法，连接多行工作。我们得出结论，对于所有应用来说，并且可能永远不会成为所有应用的银子弹奇异解决方案，并且严重思考令牌化对许多应用仍然很重要。
translated by 谷歌翻译
已经表明，在一个域上训练的双编码器经常概括到其他域以获取检索任务。一种广泛的信念是，一个双编码器的瓶颈层，其中最终得分仅仅是查询向量和通道向量之间的点产品，它过于局限，使得双编码器是用于域外概括的有效检索模型。在本文中，我们通过缩放双编码器模型的大小{\ em同时保持固定的瓶颈嵌入尺寸固定的瓶颈的大小来挑战这一信念。令人惊讶的是，令人惊讶的是，缩放模型尺寸会对各种缩放提高检索任务，特别是对于域外泛化。实验结果表明，我们的双编码器，\ textbf {g} enovalizable \ textbf {t} eTrievers（gtr），优先级％colbert〜\ cite {khattab2020colbertt}和现有的稀疏和密集的索取Beir DataSet〜\ Cite {Thakur2021Beir}显着显着。最令人惊讶的是，我们的消融研究发现，GTR是非常数据的高效，因为它只需要10 \％MARCO监督数据，以实现最佳域的性能。所有GTR模型都在https://tfhub.dev/google/collections/gtr/1发布。
translated by 谷歌翻译
由于存在动态变化，在标称环境中培训的强化学习（RL）控制策略可能在新的/扰动环境中失败。为了控制具有连续状态和动作空间的系统，我们提出了一种加载方法，通过使用$ \ mathcal {l} _ {1} $自适应控制器（$ \ mathcal {l} _{1} $ AC）。利用$ \ mathcal {l} _ {1} $ AC的能力进行快速估计和动态变化的主动补偿，所提出的方法可以提高RL策略的稳健性，该策略在模拟器或现实世界中培训不考虑广泛的动态变化。数值和现实世界实验经验证明了所提出的方法在使用无模型和基于模型的方法训练的RL政策中的强制性策略的功效。用于真正的拼图设置实验的视频是可用的：//youtu.be/xgob9vpyuge。
translated by 谷歌翻译
我们希望在数据结构和算法的主题项目中解决的问题是破译某些图像，这些图像具有更具特异性的牛动物;其中有必要识别动物是否健康，也就是说，如果它在选择牛的过程中要考虑到良好的条件，或者如果它生病，以知道它是否被丢弃。通过这种压缩算法，这允许拍摄图像并将它们带到这些代码中的检查，并不总是结果将是百分之百精确，但允许此代码是什么允许的高效，它是它适用于机器学习，这意味着它需要的信息越多，结果就越精确，结果将越高，而不会带来一般的兴趣。所提出的算法是NN和双线性插值，其中在执行速度上获得了显着的结果。它的结论是，可以做得更好的工作，但随着交付的事情，据信这是工作的好结果。
translated by 谷歌翻译
此导频研究侧重于称为L2L的工具，允许第二语言（L2）学习者可视化和分析其与母语人员的缩放交互。 L2L使用Zoom转录程序自动生成对话指标，其播放功能与时间戳允许学生重放会话后的任何所选部分的会话反映和自我评审。这项探索性研究调查了一个七周的Teletandem项目，来自爱尔兰大学的本科生学习法国（B2）与来自法国大学学习英语（B2 +）的同龄人通过放大互动。从调查（n = 43）和半结构化访谈（n = 35）收集的数据表明，定量对话指标和对同步内容的定性审查有助于提高学生的置信水平，同时与母语扬声器汇集。此外，它允许他们设定有形的目标来提高他们的参与，并更加了解他们是如何学习的原因。
translated by 谷歌翻译