对象检测和识别是物种成功的基本功能。由于对象的外观表现出很大的可变性，因此大脑必须在相同的对象身份（概括过程）下将这些不同的刺激分组。泛化过程是否遵循一些一般原则，还是临时的“戏剧袋”？普遍的概括法提供了证据，表明概括遵循各种物种和任务的类似特性。在这里，我们检验了以下假设：内部表示反映了对象检测和识别环境中的自然特性，而不是系统解决这些问题的细节。通过训练“清晰”和“伪装”动物的图像的深神经网络，我们发现，有了适当的类别原型选择，概括函数是单调的，类似于生物系统的概括函数。我们的发现支持研究的假设。

Deep neural networks (DNNs) have demonstrated superior performance over classical machine learning to support many features in safety-critical systems. Although DNNs are now widely used in such systems (e.g., self driving cars), there is limited progress regarding automated support for functional safety analysis in DNN-based systems. For example, the identification of root causes of errors, to enable both risk analysis and DNN retraining, remains an open problem. In this paper, we propose SAFE, a black-box approach to automatically characterize the root causes of DNN errors. SAFE relies on a transfer learning model pre-trained on ImageNet to extract the features from error-inducing images. It then applies a density-based clustering algorithm to detect arbitrary shaped clusters of images modeling plausible causes of error. Last, clusters are used to effectively retrain and improve the DNN. The black-box nature of SAFE is motivated by our objective not to require changes or even access to the DNN internals to facilitate adoption.Experimental results show the superior ability of SAFE in identifying different root causes of DNN errors based on case studies in the automotive domain. It also yields significant improvements in DNN accuracy after retraining, while saving significant execution time and memory when compared to alternatives. CCS Concepts: • Software and its engineering → Software defect analysis; • Computing methodologies → Machine learning.

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.

形状信息对于人类感知和认知至关重要，因此也应该在认知AI系统中发挥作用。我们采用概念空间的跨学科框架，这提出了通过低维解释相似空间提出概念知识的几何表示。这些相似度空间通常基于一小组刺激的心理不相似性评级，然后通过称为多维缩放的技术转换成空间表示。不幸的是，这种方法无法概括为新的刺激。在本文中，我们使用卷积神经网络来学习感知输入（灰度线图的像素）之间的概括映射，以及形状域的最近提出的心理相似性空间。我们调查不同的网络架构（分类网络与Autalencoder）和不同的培训制度（转移学习与多任务学习）。我们的结果表明，基于分类的多任务学习场景产生了最佳结果，但其性能对相似空间的维度相对敏感。

本文回顾了概念，建模方法和最新发现，沿着不同级别的神经网络模型的抽象范围，包括跨（1）样本跨（2）分布，（3）域，（4）任务，（5）模态的概括，（2） ，和（6）范围。 （1）样品概括的结果表明，对于ImageNet而言，几乎所有最近的改进都减少了训练误差，而过度拟合则保持平坦。几乎消除了所有训练错误，未来的进度将需要专注于减少过度拟合。统计数据的观点突出显示了（2）分布概括如何交替地视为样本权重的变化或输入输出关系的变化。总结了（3）域概括的转移学习方法，以及最新的进步和域适应性基准数据集的财富。在（4）任务概括中调查的最新突破包括很少的元学习方法和BERT NLP引擎以及最近（5）个模态概括研究，这些研究整合了图像和文本数据，并应用了跨嗅觉的生物学启发的网络，视觉和听觉方式。回顾了最近（6）个范围泛化结果，将知识图嵌入深度NLP方法中。此外，讨论了关于大脑的模块化结构以及多巴胺驱动的条件导致抽象思维的步骤。

人类可以通过最小的相互干扰连续学习几项任务，但一次接受多个任务进行培训时的表现较差。标准深神经网络相反。在这里，我们提出了针对人工神经网络的新型计算限制，灵感来自灵长类动物前额叶皮层的较​​早作品，以捕获交织训练的成本，并允许网络在不忘记的情况下按顺序学习两个任务。我们通过两个算法主题，所谓的“呆滞”任务单元和HEBBIAN训练步骤增强了标准随机梯度下降，该步骤加强了任务单元和编码与任务相关信息的隐藏单元之间的连接。我们发现，“缓慢”的单元在培训期间引入了转换成本，该单元在交错训练下偏向表示的表示，而忽略了上下文提示的联合表示，而Hebbian步骤则促进了从任务单元到隐藏层的门控方案的形成这会产生正交表示，完全防止干扰。在先前发布的人类行为数据上验证该模型表明，它与接受过封锁或交错课程训练的参与者的表现相匹配，并且这些绩效差异是由真实类别边界的误解驱动的。

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

海洋生态系统及其鱼类栖息地越来越重要，因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然，因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据，这些数据无法通过当前的手动处理方法有效地分析，这些方法涉及人类观察者。 DL是一种尖端的AI技术，在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域，但仍在探索其在水下鱼类栖息地监测中的使用。在本文中，我们提供了一个涵盖DL的关键概念的教程，该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序，讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外，我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查，包括分类，计数，定位和细分。此外，我们对水下鱼类数据集进行了公开调查，并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解，通过遵循我们的分步教程而为其应用开发的海洋科学家的教程，并了解如何发展其研究，以促进他们的研究。努力。同时，它适用于希望调查基于DL的最先进方法的计算机科学家，以进行鱼类栖息地监测。

在本文中，我们使用一系列建模技术来调查抽象手机是否可以从接触语音声音中出现。实际上，该研究代表了尝试从语言使用的抽象出现的基于使用的语言学理论设备的尝试。我们的任务侧重于最简单的这样的假设抽象。我们测试了两个关于语言知识在语言上的语言知识的反对原则：基于内存的学习（MBL）和纠错学习（ECL）。泛化的过程得到了抽象语言学家与之运作，我们探讨了MBL和ECL是否可以产生类似语言抽象的语言知识。每个模型都有一个由一个扬声器产生的大量预处理语音。我们评估了这些简单模型所学到的一致性或稳定性以及它们引起抽象类别的能力。两种类型的模型在这些测试方面的票价不同。我们表明ECL模型可以从输入中可靠地识别了ECL模型可以学习抽象，并且至少可以从输入中可靠地识别到传统类型中的电话库存和分组。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

在人类和其他动物中分类的众所周知的感知后果称为分类感知，是由类别内部压缩和类别分离之间的特别特征：两个项目，在输入空间内，如果它们属于与属于不同类别的类别相同。在这里阐述认知科学的实验和理论结果，我们在这里研究人工神经网络中的分类效果。我们结合了利用互联网信息量的理论分析，以及关于增加复杂性的网络的一系列数值模拟。这些形式和数值分析提供了深层层内神经表示的几何形状的见解，随着类别边界附近的空间膨胀，远离类别边界。我们通过使用两个互补方法调查分类表示：通过不同类别的刺激之间的变形连续进行动态物理学和认知神经科学的一种模仿实验，而另一个介绍网络中的每层的分类指数，量化的分类指数量化了神经人口水平的类别。我们展示了类别学习的浅层和深度神经网络，自动诱导分类感知。我们进一步表明层更深，分类效果越强。作为我们研究的结果，我们提出了辍学正规化技术不同启发式实践的效果的相干观点。更一般地，我们的观点在神经科学文献中发现回声，坚持根据所学习的神经表示的几何形状的任何给定层中的噪声对噪声的差异影响，即该几何形状如何反映类别的结构。

Deep networks have produced significant gains for various visual recognition problems, leading to high impact academic and commercial applications. Recent work in deep networks highlighted that it is easy to generate images that humans would never classify as a particular object class, yet networks classify such images high confidence as that given class -deep network are easily fooled with images humans do not consider meaningful. The closed set nature of deep networks forces them to choose from one of the known classes leading to such artifacts. Recognition in the real world is open set, i.e. the recognition system should reject unknown/unseen classes at test time. We present a methodology to adapt deep networks for open set recognition, by introducing a new model layer, OpenMax, which estimates the probability of an input being from an unknown class. A key element of estimating the unknown probability is adapting Meta-Recognition concepts to the activation patterns in the penultimate layer of the network. Open-Max allows rejection of "fooling" and unrelated open set images presented to the system; OpenMax greatly reduces the number of obvious errors made by a deep network. We prove that the OpenMax concept provides bounded open space risk, thereby formally providing an open set recognition solution. We evaluate the resulting open set deep networks using pre-trained networks from the Caffe Model-zoo on ImageNet 2012 validation data, and thousands of fooling and open set images. The proposed OpenMax model significantly outperforms open set recognition accuracy of basic deep networks as well as deep networks with thresholding of SoftMax probabilities.

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

在解决问题的过程中，通往解决方案的道路可以看作是一系列决策。人类或计算机做出的决定通过问题的高维表示空间来描述轨迹。通过降低维度，可以在较低维空间中可视化这些轨迹。此类嵌入式轨迹先前已应用于各种数据，但是分析几乎完全集中在单轨迹的自相似性上。相比之下，我们描述了在相同的嵌入空间中绘制许多轨迹（对于不同初始条件，终端状态和解决方案策略）而出现的模式。我们认为，可以通过解释这些模式来制定有关解决问题的任务和解决策略的一般性陈述。我们探索并描述了由人类和机器制定的各种应用领域中的决策产生的轨迹中的这种模式：逻辑难题（魔术片），策略游戏（国际象棋）和优化问题（神经网络培训）。 We also discuss the importance of suitably chosen representation spaces and similarity metrics for the embedding.

对称性是本质上的无所话话，并且由许多物种的视觉系统感知，因为它有助于检测我们环境中的生态重要的物体类。对称感知需要抽象图像区域之间的非局部空间依赖性，并且其底层的神经机制仍然难以捉摸。在本文中，我们评估了深度神经网络（DNN）架构关于从示例学习对称感知的任务。我们证明了在对象识别任务上建模人类性能的前馈DNN，不能获取对称的一般概念。即使当DNN被重建以捕获非局部空间依赖项，例如通过`扩张的“卷曲和最近引入的”变压器“设计，也是如此。相比之下，我们发现经常性架构能够通过将非局部空间依赖性分解成一系列本地操作来学习对称性，这对于新颖的图像来说是可重复使用的。这些结果表明，经常性联系可能在人工系统中对称性感知中发挥重要作用，也可能是生物学的。

我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

神经科学家和机器学习研究人员通常引用对抗的例子，作为计算模型如何从生物感官系统发散的示例。最近的工作已经提出将生物启发组件添加到视觉神经网络中，作为提高其对抗性鲁棒性的一种方式。一种令人惊讶的有效组分，用于减少对抗性脆弱性是响应随机性，例如由生物神经元呈现的响应性随机性。在这里，使用最近开发的从计算神经科学的几何技术，我们研究了对抗性扰动如何影响标准，前列培训和生物学启发的随机网络的内部表示。我们为每种类型的网络找到了不同的几何签名，揭示了实现稳健表示的不同机制。接下来，我们将这些结果概括为听觉域，表明神经插值性也使听觉模型对对抗对抗扰动更鲁棒。随机网络的几何分析揭示了清洁和离前动脉扰动刺激的表示之间的重叠，并且定量表现出随机性的竞争几何效果在对抗和清洁性能之间调解权衡。我们的结果阐明了通过对外内培训和随机网络利用的强大感知的策略，并帮助解释了随机性如何有利于机器和生物计算。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.