编织的复合材料是通过隔板和纬纱以图案或编织方式进行的。通过更改图案或材料，可以显着改变编织复合材料的机械性能。但是，尚不清楚编织复合体系结构（图案，材料）在机械性能上的作用。在本文中，我们通过我们提出的物理受限的神经网络（PCNN）探讨了编织复合体系结构（编织模式，编织材料序列）与相应模量之间的关系。此外，我们采用统计学习方法来优化编织复合体系结构以改善机械响应。我们的结果表明，PCNN可以有效地预测所需模量的编织体系结构，其精度比几种基线模型高得多。 PCNN可以与基于功能的优化相结合，以确定初始设计阶段的最佳编织复合体系结构。除了将编织复合体系结构与其机械响应联系起来外，我们的研究还提供了对建筑特征如何控制机械响应的深入了解。我们预计我们提出的框架将主要促进编织的综合分析和优化过程，并成为将物理知识引导的神经网络引入复杂结构分析的起点。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Practical applications of mechanical metamaterials often involve solving inverse problems where the objective is to find the (multiple) microarchitectures that give rise to a given set of properties. The limited resolution of additive manufacturing techniques often requires solving such inverse problems for specific sizes. One should, therefore, find multiple microarchitectural designs that exhibit the desired properties for a specimen with given dimensions. Moreover, the candidate microarchitectures should be resistant to fatigue and fracture, meaning that peak stresses should be minimized as well. Such a multi-objective inverse design problem is formidably difficult to solve but its solution is the key to real-world applications of mechanical metamaterials. Here, we propose a modular approach titled 'Deep-DRAM' that combines four decoupled models, including two deep learning models (DLM), a deep generative model (DGM) based on conditional variational autoencoders (CVAE), and direct finite element (FE) simulations. Deep-DRAM (deep learning for the design of random-network metamaterials) integrates these models into a unified framework capable of finding many solutions to the multi-objective inverse design problem posed here. The integrated framework first introduces the desired elastic properties to the DGM, which returns a set of candidate designs. The candidate designs, together with the target specimen dimensions are then passed to the DLM which predicts their actual elastic properties considering the specimen size. After a filtering step based on the closeness of the actual properties to the desired ones, the last step uses direct FE simulations to identify the designs with the minimum peak stresses.

超材料是复合材料，具有工程化几何微观和中间结构，可以导致罕见的物理性质，如负泊松的比例或超低剪切电阻。周期性超材料由重复单元 - 细胞组成，并且这些单元电池内的几何图案影响弹性或声波和控制分散的传播。在这项工作中，我们开发了一种新的可解释，多分辨率的机器学习框架，用于在揭示其动态特性的材料的单元单元中查找模式。具体而言，我们提出了两个新的超材料的新可解释表示，称为形状频率特征和单元 - 单元格模板。使用这些要素类构建的机器学习模型可以准确地预测动态材料属性。这些特征表示（特别是单个单元格模板）具有有用的属性：它们可以在更高分辨率的设计上运行。通过学习可以通过形状频率特征或单元 - 单元模板可靠地传送到更精细的分辨率设计空间的关键粗略尺度模式，我们几乎可以自由地设计单元单元的精细分辨率特征而不改变粗略级别物理。通过这种多分辨率方法，我们能够设计具有目标频率范围的材料，其中允许或不允许波传播（频率带盖）。我们的方法产生了重大好处：（1）与材料科学的典型机器学习方法不同，我们的模型是可解释的，（2）我们的方法利用多分辨率属性，（3）我们的方法提供了设计灵活性。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

物理信息神经网络（PINN）能够找到给定边界值问题的解决方案。我们使用有限元方法（FEM）的几个想法来增强工程问题中现有的PINN的性能。当前工作的主要贡献是促进使用主要变量的空间梯度作为分离神经网络的输出。后来，具有较高衍生物的强形式应用于主要变量的空间梯度作为物理约束。此外，该问题的所谓能量形式被应用于主要变量，作为训练的附加约束。所提出的方法仅需要一阶导数来构建物理损失函数。我们讨论了为什么通过不同模型之间的各种比较，这一点是有益的。基于配方混合的PINN和FE方法具有一些相似之处。前者利用神经网络的复杂非线性插值将PDE及其能量形式最小化及其能量形式，而后者则在元素节点借助Shape函数在元素节点上使用相同。我们专注于异质固体，以显示深学习在不同边界条件下在复杂环境中预测解决方案的能力。针对FEM的解决方案对两个原型问题的解决方案进行了检查：弹性和泊松方程（稳态扩散问题）。我们得出的结论是，通过正确设计PINN中的网络体系结构，深度学习模型有可能在没有其他来源的任何可用初始数据中解决异质域中的未知数。最后，关于Pinn和FEM的组合进行了讨论，以在未来的开发中快速准确地设计复合材料。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

为了创造异构，多尺度结构具有前所未有的功能，最近的拓扑优化方法设计完全非周期性系统或功能分级结构，这些结构在设计自由和效率方面竞争。我们建议通过数据驱动的框架来实现多种多组功能渐变结构的优点，该结构将多个家庭，即类的微观结构拓扑结构混合，以创建具有保证可行性的空间不同的设计。该密钥是一种新的多字符形状混合方案，可以在不需要兼容的类或连接和可行性约束的情况下产生平滑的分级微结构。此外，它将微观问题转换为高效，低维地，而不将设计限制为预定义形状。使用普通桁架几何形状和基于分集的自由形状拓扑的符合和形状匹配示例展示了我们框架的多功能性，同时研究数量和类别的多样性的研究说明了效果。所提出的方法的一般性支持超出所示线性应用的未来扩展。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

研究兴趣大大增加了将数据驱动方法应用于力学问题的问题。尽管传统的机器学习（ML）方法已经实现了许多突破，但它们依赖于以下假设：培训（观察到的）数据和测试（看不见）数据是独立的且分布相同的（i.i.d）。因此，当应用于未知的测试环境和数据分布转移的现实世界力学问题时，传统的ML方法通常会崩溃。相反，分布（OOD）的概括假定测试数据可能会发生变化（即违反I.I.D.假设）。迄今为止，已经提出了多种方法来改善ML方法的OOD概括。但是，由于缺乏针对OOD回归问题的基准数据集，因此这些OOD方法在主导力学领域的回归问题上的效率仍然未知。为了解决这个问题，我们研究了机械回归问题的OOD泛化方法的性能。具体而言，我们确定了三个OOD问题：协变量移位，机制移位和采样偏差。对于每个问题，我们创建了两个基准示例，以扩展机械MNIST数据集收集，并研究了流行的OOD泛化方法在这些机械特定的回归问题上的性能。我们的数值实验表明，在大多数情况下，与传统的ML方法相比，在大多数情况下，在这些OOD问题上的传统ML方法的性能更好，但迫切需要开发更强大的OOD概括方法，这些方法在多个OOD场景中有效。总体而言，我们希望这项研究以及相关的开放访问基准数据集将进一步开发用于机械特定回归问题的OOD泛化方法。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

从经典上讲，材料的机械响应是通过构成模型来描述的，通常是以受约束的普通微分方程的形式描述。这些模型的参数数量非常有限，但是它们在重现实验中观察到的复杂响应方面非常有效。此外，以离散形式的形式，它们在计算上非常有效，通常会导致简单的代数关系，因此它们已被广泛用于大规模的显式和隐式有限元模型。但是，制定新的本构模型是非常具有挑战性的，特别是对于具有复合材料等复杂微结构的材料。构造建模的最新趋势利用复杂的神经网络体系结构来构建本构模型尚不存在的复杂材料响应。尽管非常准确，但它们遭受了两种缺陷。首先，它们是插值模型，在外推过程中通常做得很差。其次，由于它们的复杂体系结构和许多参数，它们在大规模有限元模型中被用作本构模型的效率低下。在这项研究中，我们提出了一种基于物理知识的学习机的新方法，以表征和发现本构模型。与数据驱动的本构模型不同，我们利用弹性性理论的基础作为总损耗函数中的正则化项，以查找理论上也是如此的参数本构模型。我们证明，我们提出的框架可以有效地识别描述冯·米塞斯家族不同数据集的基本构型模型。

本文介绍了一种新的数据驱动方法，利用由可逆神经网络产生的歧管嵌入，以提高具有有限数据的无组则无法模拟的鲁棒性，效率和准确性。我们通过培训深度神经网络来实现这一点，以将来自本组成歧管的全局映射到下一维欧几里德矢量空间。因此，我们建立了映射欧几里德矢量空间的规范与歧管的度量之间的关系，并导致更具物理上一致的材料数据距离概念。这种处理允许我们绕过昂贵的组合优化，当数据丰富并且高维时，这可能会显着加速无模型模拟。同时，当数据稀疏或在参数空间中不均匀地分布时，嵌入的学习还提高了算法的稳健性。提供了数值实验以证明和测量不同情况下歧管嵌入技术的性能。比较了从所提出的方法获得的结果和通过经典能量规范获得的结果。

我们提出了一种基于具有子域（CENN）的神经网络的保守能量方法，其中允许通过径向基函数（RBF），特定解决方案神经网络和通用神经网络构成满足没有边界惩罚的基本边界条件的可允许功能。与具有子域的强形式Pinn相比，接口处的损耗术语具有较低的阶数。所提出的方法的优点是效率更高，更准确，更小的近双达，而不是具有子域的强形式Pinn。所提出的方法的另一个优点是它可以基于可允许功能的特殊结构适用于复杂的几何形状。为了分析其性能，所提出的方法宫殿用于模拟代表性PDE，这些实施例包括强不连续性，奇异性，复杂边界，非线性和异质问题。此外，在处理异质问题时，它优于其他方法。

人类生理学中的各种结构遵循特异性形态，通常在非常细的尺度上表达复杂性。这种结构的例子是胸前气道，视网膜血管和肝血管。可以观察到可以观察到可以观察到可以观察到可以观察到空间排列的磁共振成像（MRI），计算机断层扫描（CT），光学相干断层扫描（OCT）等医学成像模式（MRI），计算机断层扫描（CT），可以观察到空间排列的大量2D和3D图像的集合。这些结构在医学成像中的分割非常重要，因为对结构的分析提供了对疾病诊断，治疗计划和预后的见解。放射科医生手动标记广泛的数据通常是耗时且容易出错的。结果，在过去的二十年中，自动化或半自动化的计算模型已成为医学成像的流行研究领域，迄今为止，许多计算模型已经开发出来。在这项调查中，我们旨在对当前公开可用的数据集，细分算法和评估指标进行全面审查。此外，讨论了当前的挑战和未来的研究方向。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

建模生物软组织是由于材料异质性而部分复杂的。微观结构模式在定义这些组织的机械行为方面起着主要作用，既具有挑战性，又难以模拟。最近，基于机器学习的方法来预测异质材料的机械行为，使得更彻底地探索与异质材料块相关的大量输入参数空间。具体而言，我们可以训练机器学习（ML）模型，以近似于计算上昂贵的异质材料模拟，其中ML模型在模拟的数据集上进行了训练，该模拟捕获了感兴趣的材料中存在的空间异质性范围。但是，在更广泛地将这些技术应用于生物组织时，存在一个主要的局限性：相关的微观结构模式既具有挑战性又难以分析。因此，可用于表征正在研究的输入域的有用示例的数量有限。在这项工作中，我们研究了基于ML的生成模型以及程序方法的功效，作为增强有限输入模式数据集的工具。我们发现，具有自适应判别器增强器的基于样式的生成对抗网络能够成功利用1,000个示例模式来创建最真实的生成模式。通常，与真实模式有足够相似之处的不同生成模式可以用作有限元模拟的输入，以有意义地增强训练数据集。为了实现这一方法论贡献，我们创建了一个基于Cahn-Hilliard模式的有限元分析模拟的开放访问数据集。我们预计未来的研究人员将能够利用此数据集并基于此处介绍的工作。