We demonstrate transfer learning-assisted neural network models for optical matrix multipliers with scarce measurement data. Our approach uses <10\% of experimental data needed for best performance and outperforms analytical models for a Mach-Zehnder interferometer mesh.

我们展示了一种简单，高效的“直接学习”方法来利用神经网络培训基于Volterra系列的数字预失真滤波器。我们使用64-QAM 64-GBaud模拟发射器显示出对传统训练方法的卓越性能，具有不同的发射器非线性和嘈杂的条件。

基于拉曼扩增的物理特征，我们提出了一个基于神经网络（NN）和线性回归的三步建模方案。与基于纯NN的方法相比，通过模拟证明了更高的精度，较少的数据需求和较低的计算复杂性。

由于深度学习在许多人工智能应用中显示了革命性的性能，其升级的计算需求需要用于巨大并行性的硬件加速器和改进的吞吐量。光学神经网络（ONN）是下一代神经关键组成的有希望的候选者，由于其高并行，低延迟和低能量消耗。在这里，我们设计了一个硬件高效的光子子空间神经网络（PSNN）架构，其针对具有比具有可比任务性能的前一个ONN架构的光学元件使用，区域成本和能量消耗。此外，提供了一种硬件感知培训框架，以最小化所需的设备编程精度，减少芯片区域，并提高噪声鲁棒性。我们在实验上展示了我们的PSNN在蝴蝶式可编程硅光子集成电路上，并在实用的图像识别任务中显示其实用性。

在本文中，我们提出了时间序列分类方法的创新转移学习。我们没有使用UCR存档中的现有数据集作为源数据集，而是生成了15,000,000个合成单变量时间序列数据集，该数据集是使用我们唯一的合成时间序列生成器算法创建的，该数据可以生成具有不同模式和角度和角度和不同序列长度的数据。此外，我们没有像以前的研究一样使用UCR存档提供的分类任务作为源任务，而是使用自己的55个回归任务作为源任务，这比从UCR存档中选择分类任务更好

转移学习（TL）已成为神经网络（NNS）的科学应用中的强大工具，例如天气/气候预测和湍流建模。 TL可以实现分布的概括（例如，参数外推）和有效的不同训练集（例如，模拟和观察值）的有效混合。在TL中，使用目标系统中的小数据集对已经训练的基础系统进行了训练的NN的选定层。对于有效的TL，我们需要知道1）重新培训的最佳层是什么？ 2）在TL期间学到了哪些物理学？在这里，我们提出了新的分析和一个新的框架，以解决（1） - （2）的多种多数非线性系统。我们的方法将系统数据的光谱分析与卷积NN激活和内核的光谱分析相结合，从系统的非线性物理学来解释了TL的内部工作。使用几种2D湍流设置的亚网格尺度建模作为测试用例，我们表明，学习的内核是低，带和高通滤波器的组合，并且TL学习了新的过滤器，其性质与光谱差异一致基础和目标系统。我们还发现，在这些情况下，最浅的层是重新培训的最佳层，这违背了机器学习文献中指导TL的共同智慧。我们的框架根据物理和NN理论确定了事先重新训练的最佳层。这些分析共同解释了在TL中学到的物理学，并提供了一个框架，以指导TL，以在科学和工程中进行广泛的应用，例如气候变化建模。

Machine-learning models are increasingly used to predict properties of atoms in chemical systems. There have been major advances in developing descriptors and regression frameworks for this task, typically starting from (relatively) small sets of quantum-mechanical reference data. Larger datasets of this kind are becoming available, but remain expensive to generate. Here we demonstrate the use of a large dataset that we have "synthetically" labelled with per-atom energies from an existing ML potential model. The cheapness of this process, compared to the quantum-mechanical ground truth, allows us to generate millions of datapoints, in turn enabling rapid experimentation with atomistic ML models from the small- to the large-data regime. This approach allows us here to compare regression frameworks in depth, and to explore visualisation based on learned representations. We also show that learning synthetic data labels can be a useful pre-training task for subsequent fine-tuning on small datasets. In the future, we expect that our open-sourced dataset, and similar ones, will be useful in rapidly exploring deep-learning models in the limit of abundant chemical data.

尖峰神经网络（SNN）提供了一个新的计算范式，能够高度平行，实时处理。光子设备是设计与SNN计算范式相匹配的高带宽，平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用，以更大的非线性计算元件的灵活性。因此，我们在整体硅光子学（SIPH）过程上设计和模拟了光电尖峰神经元电路，该过程复制了超出泄漏的集成和火（LIF）之外有用的尖峰行为。此外，我们探索了两种学习算法，具有使用Mach-Zehnder干涉法（MZI）网格作为突触互连的片上学习的潜力。实验证明了随机反向传播（RPB）的变体，并在简单分类任务上与标准线性回归的性能相匹配。同时，将对比性HEBBIAN学习（CHL）规则应用于由MZI网格组成的模拟神经网络，以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好，但不符合理想神经网络的性能（没有MZI网格施加的约束）。通过这些努力，我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。

给定有限数量的训练数据样本的分类的基本任务被考虑了具有已知参数统计模型的物理系统。基于独立的学习和统计模型的分类器面临使用小型训练集实现分类任务的主要挑战。具体地，单独依赖基于物理的统计模型的分类器通常遭受它们无法适当地调整底层的不可观察的参数，这导致系统行为的不匹配表示。另一方面，基于学习的分类器通常依赖于来自底层物理过程的大量培训数据，这在最实际的情况下可能不可行。本文提出了一种混合分类方法 - 被称为亚牙线的菌丝 - 利用基于物理的统计模型和基于学习的分类器。所提出的解决方案基于猜想，即通过融合它们各自的优势，刺鼠线将减轻与基于学习和统计模型的分类器的各个方法相关的挑战。所提出的混合方法首先使用可用（次优）统计估计程序来估计不可观察的模型参数，随后使用基于物理的统计模型来生成合成数据。然后，培训数据样本与基于学习的分类器中的合成数据结合到基于神经网络的域 - 对抗训练。具体地，为了解决不匹配问题，分类器将从训练数据和合成数据的映射学习到公共特征空间。同时，培训分类器以在该空间内找到判别特征，以满足分类任务。

置换矩阵构成了一个重要的计算构建块，这些构建块在各个领域中经常使用，例如通信，信息安全和数据处理。具有相对较大数量的基于功率，快速和紧凑型平台的输入输出互连的置换运算符的光学实现是非常可取的。在这里，我们提出了通过深度学习设计的衍射光学网络，以全面执行置换操作，可以使用被动的传播层在输入和视场之间扩展到数十万个互连，这些互连是在波长规模上单独构造的。 。我们的发现表明，衍射光网络在近似给定置换操作中的容量与系统中衍射层和可训练的传输元件的数量成正比。这种更深的衍射网络设计可以在系统的物理对齐和输出衍射效率方面构成实际挑战。我们通过设计不对对准的衍射设计来解决这些挑战，这些设计可以全面执行任意选择的置换操作，并首次在实验中证明了在频谱的THZ部分运行的衍射排列网络。衍射排列网络可能会在例如安全性，图像加密和数据处理以及电信中找到各种应用程序；尤其是在无线通信中的载波频率接近THZ波段的情况下，提出的衍射置换网络可以潜在地充当无线网络中的通道路由和互连面板。

在本文中，提出了一种新的方法，该方法允许基于神经网络（NN）均衡器的低复杂性发展，以缓解高速相干光学传输系统中的损伤。在这项工作中，我们提供了已应用于馈电和经常性NN设计的各种深层模型压缩方法的全面描述和比较。此外，我们评估了这些策略对每个NN均衡器的性能的影响。考虑量化，重量聚类，修剪和其他用于模型压缩的尖端策略。在这项工作中，我们提出并评估贝叶斯优化辅助压缩，其中选择了压缩的超参数以同时降低复杂性并提高性能。总之，通过使用模拟和实验数据来评估每种压缩方法的复杂性及其性能之间的权衡，以完成分析。通过利用最佳压缩方法，我们表明可以设计基于NN的均衡器，该均衡器比传统的数字背部传播（DBP）均衡器具有更好的性能，并且只有一个步骤。这是通过减少使用加权聚类和修剪算法后在NN均衡器中使用的乘数数量来完成的。此外，我们证明了基于NN的均衡器也可以实现卓越的性能，同时仍然保持与完整的电子色色散补偿块相同的复杂性。我们通过强调开放问题和现有挑战以及未来的研究方向来结束分析。

建模大规模复杂物理系统的最新进展已将研究的重点转移到数据驱动的技术上。但是，通过模拟复杂系统来生成数据集可能需要大量的计算资源。同样，获取实验数据集也可能很难。对于这些系统，通常在计算上便宜，但通常不准确，可用的模型可用。在本文中，我们为复杂的物理系统提出了一种双性模型建模方法，在这种情况下，我们使用深层操作员网络从True System的响应中建立了True System的响应与低保真响应之间的差异（DeepOnet），一种适用于近似非线性操作员的神经网络体系结构。我们将方法应用于具有参数不确定性并且部分未知的模型系统。三个数值示例用于显示所提出的方法对不确定且部分未知的复杂物理系统进行建模的功效。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

锂离子电池（LIBS）的数学建模是先进电池管理中的主要挑战。本文提出了两个新的框架，将基于机器的基于机器的模型集成，以实现LIBS的高精度建模。该框架的特征在于通知物理模型的状态信息的机器学习模型，从而实现物理和机器学习之间的深度集成。基于框架，通过将电化学模型和等效电路模型分别与前馈神经网络组合，构造了一系列混合模型。混合模型在结构中相对令人惊讶，可以在广泛的C速率下提供相当大的预测精度，如广泛的模拟和实验所示。该研究进一步扩展以进行衰老感知混合建模，导致杂交模型意识到意识到健康状态以进行预测。实验表明，该模型在整个Lib的循环寿命中具有很高的预测精度。

Machine learning methods have revolutionized the discovery process of new molecules and materials. However, the intensive training process of neural networks for molecules with ever-increasing complexity has resulted in exponential growth in computation cost, leading to long simulation time and high energy consumption. Photonic chip technology offers an alternative platform for implementing neural networks with faster data processing and lower energy usage compared to digital computers. Photonics technology is naturally capable of implementing complex-valued neural networks at no additional hardware cost. Here, we demonstrate the capability of photonic neural networks for predicting the quantum mechanical properties of molecules. To the best of our knowledge, this work is the first to harness photonic technology for machine learning applications in computational chemistry and molecular sciences, such as drug discovery and materials design. We further show that multiple properties can be learned simultaneously in a photonic chip via a multi-task regression learning algorithm, which is also the first of its kind as well, as most previous works focus on implementing a network in the classification task.

深度神经网络通过解决了许多以前被视为更高人类智能的任务解锁了广泛的新应用。实现这一成功的一个发展之一是由专用硬件提供的计算能力提升，例如图形或张量处理单元。但是，这些不利用神经网络等并行性和模拟状态变量的基本特征。相反，它们模拟了依赖于二元计算的神经网络，这导致不可持续的能量消耗和相对低的速度。完全平行和模拟硬件承诺克服这些挑战，但模拟神经元噪声的影响及其传播，即积累，威胁到威胁这些方法无能为力。在这里，我们首次确定噪声在训练的完全连接层中包含噪声非线性神经元的深神经网络中的噪声传播。我们研究了添加剂和乘法以及相关和不相关的噪声，以及开发预测因对称深神经网络的任何层中的噪声水平的分析方法，或者在训练中培训的对称深神经网络或深神经网络。我们发现噪声累积通常绑定，并且添加附加网络层不会使信号与超出限制的信噪比恶化。最重要的是，当神经元激活函数具有小于单位的斜率时，可以完全抑制噪声累积。因此，我们开发了在模拟系统中实现的完全连接的深神经网络中的噪声框架，并识别允许工程师设计噪声弹性新型神经网络硬件的标准。

神经网络的越来越大的规模及其越来越多的应用空间对更高的能量和记忆有效的人工智能特定硬件产生了需求。 venues为了缓解主要问题，von neumann瓶颈，包括内存和近记忆架构，以及算法方法。在这里，我们利用磁隧道结（MTJ）的低功耗和固有的二进制操作来展示基于MTJ的无源阵列的神经网络硬件推断。通常，由于设备到装置的变化，写入误差，寄生电阻和非前沿，在性能下将训练的网络模型转移到推动的硬件。为了量化这些硬件现实的效果，我们将300个唯一重量矩阵解决方案的23个唯一的重量矩阵解决方案进行分类，以分类葡萄酒数据集，用于分类准确性和写真保真度。尽管设备不完美，我们可以实现高达95.3％的软件等效精度，并在15 x 15 MTJ阵列中正确调整具有一系列设备尺寸的阵列。此调谐过程的成功表明，需要新的指标来表征混合信号硬件中再现的网络的性能和质量。

与传统的物理知识计算模型相比，神经网络（NNS）为更快的时间表的综合和解释数据提供了一条途径。在这项工作中，我们开发了两个与平衡和形状控制建模相关的神经网络，它们是为国家球形圆环实验升级（NSTX-U）开发的一组工具的一部分，以快速预测，优化和可视化等离子体场景。这些网络包括EQNET，这是一种在EFIT01重建算法上训练的自由边缘均衡求解器和在GSPERT代码上训练的PERTNET，并预测了非刚性血浆响应，该​​响应是一种非线性术语，该术语在形状控制模型中产生。对NN进行了不同的输入和输出组合，以便在用例中提供灵活性。特别是，EQNET可以将磁性诊断作为输入，并用作EFIT样重建算法，或者通过使用压力和电流信息信息，NN可以充当正向级别的Shafranov平衡求解器。设想在模拟等离子体方案的工具套件中实现此前向模式版本。与在线重建代码实时EFIT（RTEFIT）相比，重建模式版本可提供一些性能改进，尤其是在容器涡流很大的情况下。我们报告所有NNS的强大性能，表明该模型可以可靠地用于闭环模拟或其他应用程序中。讨论了一些限制。

综合光子神经网络（IPNN）成为常规电子AI加速器的有前途的后继者，因为它们在计算速度和能源效率方面提供了实质性的提高。特别是，相干IPNN使用Mach-Zehnder干涉仪（MZIS）的阵列进行单位转换来执行节能矩阵矢量乘法。然而，IPNN中的基本MZI设备易受光刻变化和热串扰引起的不确定性，并且由于不均匀的MZI插入损失和量化错误而导致不确定的不确定性，这是由于调谐相角的编码较低而导致的。在本文中，我们首次使用自下而上的方法系统地表征了IPNN中这种不确定性和不确定性（共同称为缺陷）的影响。我们表明，它们对IPNN准确性的影响可能会根据受影响组件的调谐参数（例如相角），其物理位置以及缺陷的性质和分布而差异很大。为了提高可靠性措施，我们确定了关键的IPNN构件，在不完美之下，这些基础可能导致分类准确性的灾难性降解。我们表明，在多个同时缺陷下，即使不完美参数限制在较小的范围内，IPNN推断精度也可能会降低46％。我们的结果还表明，推论精度对影响IPNN输入层旁边的线性层中MZI的缺陷敏感。

Photonic neural networks are brain-inspired information processing technology using photons instead of electrons to perform artificial intelligence (AI) tasks. However, existing architectures are designed for a single task but fail to multiplex different tasks in parallel within a single monolithic system due to the task competition that deteriorates the model performance. This paper proposes a novel optical multi-task learning system by designing multi-wavelength diffractive deep neural networks (D2NNs) with the joint optimization method. By encoding multi-task inputs into multi-wavelength channels, the system can increase the computing throughput and significantly alle-viate the competition to perform multiple tasks in parallel with high accuracy. We design the two-task and four-task D2NNs with two and four spectral channels, respectively, for classifying different inputs from MNIST, FMNIST, KMNIST, and EMNIST databases. The numerical evaluations demonstrate that, under the same network size, mul-ti-wavelength D2NNs achieve significantly higher classification accuracies for multi-task learning than single-wavelength D2NNs. Furthermore, by increasing the network size, the multi-wavelength D2NNs for simultaneously performing multiple tasks achieve comparable classification accuracies with respect to the individual training of multiple single-wavelength D2NNs to perform tasks separately. Our work paves the way for developing the wave-length-division multiplexing technology to achieve high-throughput neuromorphic photonic computing and more general AI systems to perform multiple tasks in parallel.