Light is a complex-valued field. The intensity and phase of the field are affected by imaged objects. However, imaging sensors measure only real-valued non-negative intensities. This results in a nonlinear relation between the measurements and the unknown imaged objects. Moreover, the sensor readouts are corrupted by Poissonian-distributed photon noise. In this work, we seek the most probable object (or clear image), given noisy measurements, that is, maximizing the a-posteriori probability of the sought variables. Hence, we generalize annealed Langevin dynamics, tackling fundamental challenges in optical imaging, including phase recovery and Poisson (photon) denoising. We leverage deep neural networks, not for explicit recovery of the imaged object, but as an approximate gradient for a prior term. We show results on empirical data, acquired by a real experiment. We further show results of simulations.

Estimating uncertainty in image-to-image networks is an important task, particularly as such networks are being increasingly deployed in the biological and medical imaging realms. In this paper, we introduce a new approach to this problem based on masking. Given an existing image-to-image network, our approach computes a mask such that the distance between the masked reconstructed image and the masked true image is guaranteed to be less than a specified threshold, with high probability. The mask thus identifies the more certain regions of the reconstructed image. Our approach is agnostic to the underlying image-to-image network, and only requires triples of the input (degraded), reconstructed and true images for training. Furthermore, our method is agnostic to the distance metric used. As a result, one can use $L_p$-style distances or perceptual distances like LPIPS, which contrasts with interval-based approaches to uncertainty. Our theoretical guarantees derive from a conformal calibration procedure. We evaluate our mask-based approach to uncertainty on image colorization, image completion, and super-resolution tasks, demonstrating high quality performance on each.

扩散模型可以用作解决各种反问题的学习先验。但是，大多数现有方法仅限于线性问题，从而将其适用性限制在更普遍的情况下。在本文中，我们建立在降级扩散恢复模型（DDRM）的基础上，并提出了一种解决某些非线性反问题的方法。我们利用DDRM中使用的伪内运算符并将此概念推广到其他测量操作员，这使我们能够使用预先训练的无条件扩散模型进行JPEG伪影校正等应用。我们从经验上证明了我们方法在各种质量因素中的有效性，从而达到与专门针对JPEG恢复任务训练的最先进方法相当的性能水平。

降级扩散概率模型（DDPM）是最近获得最新结果的生成模型系列。为了获得类条件生成，建议通过从时间依赖性分类器中梯度指导扩散过程。尽管这个想法在理论上是合理的，但基于深度学习的分类器臭名昭著地容易受到基于梯度的对抗攻击的影响。因此，尽管传统分类器可能会达到良好的精度分数，但它们的梯度可能不可靠，并可能阻碍了生成结果的改善。最近的工作发现，对抗性稳健的分类器表现出与人类感知一致的梯度，这些梯度可以更好地指导生成过程，以实现语义有意义的图像。我们通过定义和训练时间依赖性的对抗性分类器来利用这一观察结果，并将其用作生成扩散模型的指导。在有关高度挑战性和多样化的Imagenet数据集的实验中，我们的方案引入了更明显的中间梯度，更好地与理论发现的一致性以及在几个评估指标下的改进的生成结果。此外，我们进行了一项意见调查，其发现表明人类评估者更喜欢我们的方法的结果。

在过去的十年中，基于深度学习的网络在包括图像分类在内的许多任务中取得了前所未有的成功。尽管取得了非凡的成就，但最近的研究表明，这种网络很容易被小小的恶意扰动（也称为对抗性例子）所愚弄。这种安全弱点导致广泛的研究旨在获得强大的模型。除了此类模型的明显鲁棒性优势之外，还观察到，它们相对于人类感知的梯度。几项作品已将感知一致的梯度（PAG）确定为强大训练的副产品，但没有人认为它是独立现象，也没有研究其自身的含义。在这项工作中，我们专注于这种特征，并测试感知一致性梯度是否暗示着稳健性。为此，我们开发了一个新颖的目标，可以直接在训练分类器中促进PAG，并检查具有此类梯度的模型是否对对抗性攻击更强大。关于CIFAR-10和STL的广泛实验验证了此类模型可以提高稳健性能，从而揭示了PAG和稳健性之间令人惊讶的双向连接。

深神经网络（DNN）对不可感知的恶意扰动高度敏感，称为对抗性攻击。在实际成像和视觉应用中发现了这种脆弱性之后，相关的安全问题引起了广泛的研究关注，并且已经开发出许多防御技术。这些防御方法中的大多数都依赖于对抗性训练（AT） - 根据特定威胁模型对图像的分类网络进行训练，该模型定义了允许修改的幅度。尽管在带来有希望的结果的情况下，对特定威胁模型的培训未能推广到其他类型的扰动。一种不同的方法利用预处理步骤从受攻击的图像中删除对抗性扰动。在这项工作中，我们遵循后一条路径，并旨在开发一种技术，从而导致在威胁模型各种实现中的强大分类器。为此，我们利用了随机生成建模的最新进展，并将其利用它们用于从条件分布中进行采样。我们的辩护依赖于在受攻击的图像中添加高斯i.i.d噪声，然后进行了预验证的扩散过程 - 一种在脱氧网络上执行随机迭代过程的体系结构，从而产生了高感知质量质量的结果。通过在CIFAR-10数据集上进行的广泛实验，通过此随机预处理步骤获得的鲁棒性得到了验证，这表明我们的方法在各种威胁模型下都优于领先的防御方法。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

在这项工作中，我们引入了一种新的随机算法被称为剪辑，其从任何线性逆问题的后部分布绘制样品，其中假设观察被添加的白色高斯噪声污染。我们的解决方案包含Langevin Dynamics和Newton的方法的想法，并利用预训练的最小均方误差（MMSE）高斯丹麦置位。所提出的方法依赖于包括劣化运算符的奇异值分解（SVD）的后续函数的复杂衍生，以获得所需采样的易迭代算法。由于其瞬极性，算法可以为同样嘈杂的观察产生多个高感性质量样本。我们展示了拟议的图像去掩饰，超分辨率和压缩感测的范例的能力。我们表明所产生的样品是尖锐的，详细且与给定的测量结果一致，它们的多样性暴露了解决的逆问题中的固有不确定性。

Dataset distillation has emerged as a prominent technique to improve data efficiency when training machine learning models. It encapsulates the knowledge from a large dataset into a smaller synthetic dataset. A model trained on this smaller distilled dataset can attain comparable performance to a model trained on the original training dataset. However, the existing dataset distillation techniques mainly aim at achieving the best trade-off between resource usage efficiency and model utility. The security risks stemming from them have not been explored. This study performs the first backdoor attack against the models trained on the data distilled by dataset distillation models in the image domain. Concretely, we inject triggers into the synthetic data during the distillation procedure rather than during the model training stage, where all previous attacks are performed. We propose two types of backdoor attacks, namely NAIVEATTACK and DOORPING. NAIVEATTACK simply adds triggers to the raw data at the initial distillation phase, while DOORPING iteratively updates the triggers during the entire distillation procedure. We conduct extensive evaluations on multiple datasets, architectures, and dataset distillation techniques. Empirical evaluation shows that NAIVEATTACK achieves decent attack success rate (ASR) scores in some cases, while DOORPING reaches higher ASR scores (close to 1.0) in all cases. Furthermore, we conduct a comprehensive ablation study to analyze the factors that may affect the attack performance. Finally, we evaluate multiple defense mechanisms against our backdoor attacks and show that our attacks can practically circumvent these defense mechanisms.

We present a dynamic path planning algorithm to navigate an amphibious rotor craft through a concave time-invariant obstacle field while attempting to minimize energy usage. We create a nonlinear quaternion state model that represents the rotor craft dynamics above and below the water. The 6 degree of freedom dynamics used within a layered architecture to generate motion paths for the vehicle to follow and the required control inputs. The rotor craft has a 3 dimensional map of its surroundings that is updated via limited range onboard sensor readings within the current medium (air or water). Path planning is done via PRM and D* Lite.