Reading comprehension of legal text can be a particularly challenging task due to the length and complexity of legal clauses and a shortage of expert-annotated datasets. To address this challenge, we introduce the Merger Agreement Understanding Dataset (MAUD), an expert-annotated reading comprehension dataset based on the American Bar Association's 2021 Public Target Deal Points Study, with over 39,000 examples and over 47,000 total annotations. Our fine-tuned Transformer baselines show promising results, with models performing well above random on most questions. However, on a large subset of questions, there is still room for significant improvement. As the only expert-annotated merger agreement dataset, MAUD is valuable as a benchmark for both the legal profession and the NLP community.

As language models (LMs) scale, they develop many novel behaviors, good and bad, exacerbating the need to evaluate how they behave. Prior work creates evaluations with crowdwork (which is time-consuming and expensive) or existing data sources (which are not always available). Here, we automatically generate evaluations with LMs. We explore approaches with varying amounts of human effort, from instructing LMs to write yes/no questions to making complex Winogender schemas with multiple stages of LM-based generation and filtering. Crowdworkers rate the examples as highly relevant and agree with 90-100% of labels, sometimes more so than corresponding human-written datasets. We generate 154 datasets and discover new cases of inverse scaling where LMs get worse with size. Larger LMs repeat back a dialog user's preferred answer ("sycophancy") and express greater desire to pursue concerning goals like resource acquisition and goal preservation. We also find some of the first examples of inverse scaling in RL from Human Feedback (RLHF), where more RLHF makes LMs worse. For example, RLHF makes LMs express stronger political views (on gun rights and immigration) and a greater desire to avoid shut down. Overall, LM-written evaluations are high-quality and let us quickly discover many novel LM behaviors.

Geometric camera calibration is often required for applications that understand the perspective of the image. We propose perspective fields as a representation that models the local perspective properties of an image. Perspective Fields contain per-pixel information about the camera view, parameterized as an up vector and a latitude value. This representation has a number of advantages as it makes minimal assumptions about the camera model and is invariant or equivariant to common image editing operations like cropping, warping, and rotation. It is also more interpretable and aligned with human perception. We train a neural network to predict Perspective Fields and the predicted Perspective Fields can be converted to calibration parameters easily. We demonstrate the robustness of our approach under various scenarios compared with camera calibration-based methods and show example applications in image compositing.

尽管在过去几年中取得了重大进展，但使用单眼图像进行深度估计仍然存在挑战。首先，训练度量深度预测模型的训练是不算气的，该预测模型可以很好地推广到主要由于训练数据有限的不同场景。因此，研究人员建立了大规模的相对深度数据集，这些数据集更容易收集。但是，由于使用相对深度数据训练引起的深度转移，现有的相对深度估计模型通常无法恢复准确的3D场景形状。我们在此处解决此问题，并尝试通过对大规模相对深度数据进行训练并估算深度转移来估计现场形状。为此，我们提出了一个两阶段的框架，该框架首先将深度预测到未知量表并从单眼图像转移，然后利用3D点云数据来预测深度​​移位和相机的焦距，使我们能够恢复恢复3D场景形状。由于两个模块是单独训练的，因此我们不需要严格配对的培训数据。此外，我们提出了图像级的归一化回归损失和基于正常的几何损失，以通过相对深度注释来改善训练。我们在九个看不见的数据集上测试我们的深度模型，并在零拍摄评估上实现最先进的性能。代码可用：https：//git.io/depth

现有的深度完成方法通常以特定的稀疏深度类型为目标，并且在任务域之间概括较差。我们提出了一种方法，可以通过各种范围传感器（包括现代手机中的范围传感器或多视图重建算法）获得稀疏/半密度，嘈杂和潜在的低分辨率深度图。我们的方法利用了在大规模数据集中训练的单个图像深度预测网络的形式的数据驱动的先验，其输出被用作我们模型的输入。我们提出了一个有效的培训计划，我们在典型的任务域中模拟各种稀疏模式。此外，我们设计了两个新的基准测试，以评估深度完成方法的普遍性和鲁棒性。我们的简单方法显示了针对最先进的深度完成方法的优越的跨域泛化能力，从而引入了一种实用的解决方案，以在移动设备上捕获高质量的深度捕获。代码可在以下网址获得：https：//github.com/yvanyin/filldepth。

图像质量评估的计算机视觉模型（IQA）预测了通用图像降解的主观效果，例如人工制品，模糊，不良的曝光或颜色。现有IQA数据集中面部图像的稀缺性（低于10 \％）限制了准确过滤低质量的面部图像或指导面部图像处理的CV模型所需的IQA的精度，例如超分辨率，图像增强和生成。在本文中，我们首先介绍了迄今为止最大的注释IQA数据库，其中包含20,000个人体面孔（比所有现有的面孔的额定数据集大），在高度多样化的情况，质量水平和失真水平和变形类型中。基于数据库，我们进一步提出了一种新颖的深度学习模型，该模型重新塑造了生成的先验特征，以预测主观的面部质量。通过利用训练有素的生成模型中编码的丰富统计数据，我们获得了图像的生成性先验信息，并将其作为潜在参考，以促进盲目的IQA任务。实验结果证明了拟议模型在面部IQA任务上的出色预测准确性。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

慢性伤口显着影响生活质量。如果没有正确管理，他们可能会严重恶化。基于图像的伤口分析可以通过量化与愈合相关的重要特征来客观地评估伤口状态。然而，伤口类型，图像背景组成和捕获条件的高异质性挑战伤口图像的鲁棒分割。我们呈现了检测和段（DS），深度学习方法，以产生具有高泛化能力的伤口分割图。在我们的方法中，专门的深度神经网络检测到伤口位置，从未经信息背景隔离伤口，并计算伤口分割图。我们使用具有糖尿病脚溃疡图像的一个数据集评估了这种方法。为了进一步测试，使用4个补充独立数据组，具有来自不同体积的较大种类的伤口类型。当以相同的方法组合检测和分割时，在将完整图像上的分割到0.85时，Matthews的相关系数（MCC）从0.29提高到0.29。当从补充数据集汲取的卷绕图像上进行测试时，DS方法将平均MCC从0.17增加到0.85。此外，DS方法使得分段模型的培训能够在保持分割性能的同时培训高达90％的训练数据。

为了使机器人系统在高风险，现实世界中取得成功，必须快速部署和强大的环境变化，表现不佳的硬件以及任务子任务失败。这些机器人通常被设计为考虑一系列任务事件，复杂的算法在某些关键的约束下降低了单个子任务失败率。我们的方法在视觉和控制中利用了共同的技术，并通过结果监测和恢复策略将鲁棒性编码为任务结构。此外，我们的系统基础架构可以快速部署，并且不需要中央通信。该报告还包括快速现场机器人开发和测试的课程。我们通过现实机器人实验在美国宾夕法尼亚州匹兹堡的户外测试地点以及2020年的穆罕默德·本·扎耶德国际机器人挑战赛开发和评估了我们的系统。所有竞争试验均在没有RTK-GP的情况下以完全自主模式完成。我们的系统在挑战2中排名第四，在大挑战赛中排名第七，诸如弹出五个气球（挑战1）之类的显着成就，成功地挑选和放置了一个障碍（挑战2），并将最多的水分配到户外，带有真正的户外火，并与自治无人机（挑战3）。