图像注册是医学成像应用中的关键任务，可以在常见的空间参考框架中表示医学图像。当前有关图像注册的文献通常基于以下假设：研究人员通常可以访问图像，随后可以估算空间转换。在当前的实际应用中可能无法满足这种共同的假设，因为医学图像的敏感性最终可能需要在隐私限制下进行分析，从而阻止以清晰的形式共享图像内容。在这项工作中，我们在保存隐私制度下制定了图像注册的问题，其中假定图像是机密的，不能清楚地披露。我们通过扩展经典的注册范例来说明高级加密工具（例如安全的多方计算和同派加密）来确定图像注册框架的隐私保护框架，从而使操作执行而无需泄漏基础数据。为了克服高维度中加密工具的性能和可扩展性问题，我们首先建议使用梯度近似值优化基础图像注册操作。我们进一步重新审视了同态加密的使用，并使用包装方法可以更有效地对大型矩阵进行加密和乘法。我们证明了我们在线性和非线性注册问题中保存隐私框架，并评估其相对于标准图像注册的准确性和可扩展性。我们的结果表明，保留图像注册的隐私是可行的，可以在敏感的医学成像应用中采用。

Machine learning is widely used in practice to produce predictive models for applications such as image processing, speech and text recognition. These models are more accurate when trained on large amount of data collected from different sources. However, the massive data collection raises privacy concerns.In this paper, we present new and efficient protocols for privacy preserving machine learning for linear regression, logistic regression and neural network training using the stochastic gradient descent method. Our protocols fall in the two-server model where data owners distribute their private data among two non-colluding servers who train various models on the joint data using secure two-party computation (2PC). We develop new techniques to support secure arithmetic operations on shared decimal numbers, and propose MPC-friendly alternatives to non-linear functions such as sigmoid and softmax that are superior to prior work. We implement our system in C++. Our experiments validate that our protocols are several orders of magnitude faster than the state of the art implementations for privacy preserving linear and logistic regressions, and scale to millions of data samples with thousands of features. We also implement the first privacy preserving system for training neural networks.

K均值是实践中使用最广泛的聚类模型之一。由于数据隔离的问题和对高模型性能的要求，如何共同建立实用和安全的K均值为多方成为行业中许多应用程序的重要主题。现有的工作主要是两种类型。第一种类型具有效率优势，但是信息泄漏会增加潜在的隐私风险。第二种类型是可证明的，但对于大规模数据稀疏方案而言，效率低下，甚至无助。在本文中，我们提出了一个新的框架，用于具有三个特征的有效稀疏感k均值。首先，我们的框架分为独立于数据的离线阶段和更快的在线阶段，并且离线阶段允许预先计算几乎所有的加密操作。其次，我们利用在线和离线阶段中的矢量化技术。第三，我们采用稀疏的矩阵乘法，以进一步提高效率。我们对三个合成数据集进行了全面的实验，并将模型部署在现实世界中的欺诈检测任务中。我们的实验结果表明，与最先进的解决方案相比，我们的模型在运行时间和沟通规模方面都能达到竞争性能，尤其是在稀疏数据集上。

安全的多方计算（MPC）允许当事方在数据私有的同时对数据进行计算。该功能具有机器学习应用程序的巨大潜力：它促进了对不同政党拥有的私人数据集的机器学习模型的培训，使用另一方的私人数据评估一方的私人模型等。尽管一系列研究实现了机器 - 通过安全MPC学习模型，此类实现尚未成为主流。没有灵活的软件框架“说话”机器学习研究人员和工程师的灵活软件框架的缺乏阻碍了安全MPC的采用。为了促进机器学习中安全MPC的采用，我们提出了Crypten：一个软件框架，该框架通过在现代机器学习框架中常见的抽象来揭示流行的安全MPC原语，例如张量计算，自动分化和模块化神经网络。本文描述了隐秘的设计，并在最新的文本分类，语音识别和图像分类的模型上衡量其性能。我们的基准表明，Crypten的GPU支持和（任意数量）各方之间的高性能通信使其能够在半honest威胁模型下对现代机器学习模型进行有效的私人评估。例如，使用密码的两方可以使用WAV2letter在语音记录中安全预测音素的速度比实时更快。我们希望Crypten能促使在机器学习社区中采用安全MPC。

由于对隐私保护的关注不断增加，因此如何在不同数据源上建立机器学习（ML）模型具有安全保证，这越来越受欢迎。垂直联合学习（VFL）描述了这种情况，其中ML模型建立在不同参与方的私人数据上，该数据与同一集合相同的实例中拥有不相交的功能，这适合许多现实世界中的协作任务。但是，我们发现VFL现有的解决方案要么支持有限的输入功能，要么在联合执行过程中遭受潜在数据泄漏的损失。为此，本文旨在研究VFL方案中ML模式的功能和安全性。具体来说，我们介绍了BlindFL，这是VFL训练和推理的新型框架。首先，为了解决VFL模型的功能，我们建议联合源层团结不同各方的数据。联合源层可以有效地支持各种特征，包括密集，稀疏，数值和分类特征。其次，我们在联合执行期间仔细分析了安全性，并正式化了隐私要求。基于分析，我们设计了安全，准确的算法协议，并进一步证明了在理想真实的仿真范式下的安全保证。广泛的实验表明，BlindFL支持各种数据集和模型，同时获得强大的隐私保证。

我们使用所述环境中常用的量化实施了安全多方计算（MPC）中神经网络的培训。我们是第一个呈现MNIST分类器纯粹在MPC中训练的MNIST分类器，该分类器占据通过宣传计算训练的相同卷积神经网络准确性的0.2％。更具体地说，我们已经训练了一个在3.5小时内具有两个卷积和两个密集层至99.2％精度的网络（精度为99％的小时）。我们还为CIFAR-10实施了Alexnet，该Alexnet在几个小时内收敛。我们开发了用于指示和平方根逆的新方案。最后，我们在多达十个政党的一系列MPC安全模型中介绍了实验，包括诚实和不诚实的多数以及半honest和恶意安全。

We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.

联邦机器学习利用边缘计算来开发网络用户数据的模型，但联合学习的隐私仍然是一个重大挑战。已经提出了使用差异隐私的技术来解决这一点，但是带来了自己的挑战 - 许多人需要一个值得信赖的第三方，或者增加了太多的噪音来生产有用的模型。使用多方计算的\ EMPH {SERVE聚合}的最新进步消除了对第三方的需求，但是在计算上尤其在规模上昂贵。我们提出了一种新的联合学习协议，利用了一种基于与错误学习的技术的新颖差异私有的恶意安全聚合协议。我们的协议优于当前最先进的技术，并且经验结果表明它缩放到大量方面，具有任何差别私有联合学习方案的最佳精度。

我们解决了从培训数据中学习机器学习模型的问题，该模型源于多个数据所有者，同时提供有关保护每个所有者数据的正式隐私保证。基于差异隐私（DP）的现有解决方案以准确性下降为代价。基于安全多方计算（MPC）的解决方案不会引起这种准确性损失，而是在公开可用的训练模型时泄漏信息。我们提出了用于训练DP模型的MPC解决方案。我们的解决方案依赖于用于模型培训的MPC协议，以及以隐私保护方式以拉普拉斯噪声扰动训练有素的模型系数的MPC协议。所得的MPC+DP方法比纯DP方法获得了更高的准确性，同时提供相同的正式隐私保证。我们的工作在IDASH2021轨道III竞赛中获得了针对安全基因组分析的机密计算竞赛的第一名。

Deformable image registration, i.e., the task of aligning multiple images into one coordinate system by non-linear transformation, serves as an essential preprocessing step for neuroimaging data. Recent research on deformable image registration is mainly focused on improving the registration accuracy using multi-stage alignment methods, where the source image is repeatedly deformed in stages by a same neural network until it is well-aligned with the target image. Conventional methods for multi-stage registration can often blur the source image as the pixel/voxel values are repeatedly interpolated from the image generated by the previous stage. However, maintaining image quality such as sharpness during image registration is crucial to medical data analysis. In this paper, we study the problem of anti-blur deformable image registration and propose a novel solution, called Anti-Blur Network (ABN), for multi-stage image registration. Specifically, we use a pair of short-term registration and long-term memory networks to learn the nonlinear deformations at each stage, where the short-term registration network learns how to improve the registration accuracy incrementally and the long-term memory network combines all the previous deformations to allow an interpolation to perform on the raw image directly and preserve image sharpness. Extensive experiments on both natural and medical image datasets demonstrated that ABN can accurately register images while preserving their sharpness. Our code and data can be found at https://github.com/anonymous3214/ABN

我们研究Claire（一种差异性多形状，多-GPU图像注册算法和软件）的性能 - 在具有数十亿素素的大规模生物医学成像应用中。在这样的分辨率下，大多数用于差异图像注册的软件包非常昂贵。结果，从业人员首先要大量删除原始图像，然后使用现有工具进行注册。我们的主要贡献是对降采样对注册性能的影响的广泛分析。我们通过将用Claire获得的全分辨率注册与合成和现实成像数据集的低分辨率注册进行比较，研究了这种影响。我们的结果表明，完全分辨率的注册可以产生卓越的注册质量 - 但并非总是如此。例如，将合成图像从$ 1024^3 $减少到$ 256^3 $将骰子系数从92％降低到79％。但是，对于嘈杂或低对比度的高分辨率图像，差异不太明显。克莱尔不仅允许我们在几秒钟内注册临床相关大小的图像，而且还可以在合理的时间内以前所未有的分辨率注册图像。考虑的最高分辨率是$ 2816 \ times3016 \ times1162 $的清晰图像。据我们所知，这是有关此类决议中图像注册质量的首次研究。

在过去的几年中，多方计算（MPC）作为安全计算模型一直在越来越受欢迎，尤其是对于机器学习（ML）推断。与竞争对手相比，MPC的开销少于同构加密（HE），并且比基于硬件的可信执行环境（TEE）（例如Intel SGX）具有更强的威胁模型。尽管具有明显的优势，但在应用于ML算法时，MPC协议仍然与针对性相比，仍要支付大量的绩效罚款。开销是由于增加的计算和通信成本。对于在ML算法中无处不在的乘法，MPC协议在MPC服务器之间增加了32x更多的计算成本和1轮广播。此外，由于SoftMax，Relu和其他非线性操作，其具有微不足道的成本的ML计算由于增加了沟通而变得非常昂贵。这些添加的开销使MPC不太适合在实时ML推理框架（例如语音翻译）中部署。在这项工作中，我们提出了MPC-Pipe，这是一种使用两种ML特异性方法的MPC管道推理技术。 1）内线间管道和2）内层管道。这两种技术缩短了机器学习模型的总推理运行时。与当前的MPC协议实现相比，当模型权重公开时，我们的实验已显示可将ML推断潜伏期降低多达12.6％，而在模型权重公开时，将ML推断潜伏期最高12.6％。

图像注册广泛用于医学图像分析中，以提供两个图像之间的空间对应关系。最近提出了利用卷积神经网络（CNN）的基于学习的方法来解决图像注册问题。基于学习的方法往往比基于传统优化的方法快得多，但是从复杂的CNN方法中获得的准确性提高是适度的。在这里，我们介绍了一个新的基于深神经的图像注册框架，名为\ textbf {mirnf}，该框架代表通过通过神经字段实现的连续函数的对应映射。 MIRNF输出的变形矢量或速度向量给定3D坐标为输入。为了确保映射是差异的，使用神经ODE求解器集成了MiRNF的速度矢量输出，以得出两个图像之间的对应关系。此外，我们提出了一个混合坐标采样器以及级联的体系结构，以实现高相似性映射性能和低距离变形场。我们对两个3D MR脑扫描数据集进行了实验，这表明我们提出的框架提供了最新的注册性能，同时保持了可比的优化时间。

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

Brain extraction and registration are important preprocessing steps in neuroimaging data analysis, where the goal is to extract the brain regions from MRI scans (i.e., extraction step) and align them with a target brain image (i.e., registration step). Conventional research mainly focuses on developing methods for the extraction and registration tasks separately under supervised settings. The performance of these methods highly depends on the amount of training samples and visual inspections performed by experts for error correction. However, in many medical studies, collecting voxel-level labels and conducting manual quality control in high-dimensional neuroimages (e.g., 3D MRI) are very expensive and time-consuming. Moreover, brain extraction and registration are highly related tasks in neuroimaging data and should be solved collectively. In this paper, we study the problem of unsupervised collective extraction and registration in neuroimaging data. We propose a unified end-to-end framework, called ERNet (Extraction-Registration Network), to jointly optimize the extraction and registration tasks, allowing feedback between them. Specifically, we use a pair of multi-stage extraction and registration modules to learn the extraction mask and transformation, where the extraction network improves the extraction accuracy incrementally and the registration network successively warps the extracted image until it is well-aligned with the target image. Experiment results on real-world datasets show that our proposed method can effectively improve the performance on extraction and registration tasks in neuroimaging data. Our code and data can be found at https://github.com/ERNetERNet/ERNet

随着基于位置的越来越多的社交网络，隐私保存位置预测已成为帮助用户发现新的兴趣点（POI）的主要任务。传统系统考虑一种需要传输和收集用户私有数据的集中方法。在这项工作中，我们展示了FedPoirec，隐私保留了联合学习方法的隐私，增强了用户社交界的功能，以获得最高$ N $ POI建议。首先，FedPoirec框架建立在本地数据永远不会离开所有者设备的原则上，而本地更新盲目地由参数服务器汇总。其次，本地推荐人通过允许用户交换学习参数来获得个性化，从而实现朋友之间的知识传输。为此，我们提出了一种隐私保留协议，用于通过利用CKKS完全同态加密方案的特性来集成用户朋友在联合计算之后的偏好。为了评估FEDPOIREC，我们使用两个推荐模型将我们的方法应用于五个现实世界数据集。广泛的实验表明，FEDPOIREC以集中方法实现了相当的推荐质量，而社会集成协议会突出用户侧的低计算和通信开销。

在这项工作中，我们引入了一种差异性私有方法，用于从垂直分区的数据\ emph {i.e。}生成合成数据，其中同一个人的数据分布在多个数据持有人或各方之间。我们提出了一种差异性隐私随机梯度下降（DP-SGD）算法，以使用变异推理在此类分区数据上训练混合模型。我们修改了安全的多方计算（MPC）框架，以将MPC与差异隐私（DP）相结合，以便有效地使用差异化的私有MPC来学习DP下在此类垂直分区数据的DP下的概率生成模型。假设混合物组件不包含不同方面的依赖性，则可以将目标函数分解为当事方计算的贡献的产物之和。最后，MPC用于计算不同贡献之间的聚集体。此外，我们严格地定义了系统中不同玩家的隐私保证。为了证明我们的方法的准确性，我们从UCI机器学习存储库上运行算法在成人数据集上，在此我们获得与非分区案例的可比结果。

收集的数据量不断增长，其分析以提供更好的服务正在引起人们对数字隐私的担忧。为了解决隐私问题并提供实用的解决方案，文献依赖于安全的多方计算。但是，最近的研究主要集中在多达四个政党的小党诚实造成的设置上，并指出了效率的问题。在这项工作中，我们扩展了策略，以在中心舞台上以效率为诚实的多数参与者。在预处理范式中，我们的半冬季协议改善了Damg \ aa Rd和Nielson（Crypto'07）十年最先进的协议的在线复杂性。除了提高在线沟通成本外，我们还可以在在线阶段关闭几乎一半的各方，从而节省了系统的运营成本高达50％。我们恶意安全的协议也享有类似的好处，除了一次性验证外，只需要一半的当事方。为了展示设计协议的实用性，我们基准了使用原型实现的深度神经网络，图形神经网络，基因组序列匹配以及生物识别匹配等流行应用程序。我们改进的协议有助于在先前的工作中节省高达60-80％的货币成本。

We introduce a framework for navigating through cluttered environments by connecting multiple cameras together while simultaneously preserving privacy. Occlusions and obstacles in large environments are often challenging situations for navigation agents because the environment is not fully observable from a single camera view. Given multiple camera views of an environment, our approach learns to produce a multiview scene representation that can only be used for navigation, provably preventing one party from inferring anything beyond the output task. On a new navigation dataset that we will publicly release, experiments show that private multiparty representations allow navigation through complex scenes and around obstacles while jointly preserving privacy. Our approach scales to an arbitrary number of camera viewpoints. We believe developing visual representations that preserve privacy is increasingly important for many applications such as navigation.

安全的基于多方计算的机器学习（称为MPL）已成为利用来自具有隐私保护的多个政党的数据的重要技术。尽管MPL为计算过程提供了严格的安全保证，但MPL训练的模型仍然容易受到仅依赖于访问模型的攻击。差异隐私可以帮助防御此类攻击。但是，差异隐私和安全多方计算协议的巨大沟通开销带来的准确性损失使得平衡隐私，效率和准确性之间的三通权衡是高度挑战的。在本文中，我们有动力通过提出一种解决方案（称为PEA（私有，高效，准确））来解决上述问题，该解决方案由安全的DPSGD协议和两种优化方法组成。首先，我们提出了一个安全的DPSGD协议，以在基于秘密共享的MPL框架中强制执行DPSGD。其次，为了减少因差异隐私噪声和MPL的巨大通信开销而导致的准确性损失，我们提出了MPL训练过程的两种优化方法：（1）与数据无关的功能提取方法，旨在简化受过训练的模型结构体; （2）基于本地数据的全局模型初始化方法，旨在加快模型训练的收敛性。我们在两个开源MPL框架中实施PEA：TF-Conteded和Queqiao。各种数据集的实验结果证明了PEA的效率和有效性。例如。当$ {\ epsilon} $ = 2时，我们可以在LAN设置下的7分钟内训练CIFAR-10的差异私有分类模型，其精度为88％。这一结果大大优于来自CryptGPU的一个SOTA MPL框架：在CIFAR-10上训练非私有性深神经网络模型的成本超过16小时，其精度相同。