我们对真正低资源语言的神经机翻译（NMT）进行了实证研究，并提出了一个训练课程，适用于缺乏并行培训数据和计算资源的情况，反映了世界上大多数世界语言和研究人员的现实致力于这些语言。以前，已经向低资源语言储存了使用后翻译（BT）和自动编码（AE）任务的无监督NMT。我们证明利用可比的数据和代码切换作为弱监管，与BT和AE目标相结合，即使仅使用适度的计算资源，低资源语言也会显着改进。在这项工作中提出的培训课程实现了Bleu分数，可通过+12.2 Bleu为古吉拉特和+3.7 Bleu为哈萨克斯培训的监督NMT培训，展示了弱势监督的巨大监督态度资源语言。在受到监督数据的培训时，我们的培训课程达到了索马里数据集（索马里29.3的BLEU的最先进的结果）。我们还观察到增加更多时间和GPU来培训可以进一步提高性能，强调报告在MT研究中的报告资源使用的重要性。

Neural sequence models, especially transformers, exhibit a remarkable capacity for in-context learning. They can construct new predictors from sequences of labeled examples $(x, f(x))$ presented in the input without further parameter updates. We investigate the hypothesis that transformer-based in-context learners implement standard learning algorithms implicitly, by encoding smaller models in their activations, and updating these implicit models as new examples appear in the context. Using linear regression as a prototypical problem, we offer three sources of evidence for this hypothesis. First, we prove by construction that transformers can implement learning algorithms for linear models based on gradient descent and closed-form ridge regression. Second, we show that trained in-context learners closely match the predictors computed by gradient descent, ridge regression, and exact least-squares regression, transitioning between different predictors as transformer depth and dataset noise vary, and converging to Bayesian estimators for large widths and depths. Third, we present preliminary evidence that in-context learners share algorithmic features with these predictors: learners' late layers non-linearly encode weight vectors and moment matrices. These results suggest that in-context learning is understandable in algorithmic terms, and that (at least in the linear case) learners may rediscover standard estimation algorithms. Code and reference implementations are released at https://github.com/ekinakyurek/google-research/blob/master/incontext.

医学互联网是最近在医学方面的技术进步，对提供对健康指标的实时监控非常有帮助。本文提出了一种无创的物联网系统，该系统跟踪患者的情绪，尤其是患有自闭症谱系障碍的情绪。通过一些负担得起的传感器和云计算服务，对个人的心率进行监测和分析，以研究不同情绪每分钟汗水和心跳的变化的影响。在个人的正常休息条件下，建议的系统可以使用机器学习算法检测正确的情绪，其精度最高为92％。拟议方法的结果与医学物联网中最先进的解决方案相当。

变压器体系结构在许多最新应用程序中取得了显着进展。然而，尽管他们取得了成功，但现代变形金刚依赖于自我发挥的机制，其时间和空间复杂性在输入的长度上是二次的。已经提出了几种方法来加快自我注意力的机制以实现次级运行时间。但是，这些作品中的绝大多数并不伴随着严格的错误保证。在这项工作中，我们在许多情况下就自我注意的计算复杂性建立了下限。我们证明，自我注意力的时间复杂性在输入长度上必定是二次的，除非强烈的指数时间假设（SETH）是错误的。即使注意力计算仅执行大约和各种注意力机制，该论点也存在。作为对我们的下限的补充，我们表明确实可以使用有限的泰勒级数在线性时间中近似点产物自我发作，而成本依赖于多项式顺序。

徽标检索是一个具有挑战性的问题，因为与图像检索任务相比，相似性的定义更为主观，并且已知相似性的集合非常稀缺。为了应对这一挑战，在本文中，我们提出了一种简单但有效的基于细分市场的增强策略，以引入人工相似的徽标，以训练徽标检索的深层网络。在这种新颖的增强策略中，我们首先在徽标中找到细分市场，并在细分市场上应用旋转，缩放和颜色变化等转换，这与传统的图像级增强策略不同。此外，我们评估最近引入的基于排名的损失函数Smooth-AP是否是学习徽标检索相似性的更好方法。在大规模的METU商标数据集上，我们表明（i）基于细分市场的增强策略与基线模型或图像级增强策略相比提高了检索性能，并且（ii）平滑 - AP的表现确实比徽标的常规损失更好恢复。

随着移动设备和基于位置的服务越来越多地在不同的智能城市场景和应用程序中开发，由于数据收集和共享，许多意外的隐私泄漏已经出现。当与云辅助应用程序共享地理位置数据时，用户重新识别和其他敏感的推论是主要的隐私威胁。值得注意的是，四个时空点足以唯一地识别95％的个人，这加剧了个人信息泄漏。为了解决诸如用户重新识别之类的恶意目的，我们提出了一种基于LSTM的对抗机制，具有代表性学习，以实现原始地理位置数据（即移动性数据）的隐私权特征表示，以共享目的。这些表示旨在以最小的公用事业预算（即损失）最大程度地减少用户重新识别和完整数据重建的机会。我们通过量化轨迹重建风险，用户重新识别风险和移动性可预测性来量化移动性数据集的隐私性权衡权衡来训练该机制。我们报告了探索性分析，使用户能够通过特定的损失功能及其权重参数评估此权衡。四个代表性移动数据集的广泛比较结果证明了我们提出的在移动性隐私保护方面的架构的优越性以及提议的隐私权提取器提取器的效率。我们表明，流动痕迹的隐私能够以边际移动公用事业为代价获得体面的保护。我们的结果还表明，通过探索帕累托最佳设置，我们可以同时增加隐私（45％）和实用程序（32％）。

人工智能（AI）模型的黑框性质不允许用户理解和有时信任该模型创建的输出。在AI应用程序中，不仅结果，而且结果的决策路径至关重要，此类Black-Box AI模型还不够。可解释的人工智能（XAI）解决了此问题，并定义了用户可解释的一组AI模型。最近，有几种XAI模型是通过在医疗保健，军事，能源，金融和工业领域等各个应用领域的黑盒模型缺乏可解释性和解释性来解决有关的问题。尽管XAI的概念最近引起了广泛关注，但它与物联网域的集成尚未完全定义。在本文中，我们在物联网域范围内使用XAI模型对最近的研究进行了深入和系统的综述。我们根据其方法和应用领域对研究进行分类。此外，我们旨在专注于具有挑战性的问题和开放问题，并为未来的方向指导开发人员和研究人员进行未来的未来调查。