一个多世纪以前，伊万·P·帕夫洛夫（Ivan P. Pavlov）在经典实验中展示了狗如何学会将铃铛与食物联系起来，从而导致戒指导致唾液。如今，很少发现使用Pavlovian类型的关联学习用于人工智能（AI）应用程序，即使其他学习概念，尤其是对人工神经网络（ANN）的反向传播也蓬勃发展。但是，使用反向传播方法的训练在“常规” ANN上，尤其是现代深神经网络（DNNS）的形式，是计算和能量密集型的。在这里，我们在实验上展示了使用单个（或单一）关联硬件元素的无反向传播学习形式。我们使用相位变换材料与芯片级联方向耦合器相结合的集成光子平台上意识到这一点。然后，我们使用我们的Monadic Pavlovian光子硬件开发扩展的电路网络，该硬件可以基于单元素关联提供独特的机器学习框架，并且重要的是，重要的是，使用无反向传播的架构来解决一般学习任务。我们的方法通过在传统的神经网络方法中学习来减轻施加的计算负担，从而提高了速度，同时还提供了我们光子实现固有的更高带宽。
translated by 谷歌翻译
胃肠道（GI）癌症的患病率每年令人震惊，导致死亡率大幅上升。内窥镜检测提供了至关重要的诊断支持，但是，上胃肠道中的细微病变很难检测到，并引起大量的错过检测。在这项工作中，我们利用深度学习来开发一个框架，以改善难以检测病变的本地化并最大程度地减少遗漏的检测率。我们提出了一个端到端的学生教师学习设置，其中使用较大数据集的一个班级训练有素的教师模型的班级概率用于惩罚多级学生网络。我们的模型在两种内窥镜疾病检测（EDD2020）挑战和Kvasir-SEG数据集上，在平均平均精度（MAP）方面达到了更高的性能。此外，我们表明，使用这样的学习范式，我们的模型可以推广到看不见的测试集，从而为临床上关键的肿瘤和息肉类别提供更高的APS
translated by 谷歌翻译
炎症性肠病（IBD），尤其是溃疡性结肠炎（UC），由内镜医生分级，该评估是风险分层和治疗监测的基础。目前，内窥镜表征在很大程度上取决于操作员，导致IBD患者有时不良的临床结果。我们专注于广泛使用但需要可靠地鉴定粘膜炎症变化的蛋黄酱内窥镜评分（MES）系统。大多数现有的深度学习分类方法无法检测到这些细粒度的变化，从而使UC的分级成为一项具有挑战性的任务。在这项工作中，我们介绍了一个新颖的贴片级实例组歧视，并使用借口 - 不变的表示学习（PLD-pirl）进行自我监督学习（SSL）。我们的实验表明，与基线监督网络和几种最先进的SSL方法相比，准确性和鲁棒性提高了。与基线（RESNET50）监督分类相比，我们提出的PLD-pirl在Hold-Out测试数据中获得了4.75％的改善，而在看不见的中心测试数据中获得了6.64％的速度，以获得TOP-1的准确性。
translated by 谷歌翻译
肿瘤浸润淋巴细胞（TIL）的定量已被证明是乳腺癌患者预后的独立预测因子。通常，病理学家对含有tils的基质区域的比例进行估计，以获得TILS评分。乳腺癌（Tiger）挑战中肿瘤浸润淋巴细胞旨在评估计算机生成的TILS评分的预后意义，以预测作为COX比例风险模型的一部分的存活率。在这一挑战中，作为Tiager团队，我们已经开发了一种算法，以将肿瘤与基质与基质进行第一部分，然后将肿瘤散装区域用于TILS检测。最后，我们使用这些输出来生成每种情况的TILS分数。在初步测试中，我们的方法达到了肿瘤 - 细胞瘤的加权骰子评分为0.791，而淋巴细胞检测的FROC得分为0.572。为了预测生存，我们的模型达到了0.719的C索引。这些结果在老虎挑战的初步测试排行榜中获得了第一名。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
它是由Thom和Palm所说的，稀疏连接的神经网络（SCNS）显示出完全连接的网络（FCN）的改进性能。超常规网络（SRNS）是由一组堆叠稀疏层组成的神经网络（epsilon，delta） - 常规对和随机置换的节点顺序组成。使用爆破引理，我们证明，由于每对层的各个超规律性，SRNS保证了许多属性，使它们为许多任务提供适用于FCN的替代品。这些保证包括所有大足够大的子集，最小节点内和OUT度，输入 - 输出灵敏度以及嵌入预培训构造的能力的边缘均匀性。实际上，SRNS具有像FCN一样行动的能力，并消除对耗时的昂贵正则化方案的需求。我们表明SRNS通过易于可重复的实验表现出与X-NET相似，并提供更大的保证和对网络结构的控制。
translated by 谷歌翻译
匹配问题的图表寻求在两个图形的节点之间找到对齐，这最小化了邻接分歧的数量。解决图表匹配越来越重要，因为它在运营研究，计算机视觉，神经科学等中的应用程序。然而，当前最先进的算法效率低，匹配非常大的图形，尽管它们产生了良好的准确性。这些算法的主要计算瓶颈是线性分配问题，必须在每次迭代时解决。在本文中，我们利用最近的最佳运输领域的进步来取代接受的线性分配算法的使用。我们呈现山羊，对最先进的图形匹配近似算法“常见问题”（Vogelstein，2015）的修改，用CuSuri（2013）的“光速最优传输”方法替换其线性和分配步骤。该修改提供了对速度和经验匹配精度的改进。在模拟和实际数据示例中匹配图表中对该方法的有效性进行了说明。
translated by 谷歌翻译
什么是学习？ 20美元^ {st} Centure的学习理论形式化 - 这是人工智能中沉淀的革命 - 主要是在$ \ mathit {in-diversion} $学习，即在假设训练数据被取样的假设下学习与评估分布相同的分配。这种假设使这些理论不足以表征21美元^ $ {st} MENTURE的现实世界数据问题，其通常是通过与培训数据分布（称为公共学习）不同的评估分布来表征。因此，我们通过放松这种假设来对现有可读性的正式定义进行小小的变化。然后，我们介绍$ \ MATHBF {学习\效率} $（LE）来量化学习者能够利用给定问题的数据的金额，无论它是一个或分发的问题如何。然后，我们定义并证明了可读性的广义概念之间的关系，并展示了该框架是如何足够一般的，以表征传输，多任务，元，持续和终身学习。我们希望本统一有助于弥合现实世界问题的实证实践与理论指导之间的差距。最后，因为生物学学习继续胜过机器学习算法的某些挑战，我们讨论了这一框架VI的局限性 - \'A-is-is-is-is-is-is-is-vis，它的形式化生物学学习能力，旨在为未来研究的多个途径。
translated by 谷歌翻译
AI正在经历范式转变，随着模型的兴起（例如Bert，Dall-E，GPT-3），这些模型经过大规模的数据训练，并且可以适应广泛的下游任务。我们称这些模型基础模型来强调其至关重要但不完整的特征。该报告提供了基础模型的机会和风险的详尽说明，包括其功能（例如语言，愿景，机器人技术，推理，人类互动）和技术原则（例如，模型架构，培训程序，数据，系统，安全，安全性，评估，理论）对其应用（例如法律，医疗保健，教育）和社会影响（例如不平等，滥用，经济和环境影响，法律和道德考虑）。尽管基础模型基于标准的深度学习和转移学习，但它们的规模导致了新的新兴能力，以及它们在许多任务中的有效性都激发了同质化。同质化提供了强大的杠杆作用，但要求谨慎，因为基础模型的缺陷均由下游的所有适应模型继承。尽管即将广泛地部署基础模型，但我们目前对它们的工作方式，失败以及由于其新兴属性的影响而缺乏清晰的了解。为了解决这些问题，我们认为基础模型的许多批判性研究都需要与他们的基本社会技术性质相称。
translated by 谷歌翻译
在结肠息肉是众所周知的如通过结肠镜检查鉴定的癌症的前体或者有关诊断工作为症状，结肠直肠癌筛查或某些疾病的系统的监视。虽然大部分息肉是良性的，在数量，尺寸和息肉的表面结构是紧密相连的结肠癌的风险。有高的漏检率和不完全去除结肠息肉的存在由于可变性质，困难描绘异常，高复发率和结肠的解剖外形。过去，多种方法已建成自动化息肉检测与分割。然而，大多数方法的关键问题是，他们没有经过严格的大型多中心的专用数据集进行测试。因此，这些方法可能无法推广到不同人群的数据集，因为他们过度拟合到一个特定的人口和内镜监控。在这个意义上，我们已经从整合超过300名患者6个不同的中心策划的数据集。所述数据集包括与由六名高级肠胃验证息肉边界的精确划定3446个注释息肉标签单帧和序列数据。据我们所知，这是由一组计算科学家和专家肠胃的策划最全面的检测和像素级的细分数据集。此数据集已在起源的Endocv2021挑战旨在息肉检测与分割处理可推广的一部分。在本文中，我们提供全面的洞察数据结构和注释策略，标注的质量保证和技术验证我们的扩展EndoCV2021数据集，我们称之为PolypGen。
translated by 谷歌翻译