由于隐私,透明度,问责制和缺少程序保障的担忧,印度的面部加工系统的增加越来越多。与此同时,我们也很少了解这些技术如何在印度13.4亿种群的不同特征,特征和肤色上表现出来。在本文中,我们在印度脸部的数据集中测试四个商用面部加工工具的面部检测和面部分析功能。该工具在面部检测和性别和年龄分类功能中显示不同的错误率。与男性相比,印度女性面的性别分类错误率始终如一,最高的女性错误率为14.68%。在某些情况下,这种错误率远高于其他国籍的女性之前的研究表明。年龄分类错误也很高。尽管从一个人的实际年龄从一个人的实际年龄到10年来考虑到可接受的误差率,但年龄预测失败的速度为14.3%至42.2%。这些发现指向面部加工工具的准确性有限,特别是某些人口组,在采用此类系统之前需要更关键的思维。
translated by 谷歌翻译
Recent studies demonstrate that machine learning algorithms can discriminate based on classes like race and gender. In this work, we present an approach to evaluate bias present in automated facial analysis algorithms and datasets with respect to phenotypic subgroups. Using the dermatologist approved Fitzpatrick Skin Type classification system, we characterize the gender and skin type distribution of two facial analysis benchmarks, IJB-A and Adience. We find that these datasets are overwhelmingly composed of lighter-skinned subjects (79.6% for IJB-A and 86.2% for Adience) and introduce a new facial analysis dataset which is balanced by gender and skin type. We evaluate 3 commercial gender classification systems using our dataset and show that darker-skinned females are the most misclassified group (with error rates of up to 34.7%). The maximum error rate for lighter-skinned males is 0.8%. The substantial disparities in the accuracy of classifying darker females, lighter females, darker males, and lighter males in gender classification systems require urgent attention if commercial companies are to build genuinely fair, transparent and accountable facial analysis algorithms.
translated by 谷歌翻译
自动面检测等计算机视觉应用用于各种目的,从解锁智能设备到跟踪监视的潜在感兴趣的人。这些申请的审计透露,他们倾向于对少数民族群体偏见,导致不公平和关于社会和政治结果。尽管随着时间的推移,但这些偏差尚未完全减轻,但实际上已经增加了年龄预测等任务。虽然这些系统审核了基准数据集,但有必要评估其对抗性投入的鲁棒性。在这项工作中,我们在多个系统和数据集上进行广泛的对手审核,并进行了许多关于观察 - 从以前的审计以来的一些任务对一些任务进行了准确性。虽然仍然对多个数据集的少数群体的个体仍然存在偏差,但更令人担忧的观察是这些偏差倾向于对少数群体的对抗意义进行过度发音。我们讨论了鉴于这些观察结果更广泛的社会影响以及关于如何共同应对这个问题的建议。
translated by 谷歌翻译
机器学习数据集引起了对隐私,偏见和不道德应用的担忧,导致突出数据集的缩写,例如Dukemtmc,MS-Celeb-1M和微小图像。作为响应,机器学习界已在数据集创建中呼吁更高的道德标准。为了帮助通知这些努力,我们研究了三个有影响力的但道德问题的面部和人识别数据集 - 在野外(LFW),MS-Celeb-1M和DukemTM中标记的面孔 - 通过分析近1000篇引用它们的纸张。我们发现,创建衍生数据集和模型,更广泛的技术和社会变革,许可证缺乏清晰度,数据集管理实践可以引入广泛的道德问题。我们通过表明分布式方法来伤害消除数据集的整个生命周期的危害。
translated by 谷歌翻译
随着数据驱动的系统越来越大规模部署,对历史上边缘化的群体的不公平和歧视结果引起了道德问题,这些群体在培训数据中的代表性不足。作为回应,围绕AI的公平和包容性的工作呼吁代表各个人口组的数据集。在本文中,我们对可访问性数据集中的年龄,性别和种族和种族的代表性进行了分析 - 数据集 - 来自拥有的数据集,这些数据集来自拥有的人。残疾和老年人 - 这可能在减轻包含AI注入的应用程序的偏见方面发挥重要作用。我们通过审查190个数据集的公开信息来检查由残疾人来源的数据集中的当前表示状态,我们称这些可访问性数据集为止。我们发现可访问性数据集代表不同的年龄,但具有性别和种族表示差距。此外,我们研究了人口统计学变量的敏感和复杂性质如何使分类变得困难和不一致(例如,性别,种族和种族),标记的来源通常未知。通过反思当前代表残疾数据贡献者的挑战和机会,我们希望我们的努力扩大了更多可能将边缘化社区纳入AI注入系统的可能性。
translated by 谷歌翻译
值得信赖的人工智能(AI)已成为一个重要的话题,因为在AI系统及其创造者中的信任已经丢失。研究人员,公司和政府具有远离技术开发,部署和监督的边缘化群体的长期和痛苦的历史。结果,这些技术对小群体的有用甚至有害。我们争辩说,渴望信任的任何AI开发,部署和监测框架必须纳入女权主义,非剥削参与性设计原则和强大,外部和持续监测和测试。我们还向考虑到透明度,公平性和问责制的可靠性方面的重要性,特别是考虑对任何值得信赖的AI系统的核心价值观的正义和转移权力。创建值得信赖的AI通过资金,支持和赋予Grassroots组织,如AI Queer等基层组织开始,因此AI领域具有多样性和纳入可信和有效地发展的可信赖AI。我们利用AI的专家知识Queer通过其多年的工作和宣传来讨论以及如何以及如何在数据集和AI系统中使用如何以及如何在数据集和AI系统中使用以及沿着这些线路的危害。基于此,我们分享了对AI的性别方法,进一步提出了Queer认识论并分析它可以带来AI的好处。我们还讨论了如何在愿景中讨论如何使用此Queer认识论,提出与AI和性别多样性和隐私和酷儿数据保护相关的框架。
translated by 谷歌翻译
2019年,英国的移民和庇护室的上部法庭驳回了基于其他差异的生物识别系统产出的决定。在生物识别数据库中发现了庇护所寻求者的指纹,这与上诉人的账户相矛盾。法庭发现这一证据明确透明,否认庇护索赔。如今,生物识别系统的扩散正在围绕其政治,社会和道德意义塑造公众辩论。然而,虽然对移动控制的种族式使用这种技术的担忧一直在上升,但对生物识别行业的投资和创新正在增加大幅增加。此外,生物识别技术最近也已经采用了公平,以减轻生物识别学的偏见和歧视。然而,算法公平不能在破损或预期目的的情况下分配正义,这是为了区分,例如在边境部署的生物识别。在本文中,我们提供了最近关于生物识别公平性辩论的批判性阅读,并展示了其在机器学习和关键边界研究的公平研究中的局限性。在以前的公平演示中,我们证明了生物识别公平标准是数学上的互斥。然后,纸张继续验证说明公平的生物识别系统,通过从先前的作品中再现实验。最后,我们通过在边境的辩论中讨论生物识别性的公平性的政治。我们声称偏见和错误率对公民和寻求庇护者产生了不同的影响。公平已经在生物识别学室内黯然失色,专注于算法的人口偏见和伦理话语,而不是检查这些系统如何重现历史和政治不公正。
translated by 谷歌翻译
Trained machine learning models are increasingly used to perform high-impact tasks in areas such as law enforcement, medicine, education, and employment. In order to clarify the intended use cases of machine learning models and minimize their usage in contexts for which they are not well suited, we recommend that released models be accompanied by documentation detailing their performance characteristics. In this paper, we propose a framework that we call model cards, to encourage such transparent model reporting. Model cards are short documents accompanying trained machine learning models that provide benchmarked evaluation in a variety of conditions, such as across different cultural, demographic, or phenotypic groups (e.g., race, geographic location, sex, Fitzpatrick skin type [15]) and intersectional groups (e.g., age and race, or sex and Fitzpatrick skin type) that are relevant to the intended application domains. Model cards also disclose the context in which models are intended to be used, details of the performance evaluation procedures, and other relevant information. While we focus primarily on human-centered machine learning models in the application fields of computer vision and natural language processing, this framework can be used to document any trained machine learning model. To solidify the concept, we provide cards for two supervised models: One trained to detect smiling faces in images, and one trained to detect toxic comments in text. We propose model cards as a step towards the responsible democratization of machine learning and related artificial intelligence technology, increasing transparency into how well artificial intelligence technology works. We hope this work encourages those releasing trained machine learning models to accompany model releases with similar detailed evaluation numbers and other relevant documentation.
translated by 谷歌翻译
计算机视觉(CV)取得了显着的结果,在几个任务中表现优于人类。尽管如此,如果不正确处理,可能会导致重大歧视,因为CV系统高度依赖于他们所用的数据,并且可以在此类数据中学习和扩大偏见。因此,理解和发现偏见的问题至关重要。但是,没有关于视觉数据集中偏见的全面调查。因此,这项工作的目的是:i)描述可能在视觉数据集中表现出来的偏差; ii)回顾有关视觉数据集中偏置发现和量化方法的文献; iii)讨论现有的尝试收集偏见视觉数据集的尝试。我们研究的一个关键结论是,视觉数据集中发现和量化的问题仍然是开放的,并且在方法和可以解决的偏见范围方面都有改进的余地。此外,没有无偏见的数据集之类的东西,因此科学家和从业者必须意识到其数据集中的偏见并使它们明确。为此,我们提出了一个清单,以在Visual DataSet收集过程中发现不同类型的偏差。
translated by 谷歌翻译
教育技术,以及他们部署的学校教育系统,制定了特定的意识形态,了解有关知识的重要事项以及学习者应该如何学习。作为人工智能技术 - 在教育和超越 - 可能导致边缘社区的不公平结果,已经制定了各种方法来评估和减轻AI的有害影响。然而,我们争辩于本文认为,在AI模型中的性能差异的基础上评估公平的主导范式是面对教育AI系统(RE)生产的系统性不公平。我们在批判理论和黑色女权主义奖学金中汲取了结构性不公正的镜头,以批判性地审查了几个普遍研究的和广泛采用的教育AI类别,并探讨了他们如何融入和重现结构不公正和不公平的历史遗产和不公平的历史遗产。他们模型绩效的奇偶阶段。我们关闭了替代愿景,为教育ai提供更公平的未来。
translated by 谷歌翻译
在过去的几年中,涉及AI驱动警察工作的歧视性做法一直引起了很多争议,Compas,Predpol和Shotspotter等算法被指控不公平地影响少数群体。同时,机器学习中的公平性,尤其是计算机视觉的问题,已经成为越来越多的学术工作的主题。在本文中,我们研究了这些区域如何相交。我们提供有关这些实践如何存在的信息以及减轻它们的困难。然后,我们检查目前正在开发的三个应用程序,以了解它们对公平性构成的风险以及如何减轻这些风险。
translated by 谷歌翻译
儿童性滥用和剥削(CSAE)受害者的确切年龄估计是最重要的数字取证挑战之一。调查人员通常需要通过查看图像和解释性发展阶段和其他人类特征来确定受害者的年龄。主要优先事项 - 保障儿童 - 通常受到这项工作可能需要的巨大的法医反积云,认知偏见和巨大的心理压力的负面影响。本文评估了现有的面部图像数据集,并提出了一种针对类似数字法医研究贡献的需求而定制的新数据集。这个小型,不同的DataSet为0到20岁的个人包含245个图像,并与FG-Net DataSet的82个唯一图像合并,从而实现了具有高图像分集和低年龄范围密度的327个图像。在IMDB-Wiki DataSet上预先培训的深度期望(DEX)算法测试新数据集。 16至20岁的年轻青少年和年龄较大的青少年/成年人的整体成果非常令人鼓舞 - 达到1.79年的MAE,但也表明0至10岁儿童的准确性需要进一步的工作。为了确定原型的功效,已经考虑了四个数字法医专家的有价值输入,以提高年龄估计结果。需要进一步的研究来扩展关于图像密度的数据集和性别和种族分集等因素的平等分布。
translated by 谷歌翻译
The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.
translated by 谷歌翻译
在自拍照上的增强现实或AR过滤器在社交媒体平台上已经非常受欢迎,用于各种应用程序,包括营销,娱乐和美学。鉴于AR面部过滤器的广泛采用以及面孔在我们的社会结构和关系中的重要性,科学界从心理,艺术和社会学的角度分析此类过滤器的影响增加了。但是,该领域的定量分析很少,这主要是由于缺乏具有应用AR过滤器的面部图像的公开数据集。大多数社交媒体平台的专有性,紧密的性质不允许用户,科学家和从业人员访问代码和可用AR面孔过滤器的详细信息。从这些平台上刮擦面孔以收集数据在道德上是不可接受的,因此应在研究中避免。在本文中,我们介绍了OpenFilter,这是一个灵活的框架,可在社交媒体平台上使用AR过滤器,可在现有的大量人体面孔上使用。此外,我们共享FairBeauty和B-LFW,这是公开可用的Fairface和LFW数据集的两个美化版本,我们概述了这些美化数据集的分析得出的见解。
translated by 谷歌翻译
业务分析(BA)的广泛采用带来了财务收益和提高效率。但是,当BA以公正的影响为决定时,这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应,对算法公平性的新兴研究涉及算法输出,这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象,尤其是那些在历史上被边缘化的人。公平性是根据法律合规,社会责任和效用是相关的;如果不充分和系统地解决,不公平的BA系统可能会导致社会危害,也可能威胁到组织自己的生存,其竞争力和整体绩效。本文提供了有关算法公平的前瞻性,注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后,我们对公用事业关系的详细讨论进行了详细的讨论,强调经常假设这两种构造之间经常是错误的或短视的。最后,我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。
translated by 谷歌翻译
随着全球人口越来越多的人口驱动世界各地的快速城市化,有很大的需要蓄意审议值得生活的未来。特别是,随着现代智能城市拥抱越来越多的数据驱动的人工智能服务,值得记住技术可以促进繁荣,福祉,城市居住能力或社会正义,而是只有当它具有正确的模拟补充时(例如竭尽全力,成熟机构,负责任治理);这些智能城市的最终目标是促进和提高人类福利和社会繁荣。研究人员表明,各种技术商业模式和特征实际上可以有助于极端主义,极化,错误信息和互联网成瘾等社会问题。鉴于这些观察,解决了确保了诸如未来城市技术基岩的安全,安全和可解释性的哲学和道德问题,以为未来城市的技术基岩具有至关重要的。在全球范围内,有能够更加人性化和以人为本的技术。在本文中,我们分析和探索了在人以人为本的应用中成功部署AI的安全,鲁棒性,可解释性和道德(数据和算法)挑战的关键挑战,特别强调这些概念/挑战的融合。我们对这些关键挑战提供了对现有文献的详细审查,并分析了这些挑战中的一个可能导致他人的挑战方式或帮助解决其他挑战。本文还建议了这些域的当前限制,陷阱和未来研究方向,以及如何填补当前的空白并导致更好的解决方案。我们认为,这种严谨的分析将为域名的未来研究提供基准。
translated by 谷歌翻译
近年来政府和商业实体的面部识别(FR)技术的快速采用提出了对公民自由和隐私的担忧。作为回应,已经开发了一套广泛的所谓“反面部识别”(AFR)工具,以帮助用户避免不需要的面部识别。在过去几年中提出的一组AFR工具是广泛的,快速发展,需要退回措施,以考虑AFR系统的更广泛的设计空间和长期挑战。本文旨在填补该差距,并提供对AFR研究景观的第一次综合分析。使用FR系统的运营级作为起点,我们创建了一个系统框架,用于分析不同AFR方法的益处和权衡。然后,我们考虑到AFR工具面临的技术和社会挑战,并提出在该领域的未来研究方向。
translated by 谷歌翻译
刻板印象,偏见和歧视已在机器学习(ML)方法(例如计算机视觉(CV)[18,80],自然语言处理(NLP)[6]或两者兼有大图像和大图像和两者兼而有之)标题模型,例如OpenAI剪辑[14]。在本文中,我们评估了ML偏差如何在世界内部和自主作用的机器人中表现出来。我们审核了最近发表的几种剪贴式机器人操纵方法之一,向其呈现在表面上有人脸的图片,这些物体在种族和性别之间各不相同,以及包含与常见刻板印象相关的术语的任务说明。我们的实验明确表明机器人对性别,种族和科学持有的较大的构成观念的作用,并大规模地划分了。此外,经过审核的方法不太可能认识有色人种和有色人种。我们的跨学科社会技术分析跨越了科学技术与社会(STS),批判性研究,历史,安全,机器人技术和AI等领域和应用。我们发现,由大型数据集和溶解模型提供动力的机器人(有时称为“基础模型”,例如剪辑),其中包含人类风险在物理上放大恶性刻板印象;而且,仅纠正差异将不足以使问题的复杂性和规模不足。取而代之的是,我们建议机器人学习方法在适当的时候暂停,重新设计甚至损坏,直到结果被证明是安全,有效和公正的,才能暂停,重新工作甚至损坏其他有害结果。最后,我们讨论了有关身份安全评估框架和设计正义等主题的新的跨学科研究的全面政策变化,以及更好地理解和解决这些危害的主题。
translated by 谷歌翻译
本文确定了数据驱动系统中的数据最小化和目的限制的两个核心数据保护原理。虽然当代数据处理实践似乎与这些原则的赔率达到差异,但我们证明系统可以在技术上使用的数据远远少于目前的数据。此观察是我们详细的技术法律分析的起点,揭示了妨碍了妨碍了实现的障碍,并举例说明了在实践中应用数据保护法的意外权衡。我们的分析旨在向辩论提供关于数据保护对欧盟人工智能发展的影响,为数据控制员,监管机构和研究人员提供实际行动点。
translated by 谷歌翻译
部署的AI系统通常不起作用。它们可以随意地构造,不加选择地部署并欺骗性地促进。然而,尽管有这一现实,但学者,新闻界和决策者对功能的关注很少。这导致技术和政策解决方案的重点是“道德”或价值一致的部署,通常会跳过先前的问题,即给定系统功能或完全提供任何好处。描述各种功能失败的危害,我们分析一组案例研究,以创建已知的AI功能问题的分类法。然后,我们指出的是政策和组织响应,这些策略和组织响应经常被忽略,并在功能成为重点后变得更容易获得。我们认为功能是一项有意义的AI政策挑战,是保护受影响社区免受算法伤害的必要第一步。
translated by 谷歌翻译