易坊好文馆

  1. 首页 > 玩科技 >

AI|《柳叶刀》文章：AI诊断系统可能输出带有种族偏见的结果

麻省理工学院和哈佛大学的一个研究团队在医学杂志《柳叶刀数字健康》上发表文章，称AI程序可以从X射线和CT扫描结果中分辨患者的种族，准确率高达90% 。这并不是一个好消息，因为连科学家们都没弄清楚这些AI程序是如何做到分辨种族的 。
_本文原题是：AI也会种族歧视？《柳叶刀》文章：AI诊断系统可能输出带有种族偏见的结果
“当我的研究生向我展示这篇论文中的某些结果时，我认为这一定出了差错 。”负责分析对应主题的论文作者之一，麻省理工学院助理教授Marzyeh Ghassemi告诉媒体，“当他们告诉我的时候，我真的以为我的学生疯了 。”
AI|《柳叶刀》文章：AI诊断系统可能输出带有种族偏见的结果
文章图片

Marzyeh Ghassemi
这篇文章中提到，AI诊断系统似乎会根据种族对患者进行诊断和治疗，而非患者的个人身体状况 。
这种做法将会损害患者的健康 。
研究人员提到一个案例，AI程序在检查胸部X光片时，漏掉黑人和女性患者身体病变的几率更高 。
而这项研究的目的，正是确认AI系统从医学影像中检测人类种族的程度，以及它们如何从中检测出种族信息 。
为此，研究团队使用人类身体不同部位的医学图像对AI系统进行训练 。被提供给AI系统的医学影像中，不包含头发质地、肤色以及BMI或骨密度等明显的种族标记 。
通过测试，研究人员发现，AI系统对人类种族的识别准确率高达90% 。不论是哪个身体部位的医学影像，AI系统都能从中识别出种族信息 。
更令人惊讶的是，即便是严重缺失或损坏的医学影像，AI系统也能从中准确识别种族 。
研究人员更关心的，并非是AI系统能够检测人类种族这件事情本身，而是AI系统的临床表现将因为这些种族偏见受到影响 。而医生可能会忽略AI系统诊断结果中的误差 。
文章的作者表示，“AI预测种族身份的能力本身并不重要，但是这种能力很可能存在于许多医学影像分析模型中，这将会使临床中已经存在的种族差异问题恶化 。”
人类目前还无法确认AI系统从医学影像的哪些特征中检测出患者的种族，加之AI能够从身体任何部位的医学影像，以及严重损坏的医学影像中识别患者种族，这意味着使用医学成像技术创建一个没有种族偏见的AI系统将会非常困难 。
Ghassemi告诉媒体，她猜测，也许是医学图像以某种未知方式记录了患者皮肤中黑色素的水平，从而被AI系统识别 。
根据研究结果，也有可能是种族之间存在一些先天的差异 。
罕布什尔学院生物人类学教授、《种族主义不是种族》的作者之一Alan Goodman告诉媒体，他不太认同这种说法 。
AI|《柳叶刀》文章：AI诊断系统可能输出带有种族偏见的结果
文章图片

Alan Goodman
在过往的研究中，科学家们很难在人类基因组中找到一致的种族差异，但往往能根据人类祖先的进化找到一致的遗传差异 。因此，人与人之间的基因差异，更大概率是源于人类个体祖先进化的不同特征，而非种族 。
Ghassemi表示，这一问题还需要进行更多的研究才能得出明确的结论 。
【AI|《柳叶刀》文章：AI诊断系统可能输出带有种族偏见的结果】“我们需要暂停AI系统的落地，”麻省理工学院的科学家、医生Leo Anthony Celi说，“在确认AI系统没有做出种族主义决定或性别歧视决定之前，我们不能急于将其带入医院和诊所 。”

    推荐阅读


    上一篇：IT|Lilium通过在飞行过程中转换主翼实现了eVTOL的一大里程碑

    下一篇：IT|电动超跑品牌Rimac完成一轮5亿欧元融资，软银和高盛领投