AI|美空军目标定位AI认为自己有90%的成功率，但实际可能只有25%_美空军目标定位AI认为自己有

如果美五角大楼要依靠算法和AI，那么它必须要解决“脆性AI”的问题。该国负责情报、监视和侦察助理副参谋长Daniel Simpson最近说明了这一问题。据了解，在最近的一次测试中，一个实验性的目标识别程序在所有条件都完美的情况下表现良好，但一个微妙的调整却使其性能表现急剧下降。

文章图片

【AI|美空军目标定位AI认为自己有90%的成功率，但实际可能只有25%】资料图
Simpson表示，最初，AI是从一个传感器获得数据--这个传感器以一个倾斜的角度寻找一枚地对地导弹，然后它从另一个传感器获得数据--该传感器则以接近垂直的角度寻找多枚导弹。“真让人吃惊：该算法的表现并不好。实际上，它可能有25%的时间是准确的，”他说道。
这是一个有时被称为脆弱AI的例子，根据研究人员和前海军飞行员Missy Cummings于2020年公布的一份报告了解到，当任何算法不能概括或适应一套狭窄的假设之外的条件时就会发生这种情况。Cummings指出，当用于训练算法的数据由来自一个独特的有利位置的一种类型的图像或传感器数据组成，而来自其他有利位置、距离或条件的数据不足时就会出现脆性。
在自动驾驶汽车实验等环境中，研究人员将只是收集更多的数据用于训练。但在军事环境中，这可能是非常困难的，因为那里可能有大量的一种类型的数据--如高空卫星或无人机图像，但其他类型的数据却很少，因为它们在战场上没有用。
军队在试图训练某些物体识别任务的算法时面临着额外的障碍，与之相比，如公司为自动驾驶汽车训练物体识别算法。
越来越多的研究人员开始依赖所谓的“合成训练数据”，就军事目标定位软件而言，这将是由真实数据人工生成的图片或视频以训练算法如何识别真实事物。
不过Simpson表示，算法的低准确率并不是这项工作中最令人担忧的部分。虽然该算法只有25%的时间是正确的，但他说道--“它有信心在90%的时间里是正确的，所以它有信心是错误的。而这不是算法的错。这是因为我们给它提供了错误的训练数据。”
Simpson指出，这样的结果并不意味着空军应该停止追求AI的物体和目标检测。但它确实有在提醒人们，AI在以数据欺骗形式进行的对抗性行动面前是多么得脆弱。另外，它还表明，AI和人一样可能会受到过度自信的影响。