易坊好文馆

  1. 首页 > 玩科技 >

视频|用“算法”模拟光束可攻击自动驾驶车辆 专家呼吁重视AI安全

阿里 视频 模拟 算法 自动 车辆 研究 攻击 光束 图灵 薛晖 陈达

攻击AI有多简单?一束光就够了 。
3月11日 ， 阿里安全专家发布了一项新研究 ， 只要用简单的激光笔 ， 就可以让AI模型不再有效 。 在这个研究中 ， 他们设计了一种算法 ， 可模拟光束对AI模型进行“攻击” ， 这种测试方法在现实世界中得到了验证 ， 且“攻击”极易操作 ， 对现有基于AI的视觉系统更具威胁 。
【视频|用“算法”模拟光束可攻击自动驾驶车辆 专家呼吁重视AI安全】
视频|用“算法”模拟光束可攻击自动驾驶车辆 专家呼吁重视AI安全
文章图片

一束激光可能让自动驾驶汽车对交通标识识别错误
“攻击AI远非需要人为去制造对抗样本 ， 一支简单的激光笔就可以 。 我们想通过这个研究揭示AI模型一些之前没有被探索过的‘错误’ ， 从而‘强壮’AI ， 让它未来能抵挡这种‘攻击’ ， 也让相关从业者重视提高AI模型的安全性 。 ”阿里安全图灵实验室负责人薛晖说 。
除了以“一束光”测试AI视觉的安全性 ， 最近图灵实验室发布了多项文字识别与检测、利用自监督建立视频表征学习方法与提升半监督行为检测的算法框架、AI样本对抗、伪造人脸检测、AI对人脸与人声匹配的双重模态识别、视频描述AI生成技术等囊括AI“视觉”“听觉”“大脑”“免疫性”等多项涉及AI安全的研究成果 ， 涉及AI安全的10项新一代安全架构研究成果均被国际顶会CVPR2021收录 。
“在AI安全前沿技术上进行探索 ， 一是为了让AI更安全 ， 二是为了让AI助力安全 ， 三是为解决具体社会问题寻找提效的新途径 。 ”薛晖说 。
针对互联网视频中所可能存在的内容风险 ， 阿里安全高级算法工程师陈达与阿里安全实习算法工程师邓超睿共同开展了密集型视频描述生成研究 ， 通过算法对给定视频自动生成对视频内容进行描述的一段文字 ， 提前过滤不良内容 ， 守护互联网清朗健康环境 。
书乐是阿里安全图灵实验室的一名女性算法专家 ， 她认为算法应该是有“
温度”、“柔软”的 ， 希望能在保护大众隐私的基础上 ， 更加高效地解决机场、火车站、车库、游乐场等环境下走失儿童、老人的寻找问题 。 高级算法专家越丰关注AI对抗样本的问题 ， 高质量的DeepFake人脸伪造视频更容易被制作并引发不良影响 ， 而真实场景的伪造视频数据分布和视频质量参差不齐 ， 他们正在通过寻找一个更好的方法提升检测AI检测算法的实用性 。
“安全部署要前置 ， 无论是AI本身的安全 ， 还是AI可以助力解决的安全问题与社会问题 ， 这就是从源头构筑安全的核心理念 。 ”薛晖表示 ， 希望在广阔的AI安全研究的新领域中 ， 能有更多新生力量加入 ， 迸发出有创造性和想象力的研究 ， 最终应用到人们的生活中 ， 真正服务大众 ， 解决难题 。

    推荐阅读


    上一篇：国美电器|长虹&爱奇艺联手首推AI投屏电视 用户好评率99.5%

    下一篇：平台|阿里塔玑推出一键生成外籍虚拟模特技术 帮商家节省成本百万元