人工智能|观察丨瑞莱智慧唐家渝：AI安全风险背后原理何如，怎样应对导致系统|攻击|唐家渝|瑞莱|防

近年来，在大算力和海量大数据的驱动下，以深度学习为代表的AI技术飞速发展，以计算机视觉技术为例，依托广阔的应用场景从理论研究走向大规模的应用落地，人脸识别、目标检测等被广泛应用于公共安全、城市交通等领域，推动城市治理的智能化升级。
“但数据驱动的深度学习算法存在不透明、不可解释等局限性，即便是开发者也难以理解其内在的运行逻辑，这就导致系统可能遭受到难以被察觉的恶意攻击。他以对抗样本攻击举例，通过对输入数据故意添加干扰，使肉眼或许难以发现，但却能误导算法以高置信度给出错误输出， ”12月27日，瑞莱智慧副总裁唐家渝在第十八届安博会期间举办的第十六届中国安防论坛·技术论坛上表示。

文章图片

瑞莱智慧RealAI 副总裁唐家渝
北京瑞莱智慧科技有限公司成立于2018年7月，是清华大学人工智能研究院发起成立的科技成果转化企业，致力于提供安全可控人工智能基础设施平台与解决方案。中国科学院院士、清华大学人工智能研究院名誉院长张钹和清华大学计算机系教授朱军共同担任公司首席科学家，清华大学计算机系博士田天出任CEO 。
唐家渝继续解释道，这背后的原理在于，深度学习算法是通过对数据集中的示例进行学习从而建立出模型，与人类不同，它没有对先验知识进行合理利用，它的判断取决于样本数据，所以深度学习算法永远无法达到人类的判断水平。如果以一条分界线来类比，在进行决策判断的时候，模型决策的分界线与人类真实决策的分界线并非完全吻合，存在“误差” ，因此可通过生成偏差数据，使其在误差空间内，人类能正常判断，但模型却判断错误，从而实现对AI系统的欺骗或攻击。
这是深度学习范式下AI应用存在的结构性缺陷，贯穿于AI全生命周期。除了在运行环节对输入数据添加“扰动” ，在最开始的模型设计环节，通过在训练数据中添加“污染数据”进行“投毒” ，导致模型被埋藏后门，再通过预先设定的触发器激发后门，模型也将输出事先设定的错误结果。
唐家渝表示，通过数据污染、恶意样本攻击等方式对算法进行深层次攻击已经成为趋势，随着AI技术尤其是计算机视觉技术的广泛应用，这一安全风险的真实威胁开始显现。例如，公共安全领域，视频监控、安检闸机等智能安防设备被不法分子攻击，用于躲避追踪、冒充他人等；交通领域，自动驾驶汽车被干扰“致盲” ，引发安全事故等；在金融领域，线上银行的人脸认证被破解，用于非法转账等诈骗行为。

人工智能|观察丨瑞莱智慧唐家渝：AI安全风险背后原理何如，怎样应对

推荐阅读

如何找寻自我

缝纫机调线器怎么安装平车方法如何

强组词强字组词

火笋鸡翅的做法（增肥食谱）

闺女生日快乐祝福语朋友圈

LV请来潮牌设计师做艺术总监，看中的是啥

老虎豆怎么做好吃老虎豆图片怎样弄来吃

暖气有流水声是什么原因

皮球是什么体

手机怎样开通QQ空间

男生发mua说明 mua是什么意思

手指盖凹陷怎么回事

对自己的生活失去掌控咋调整

小米10s怎么没有月亮模式

我想找个偏僻的地方搞养殖！有没有推荐的地方？

南京养老金认证上门服务怎么申请南京市养老金认证

如何评价猪场阉割猪？

最后一个字是豹的成语

泰山散酒怎么样

猫发情的声音(猫发情的叫声)