朱军|清华大学朱军：发展安全可靠的AI，为什么依旧任重道远？ | 青年科学家502论坛_深度|科学|贝叶斯|发展|获奖者

机器之心原创
作者：蛋酱

让更多的优秀青年科学家齐聚一堂，实现「启迪、探索、突破」的目标，这正是「青年科学家502论坛」举办的初衷。

8 月 1 日，「青年科学家502论坛」开幕，数十位院士与知名高校校长、百余名「科学探索奖」获得者与青年科学家在这一天齐聚深圳。
「科学探索奖」是目前国内金额最高的青年科技人才资助计划之一。自 2018 年设立起，「科学探索奖」已经评选出了共 100 位来自各领域的优秀青年科学家，每位均获得由腾讯基金会资助的 300 万元奖金，并且能够自由支配。
昨日举办的「青年科学家502论坛」，正是为所有「科学探索奖」获奖者提供的高水平、跨学科学术交流平台，今年是首次举办，此后每年也将举办一次。每位「科学探索奖」的获奖者在受资助的 5 年期间，都将来到这个论坛分享至少一次自己的 big idea 和最新探索。
清华大学教授朱军是 2020 年第二届「科学探索奖」信息电子领域的获奖者之一。正如当时的获奖理由所写，朱军教授在贝叶斯人工智能基础理论、高效算法和概率编程方面，都拥有一流的研究成果。今年不到 40 岁的朱军教授，已经是国内机器学习领域首屈一指的人物。

朱军|清华大学朱军：发展安全可靠的AI，为什么依旧任重道远？ | 青年科学家502论坛

文章图片

获奖之后，朱军教授决定将「科学探索奖」的奖金继续投入到人工智能的研究上来。在这场论坛上，朱军教授分享了一些关于「安全可靠人工智能」的思考，这也是他未来多年笃定的研究方向。
今天的人工智能，距离安全可靠还有多远？
人工智能的概念产生最早可追溯到 1956 年的达特茅斯会议，但直到近十年来的第三波人工智能发展浪潮，这一领域才真正地深刻改变了大众生活，甚至攻克了多种人类世界的顶级挑战，比如战胜围棋顶级选手、预测蛋白质结构、击败人类飞行员等等。

文章图片

但当人工智能的发展进入瓶颈期，学界开始思考下一步的方向。来自清华大学的张钹、朱军、苏航三位学者提出了「第三代人工智能」，并在《迈向第三代人工智能》这篇署名文章中首次全面阐述了第三代人工智能的理念。文章提出，第三代人工智能的发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能，同时利用知识、数据、算法和算力等 4 个要素，建立新的可解释和鲁棒的 AI 理论与方法，发展安全、可信、可靠和可扩展的 AI 技术。这篇综述引发了学界和业界的讨论热潮。
「安全可靠」作为下一代人工智能的核心发展目标逐渐成为共识，数据与算法安全也成为学界和业界人士重点关注的研究主题之一。
在朱军看来，今天的人工智能远远算不上完美。首先是深度学习仍然面临着鲁棒性差的问题，比如很多手机都会配备人脸识别方案，但通过一副打印了特殊纹理图案的眼镜，就能轻松解锁很多手机；再说到安全需求更高的自动驾驶系统，黑客们只需要在标识牌上加上特定图案，就能让系统将限速标识识别为停止标识，导致致命事故的发生；就连 1750 亿参数的 GPT-3 ，虽然一贯被誉为全科优秀生，但答起题来也有驴唇不对马嘴的时候……

文章图片

AI 为什么出错？如何防止 AI 出错？如果不能解决这些问题，那么 AI 就算不上是安全、可靠。
迄今为止，人类对深度神经网络等 AI 算法的出错机制知之甚少。一方面，数据的不确定性是广泛存在的，一旦遇到对抗样本攻击，哪怕是在一张图片中加上少量的噪音，虽然展示效果对人眼没有影响，但足以让人工神经网络产生误判。另一方面，数据中有用信息量的增长没跟上模型体量的增长，就会造成模型的不确定性。
朱军认为，这些问题都会造成「AI 不知道自己不知道」，而贝叶斯方法恰好能提供一种自然、严谨的不确定性计算方法。
贝叶斯与深度学习的结合
对于任何 AI 模型来说，无论开发过程如何，在现实世界中落地的过程一定是极具不确定性的。面对诸多未知，用贝叶斯方法建模是一种解决方法。图灵奖得主、贝叶斯之父 Judea Pearl 是朱军一直以来最崇拜的学者之一，而朱军的工作则推动了贝叶斯方法的「深度」变革，将这一方法在人工智能领域的应用发扬光大。
深度学习本身属于机器学习的一端，它会用到大量的训练样本和计算资源，再加上网络结构的人为调整，在特定环境、特定数据集上得到非常高的准确度。另外一端则是贝叶斯的学习方法，贝叶斯程序可以用少量的训练样本学习非常精确的模型，在数据的利用上更高效，而且对抗鲁棒性好、可解释性强。

文章图片

这种结合贝叶斯方法和深度学习各自优势的研究方向被称为贝叶斯深度学习（Bayesian Deep Learning /BDL），它包括传统的贝叶斯方法、以概率推断（probabilistic inference）为主的深度学习方法，以及二者的交叉，因此它既有贝叶斯本身的可解释性，可以从少量数据中学习，又有深度学习强大的拟合能力。
近年来，朱军重点关注对抗攻击鲁棒性以及不完全信息下的决策问题，在探索的过程中，仍有三个问题要解决：

如何融合二者的互补优点，发展统一的概率模型框架？
如何应对高度非线性变换，发展高效准确的推断算法？
如何自动 / 半自动地对模型进行可微分的概率编程？

从 2014 年起，机器学习界开始进行一些探索，朱军团队开发的「珠算」是最早的深度概率编程库之一。和现有的主要为监督式任务设计的深度学习库不同，珠算的特点是其在很大程度上根基于贝叶斯推理，因此支持各种生成模型：既包括传统的分层贝叶斯模型，也有最近的深度生成模型。
2017 年 5 月，朱军团队正式开源了「珠算」，研究者可以利用珠算强大的拟合能力和多 GPU 训练进行深度学习，同时可以用概率模型为复杂世界建模，开发无标注数据，根据贝叶斯推断的原则处理不确定性。「珠算」是首个与 TensorFlow 无缝衔接的概率编程库，全面支持 MindSpore、飞桨、Jittor、OneFlow 等国产平台。
目前，珠算已经支持变分和蒙特卡洛两大类的方法，包括了现在最主流的推理算法。珠算里也有很多已经实现的模型，比如像比较经典的 topic model、矩阵分解、贝叶斯高斯过程、卷积操作等等。新版本的珠算平台还加入了更多的模型实例，主题模型、概率矩阵分解；变分自编码器、贝叶斯神经网络、深度信念网络以及高斯过程。开发者和研究者们可以在珠算平台上使用已有的实现模型，并在此基础上开发新的模型。
朱军总结说，安全可靠的人工智能还需要从技术上进行突破，但也需要关注数据安全、系统安全。要想打造负责任的人工智能技术和应用，仍需群策群力和产学研用的深度合作。
100 位获奖人，最关心哪十个问题？
此外，在论坛开幕式上，由 100 位「科学探索奖」获奖人提出并最终投票产生的「十大科学技术问题」也重磅揭晓：

文章图片

当前，脑机接口技术已经实现高速意念打字、人脑控制机械手快速抓取等任务，但离人脑和机器直接通讯还有相当大的距离。精准、小型化、高度集成化、生物兼容性强的脑机接口是未来的发展方向，实现脑机深度融合会在未来的哪一年发生呢？
再说到被寄予厚望的 AGI ，这涉及到机器如何更高效的获取经验数据并从中学习，实现「举一反三」、小样本归纳并演绎、「吃一堑长一智」乃至「无师自通」等能力。那么，如何实现机器学习所得「机器知识」与「人类知识」的融会贯通和相互转换？人们甚至会思考：预训练大模型是否是正确的起点？
量子计算是目前人类唯一被严格证明具有解决经典计算机无法求解的问题的潜力的新方法。但如何将真实重大应用映射到量子计算系统中？又如何如何验证量子计算或模拟结果的正确性？
这些处于技术前沿的问题，还需要未来更多优秀的青年科学家们去探索和突破，今后的「青年科学家502论坛」也会成为他们交流、碰撞思想火花的平台。
深圳为青年科学家们提供了什么？
当前，世界正处在第四次工业革命的浪潮之中，人工智能、5G、量子计算等新的概念层出不穷，在全球技术竞争越来越激烈的今天，如何发掘青年科技工作者的潜力，鼓励其自主探索更多研究方向，特别是基础科学和前沿技术领域的发展，是提升中国综合竞争力的重中之重。
深圳是国内创新氛围最浓厚的城市之一。多年来，深圳针对科技成果转化制度、优化创新资源配置以及建立国际化人才机制等方面做出了重要的探索，持续加强产业链、创新链、人才链、教育链「四链」协同，加快打造全球一流科技创新人才向往的集聚地。除此之外，无论在国内还是国际上，在促进成果转化和人才培养的过程中，来自企业界的支持都是不容忽视的一环。
【朱军|清华大学朱军：发展安全可靠的AI，为什么依旧任重道远？ | 青年科学家502论坛】比如早在 8 年前，俄罗斯亿万富翁 Yuri Milner 夫妇就设立了科学突破奖 (Breakthrough Prize)，旨在表彰全球顶尖物理、数学和生命科学家的研究成果，这一奖项也被誉为「科学界的奥斯卡」。谷歌联合创始人谢尔盖 · 布林、Facebook 联合创始人马克 · 扎克伯格夫妇都是「科学突破奖」的赞助方，其单项奖金高达 300 万美元，远高于诺贝尔奖，堪称科学界「第一巨奖」。

文章图片

作为深圳企业中的代表力量，腾讯设立的「科学探索奖」将为国内的青年科技工作者从事基础科学和前沿核心技术研究提供更多助力。在历届科学探索奖的评选中，独立性、创造性、变革性和可行性四个因素也是最重要的标准。
通往科学巅峰的过程中从没有坦途，特别是前沿基础研究，更需要多一点的力量积蓄。重大的发现和创造，往往都来源于思想的不断交流与碰撞。让这些优秀的青年科学家齐聚一堂，实现「启迪、探索、突破」的目标，将深圳打造为顶尖科研人才交流的集合地，这正是「青年科学家502论坛」举办的初衷。