Werbos|谁是「反向传播之父」？真正的提出者或许是这个刚获 IEEE 认证的大佬_rgen|领域|认证|贡献|Hinton

机器之心报道
编辑：蛋酱

但真正的荣耀应该归于思想本身，不一定是某个人。

问大家一个问题：谁是反向传播之父？
恐怕 AI 社区的众多人都会想到 Geoffrey Hinton 。
即使谷歌关键词「father of backpropagation」，得到的答案也是 Geoffrey Hinton 。

Werbos|谁是「反向传播之父」？真正的提出者或许是这个刚获 IEEE 认证的大佬

文章图片

但事实并非如此。
近日，美国学者 Paul J. Werbos 获得了 IEEE Frank Rosenblatt Award ，理由是「因对反向传播发展及强化学习和时间序列分析的基本贡献」。

文章图片

Paul J. Werbos 出生于 1947 年，是机器学习领域的先驱，也是自适应智能系统领域的国际知名专家。在维基百科的词条中， Paul J. Werbos 因在 1974 年的哈佛大学博士论文中首次提出通过反向传播算法来训练人工神经网络而闻名，被称为「反向传播之父」。
同时，他也是循环神经网络（RNN）的先驱。 1995 年， Werbos 因提出反向传播和自适应动态规划等基本神经网络学习框架而获得 IEEE 神经网络先驱奖（IEEE Neural Network Pioneer Award）。
人们更为熟知的反向传播领域先驱是 Geoffrey Hinton 。 1986 年， Hinton 和 David Rumelhart、Ronald Williams 发表了一篇论文，详细介绍了名为「反向传播」的技术。一直以来，反向传播被认为是深度学习的根基，也是第三次人工智能浪潮的重要推动因素。
但谁才是真正的「反向传播之父」？他们陆续出场，又分别做出了哪些贡献？
Jürgen Schmidhuber：反向传播非 Hinton 原创
2019 年， Geoffrey Hinton 曾获得本田奖，该奖项旨在表彰「为引领生态技术领域的下一代新知识而做出贡献的个人或团体」。当时，本田奖在公告中称：Hinton 发明了很多方法并由此推动了人工智能的更广泛应用，其中就包括奠定了人工智能深度学习方法基础的反向传播算法。
后来，同为计算机科学领域的先驱 Jürgen Schmidhuber 发文质疑了 Hinton 的获奖资格，并且列举了六大理由，其中第一条就是「反向传播并非 Hinton 原创」。
在他看来，现代反向传播是由 Linnainmaa 在 1970 年首先提出来的，之后 Rumelhart、Hinton 和 Williams 才在 1985 年提出，并且 Hinton 只是第二作者。此外， Ivakhnenko 的深度前馈网络（1965）早在 Hinton（1980 年代）之前就能够学习内部表征了，而且 Hinton 提出的网络深度不如前者。

文章图片

对此， Hinton 也给出了正式回应：
我从未说过反向传播是我发明的。 David Rumelhart 独立提出了反向传播，在那之前已经有很多其他领域的人提出了它。我们第一次公开发表相关研究时的确不知道反向传播的历史，因此没有引用之前提出者的工作。
但 Hinton 表示，是自己明确提出了反向传播可以学习有趣的内部表征，并让这一想法推广开来：「我通过让神经网络学习词向量表征，使之基于之前词的向量表征预测序列中的下一个词实现了这一点。」
这个案例就是 Nature 1986 年发表的那篇论文《Learning representations by back-propagating errors》。

文章图片

论文链接：https://www.nature.com/articles/323533a0
在 Martin Ford 2018 年出版的《Architects of Intelligence》一书中， Hinton 曾经说过：
「在 David Rumelhart 之前，很多人提出了不同版本的反向传播。其中大部分是独立提出的，我觉得我承受了过多的赞誉。我看到媒体说我提出了反向传播，这是完全错误的。科研人员认为他因为某事获得了过多赞誉，这样的情况不常见，但这就是其中之一！我的主要贡献是展示如何使用 BP 算法学习分布式表征，因此我要做出澄清。」
反向传播，该是谁的原创？
反向传播的基础知识是由多位研究者 1960 年代在控制理论和链式规则的背景下提出的。不过这一术语的确定，以及被人们广泛所知的确要等到 1986 年《自然》杂志上 David Rumelhart、Hinton 与 Ronald Williams 合著的论文发表之后。
据 Jürgen Schmidhuber 的考证，反向传播算法的前身是 Henry J. Kelley 于 1960 年发表的，迄今已有半个多世纪。

文章图片

现代反向传播算法在 1970 年由芬兰硕士生 Seppo Linnainmaa 首次发表。在这篇硕士论文中， Linnainmaa 首次描述了在任意、离散的稀疏连接情况下的类神经网络的高效误差反向传播，尽管其中没有提及神经网络。这种反向传播也被称为自动微分的反向模式。到 2020 年，所有用于神经网络的现代软件包（例如 Google 的 Tensorflow）都是基于 Linnainmaa 1970 年的方法。
Seppo Linnainmaa 。
直到 1974 年以后，反向传播才开始在神经网络的背景下应用。 Jürgen 认为， Paul J. Werbos 是在 1982 年明确提出了上述反向传播算法的首个面向神经网络的应用（但在他 1974 年的论文中还没有）。到了 1986 年，计算成本几乎仅有 1970 年的千分之一，于是 Hinton、Rumelhart 等人的计算实验证明了反向传播可以在神经网络的隐藏层中产生有用的内部表征。这本质上是对已知方法的实验分析。
显然，反向传播算法的故事本身是相对复杂的，而关于「反向传播之父」的争议也还没有定论。正如 DeepMind 科学家 Oriol Vinyals 所建议的：「我们应当把荣耀归于思想本身，而不是人。」
参考链接：
【Werbos|谁是「反向传播之父」？真正的提出者或许是这个刚获 IEEE 认证的大佬】https://people.idsia.ch/~juergen/who-invented-backpropagation.html