神经元|储备池计算新突破：神经元更少，计算速度最高提升百万倍_速度|系统|突破|warmup|研究|研

机器之心报道
编辑：张倩

预测复杂的系统一定要用更多的神经元吗？在最新一期的《自然 · 通讯》上，俄亥俄州立大学的研究者给出了否定的答案。他们找到了一种将储备池计算速度最高提升 100 万倍的方法，使用的神经元比原来要少得多。

在数学领域，有一个名叫「动力系统」的概念。这一系统中存在一个固定的规则，描述了几何空间中的一个点随时间的演化情况，例如钟摆晃动、管道中水的流动、湖中每年春季鱼类的数量等。
然而，动力系统就像天气一样，是很难预测的，因为初始条件下微小的变化能带动整个系统的长期的巨大的连锁反应，这就是我们所熟知的蝴蝶效应。

文章图片

为了更好地预测动力系统随时间的演化，相关研究者在本世纪初提出了一种名为「储备池计算（Reservoir computing ）」的机器学习算法。这是一种模仿人脑工作方式的计算方法，在预测动力系统演化方面非常有效，研究者也一直在这条路上不断改进。
在最新一期的《自然 · 通讯》杂志上，来自美国俄亥俄州立大学的研究者公布了他们在储备池计算研究上的新进展。这些研究者表示，他们找到了一种新方法，将储备池计算的速度提高了 33 到 100 万倍，而所需的计算资源和数据输入却大大减少。他们将这种方法称为「下一代储备池计算」。

文章图片

论文链接：https://www.nature.com/articles/s41467-021-25801-2
这项研究的一作兼通讯作者为俄亥俄州立大学物理系教授 Daniel Gauthier 。

文章图片

共同作者包括克拉克森大学电子与计算机工程系教授 Erik Bollt、俄亥俄州立大学物理学博士 Aaron Griffith 和俄亥俄州立大学物理学博士后研究员 Wendson Barbosa 。
这项研究还得到了美国国防高级研究计划局（DARPA）的支持。
在针对新方法的一次测试中，研究者在台式电脑上只用不到一秒的时间就解决了一个复杂的计算问题。如果使用当前的 SOTA 技术来解决该问题，研究者要用到超级计算机，而且需要更长的时间。
下一代储备池计算：用更少的神经元作出更准确的预测
储备池计算使用人工神经网络来预测动力系统的演化。研究者将动力系统上的数据输入神经网络中一个由随机连接的人工神经元组成的「储备池」中。该网络产生有用的输出，研究者可以解释该输出并给出反馈，从而建立一个越来越准确的演化预测系统。