使神经网络更容易理解,促进科学发现,MIT刘子鸣团队新架构
神经网络是目前人工智能领域最强大的工具。Perimeter Institute for Theoretical Physics 的研究员 Sebastian Wetzel 表示,「当我们将它们扩展到更大的数据集时,没有什么可以与之竞争。
」
然而,一直以来,神经网络都存在一个缺点。当今许多成功网络的基本构建模块被称为多层感知器(MLP)。但尽管取得了一系列成功,人类仍然无法理解基于这些 MLP 构建的网络是如何得出结论的,或者是否存在一些基本原理可以解释这些结果。神经网络所表现出的能力就像魔术师一样,都是秘密,隐藏在「黑匣子」里。
人工智能研究人员长期以来一直想知道不同类型的网络是否有可能以更透明的方式提供同样可靠的结果。
2024 年 4 月的一项研究提出了一种替代神经网络设计,称为 Kolmogorov-Arnold 网络(KAN),它更加透明,但对于某一类问题,它几乎可以完成常规神经网络可以完成的所有事情。它基于 20 世纪中叶的一个数学思想,该思想在深度学习时代被研究人员重新认识。
「实现不可能」
典型的神经网络的工作原理如下:人工神经元(或节点)的各层通过人工突触(或边)相互连接。信息通过每一层,在那里被处理并传输到下一层,直到最终成为输出。边是有权重的,因此权重较大的边比其他边具有更大的影响力。在一段称为训练的时间内,这些权重会不断调整,以使网络的输出越来越接近正确答案。
神经网络的一个常见目标是找到一个数学函数或曲线,以最佳方式连接某些数据点。网络越接近该函数,其预测就越好,结果就越准确。如果您的神经网络模拟某些物理过程,则输出函数将理想地表示描述物理学的方程 - 相当于物理定律。
对于 MLP,有一个数学定理可以告诉你网络可以多接近最佳函数。这个定理的一个结果是 MLP 无法完美地表示该函数。
但在适当的情况下,KAN 可以。
KAN 进行函数拟合(连接网络输出的点)的方式…
感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB。
使神经网络更容易理解,促进科学发现,MIT刘子鸣团队新架构