当前位置: 华文问答 > 科学

2024 诺贝尔物理学奖授予人工神经网络机器学习,为什么会颁给 AI 领域?

2024-10-08科学

今天刚开完这学期系里第一次全体faculty会议,特意赶来写一下人工神经网络拿下诺尔贝物理学奖的感想。经历过——本科物理、博士深度学习理论、然后成为AI方向博士生导师——这条少数人走的路,我可能是少数觉得今年诺贝尔物理学奖颁得 理直气壮、理所应当 的。

我觉得争议主要因为 大多数做物理的人不做统计物理,大多数做AI的人也没碰过理论机器学习

统计物理和理论机器学习在物理和AI两个巨大的圈子里都是少数派,甚至是极少数派别

(统计物理属于是几十年才能轮上一次诺贝尔奖。在计算变得越来越重要的当代,这非常不合理、不符合科学发展的趋势。)

而这次诺贝尔物理学奖恰恰是统计物理、理论机器学习的交叉。尤其是Hinton的受限玻尔兹曼机,建立在简洁的统计物理模型上,同时还先驱性地触及了几个深度学习的重要问题——生成模型、网络结构、训练、泛化等。而绝大部分做AI的人甚至是没有学过受限玻尔兹曼机这个经典模型的。

所以物理和AI两个圈子的主流可能都还有点懵,少数派却不一定。

我身边真正做统计物理的朋友们,比如在这个问题留下回答的 @傅渥成和 @kBlnW都是统计物理博士背景 ,对这次诺贝尔物理学奖的反馈普遍都是很积极的。统计力学是物理四大力学(经典力学、电动力学、量子力学、统计力学)里最远离具体研究对象的力学,你甚至完全可以把它当作 一套由物理学家发明的、适合分析复杂系统的数学计算工具

这个复杂系统往往是自然界存在的系统,所以大家感兴趣。但这个系统它完全也可以是数据、是神经网络,只要这个系统足够重要就行了。那么,2024年,神经网络算得上对人类很重要的复杂系统吗?答案很显然吧。

所以这次诺奖颁发得可能意外,但也合适。

我以前的文章也经常提到—— 深度学习理论的研究范式很接近统计物理 了。(来自「如果百年后深度学习最终有了公认的数学理论作为基础,能解释实验中的各类玄学,那这个理论会长什么样子?」)甚至Microsoft Research的Machine Learning Group在大语言模型出来后,现在实验室主页里的研究方向就叫Physics of AGI(通用人工智能的物理学)。

很明显,真的有一小撮(包括我在内的)研究员、科学家,是真的认为 研究自然的物理学和研究智能的物理学都是物理学的

这次无非是诺贝尔物理学奖委员会也混入一小撮这样的人。

「计算机科学会在相当长时间里(超过我们有生之年的长度里)都是一个极好的专业。因为计算机科学正在变成一个非常有生命力的核心学科.......如果有一天, 一位计算机科学背景出身的科学家获得诺贝尔物理学奖 ,我不会觉得很奇怪。」——来自「计算机行业还能火几年?」。2016年的我竟然还写过这段话。

总结一下,虽然人工神经网络拿下2024年诺贝尔物理学奖在物理和AI两个圈子都激起了很大的争议,但是很认真地说——这个诺贝尔奖物理奖是理直气壮的。

物理学奖颁给Science of AI,化学奖颁给AI for Science,这也说明诺贝尔奖委员会不愿意错过机器学习作为一种新学科兴起的浪潮。


回答到上面就可以结束了。但我喜欢最后带点私货。

就像我在ICML2022 Oral Presentation和找教职的Job Talk里都放了一页关于The Science of AI的slide:

作为一个学术界人士,我的学术使(zhao)命(pai)一直都很明确。找教职的经历里,有一个代表性的学术招牌还是管用的。我现在担任PI的机器学习基础实验室也是以understanding and solving fundamental issues of modern AI by scientific principles and methodology为使命。

我的第一个纯理论工作ICLR2021 「A diffusion theory for deep learning dynamics: stochastic gradient descent exponentially favors flat minima」里面任何算法都没有,也不关心任何性能指标。就是单纯用广义的朗之万方程分析和预测深度学习训练动力学。这套数学工具的原型来自于一百年前的统计物理学家保罗·朗之万。

而物理顶刊PRL里一些相关论文,比如「Stochastic gradient descent introduces an effective landscape-dependent regularization favoring flat solutions」,也是研究类似的问题、得到类似的结论。

下面是我另一个工作里的slides提到的蛋白质折叠和深度神经网络训练的一些对应关系。

所以你看, 在我们这一撮人看来,这一切是那么理所当然