今天剛開完這學期系裏第一次全體faculty會議，特意趕來寫一下人工神經網路拿下諾爾貝物理學獎的感想。經歷過——本科物理、博士深度學習理論、然後成為AI方向博士生導師——這條少數人走的路，我可能是少數覺得今年諾貝爾物理學獎頒得 理直氣壯、理所應當 的。
我覺得爭議主要因為 大多數做物理的人不做統計物理，大多數做AI的人也沒碰過理論機器學習 。
統計物理和理論機器學習在物理和AI兩個巨大的圈子裏都是少數派，甚至是極少數派別 。
（統計物理屬於是幾十年才能輪上一次諾貝爾獎。在計算變得越來越重要的當代，這非常不合理、不符合科學發展的趨勢。）
而這次諾貝爾物理學獎恰恰是統計物理、理論機器學習的交叉。尤其是Hinton的受限波茲曼機，建立在簡潔的統計物理模型上，同時還先驅性地觸及了幾個深度學習的重要問題——生成模型、網路結構、訓練、泛化等。而絕大部份做AI的人甚至是沒有學過受限波茲曼機這個經典模型的。
所以物理和AI兩個圈子的主流可能都還有點懵，少數派卻不一定。
我身邊真正做統計物理的朋友們，比如在這個問題留下回答的 @傅渥成和 @kBlnW都是統計物理博士背景 ，對這次諾貝爾物理學獎的反饋普遍都是很積極的。統計力學是物理四大力學（經典力學、電動力學、量子力學、統計力學）裏最遠離具體研究物件的力學，你甚至完全可以把它當作 一套由物理學家發明的、適合分析復雜系統的數學計算工具 。
這個復雜系統往往是自然界存在的系統，所以大家感興趣。但這個系統它完全也可以是數據、是神經網路，只要這個系統足夠重要就行了。那麽，2024年，神經網路算得上對人類很重要的復雜系統嗎？答案很顯然吧。
所以這次諾獎頒發得可能意外，但也合適。
我以前的文章也經常提到—— 深度學習理論的研究範式很接近統計物理 了。（來自「如果百年後深度學習最終有了公認的數學理論作為基礎，能解釋實驗中的各類玄學，那這個理論會長什麽樣子？」）甚至Microsoft Research的Machine Learning Group在大語言模型出來後，現在實驗室主頁裏的研究方向就叫Physics of AGI（通用人工智慧的物理學）。
很明顯，真的有一小撮（包括我在內的）研究員、科學家，是真的認為 研究自然的物理學和研究智慧的物理學都是物理學的 。
這次無非是諾貝爾物理學獎委員會也混入一小撮這樣的人。
「電腦科學會在相當長時間裏（超過我們有生之年的長度裏）都是一個極好的專業。因為電腦科學正在變成一個非常有生命力的核心學科.......如果有一天， 一位電腦科學背景出身的科學家獲得諾貝爾物理學獎 ，我不會覺得很奇怪。」——來自「電腦行業還能火幾年？」。2016年的我竟然還寫過這段話。
總結一下，雖然人工神經網路拿下2024年諾貝爾物理學獎在物理和AI兩個圈子都激起了很大的爭議，但是很認真地說——這個諾貝爾獎物理獎是理直氣壯的。
物理學獎頒給Science of AI，化學獎頒給AI for Science，這也說明諾貝爾獎委員會不願意錯過機器學習作為一種新學科興起的浪潮。
回答到上面就可以結束了。但我喜歡最後帶點私貨。
就像我在ICML2022 Oral Presentation和找教職的Job Talk裏都放了一頁關於The Science of AI的slide:
作為一個學術界人士，我的學術使（zhao）命（pai）一直都很明確。找教職的經歷裏，有一個代表性的學術招牌還是管用的。我現在擔任PI的機器學習基礎實驗室也是以understanding and solving fundamental issues of modern AI by scientific principles and methodology為使命。
我的第一個純理論工作ICLR2021 「A diffusion theory for deep learning dynamics: stochastic gradient descent exponentially favors flat minima」裏面任何演算法都沒有，也不關心任何效能指標。就是單純用廣義的朗之萬方程式分析和預測深度學習訓練動力學。這套數學工具的原型來自於一百年前的統計物理學家保羅·朗之萬。
而物理頂刊PRL裏一些相關論文，比如「Stochastic gradient descent introduces an effective landscape-dependent regularization favoring flat solutions」，也是研究類似的問題、得到類似的結論。
下面是我另一個工作裏的slides提到的蛋白質折疊和深度神經網路訓練的一些對應關系。
所以你看， 在我們這一撮人看來，這一切是那麽理所當然 。
