我從算力角度來說說這個話題,從目前的大模型的技術路線是否能進階到終極 AGI 的角度來說說這個話題。
我其實對於目前大模型的這種方式來實作 AGI 表示懷疑,我心目中的 AGI 所依賴的算力功耗不應該是目前這麽龐大的,這就像人腦一樣,咱們的智力水平這麽高但是功耗卻很低。我心目中真正的 AGI 應該是那種低功耗卻能提供無窮無盡的智力,它可以一開始一無所知,但是它能夠超級快速地自我學習、自我反饋。這種模式可以借用咱們國產大模型廠商的一個名字,我覺得取得挺好,那就是 "零一萬物", 零生一、一生萬物 。在這樣的角度下,目前擁有的不管是 OpenAI 的 GPT 模型,還是 Meta 的 LLaMA 模型,都不是那種 "理想形態"。這主要體現在,一是它們消耗的算力實在過於龐大,這就像一堆二楞子堆出來一個小孩子一樣;二是它們對於開放世界的線上學習能力特別有限,甚至是沒有,現在多是借助外掛。目前你要想讓它們像咱們人腦一樣即時線上學習,那是不可能的, 所以這根本不像 AGI 的生存形態 。
現在的基於 Transformer 的大模型算力依舊是依靠晶體管的堆疊,這種馮諾依曼的架構在超高算力場景下的 "各種墻", 比如儲存墻、比如功耗墻 ,註定不會讓算力無止盡。你不要看輝達現在如此風光,明年要釋出的新一代 GPU 效能多麽地 "無止盡",需要清楚的是現在認為的算力高,只是堆出來的,並沒有本質上解決低功耗超高算力的問題。
而我會更加看好量子計算、量子機器學習、類腦計算的研究 (存內計算也許算一種過渡但也不算終極答案,但是存內計算會比現在的計算模式更加先進,這點毋庸置疑),也許未來還有其他方向的研究,但實作 AGI 絕對不會是目前的這套解決方案。所以從我的角度,前段時間曝出的 OpenAI 的 Q-Star 模型不會是 AGI,要實作 AGI,不僅僅是目前這套深度學習模型架構還得換代 (這種換代就像是從摺積神經網路換代到 Transformer 一樣,Transformer 還得繼續換代到下一代),而且算力提供的方式也得換代 (基於晶體管的堆疊,對於無窮盡的算力需求是不可能實作的)。 要實作 AGI,絕沒有這麽簡單,也沒有這麽快。[這裏的觀點,來源於我下面這篇文章,也推薦關註]