我是不理解OpenAI發表的『草莓模型』『獵戶座模型』為啥引起很多人高潮,就是幾個代號而已,連ppt都沒有,根本不知道實際效果是怎樣,怎麽就引發網上復讀機一樣的叫好?
OpenAI現在風雨飄搖,需要拿出一點實際的產品出來,才能讓世人對其回復信心,搞這些行銷一樣的字謎遊戲,算個啥?
管他是『草莓模型』還是『獵戶座』,我覺得只有等它們釋出之後才能給與評價,而且,只需要關註這麽兩點:
第一,模型效能是否依然靠Scaling Law支撐
到現在為止,大模型這塊還是靠Scaling Law,更好的效能意味著更多數據訓練,更多參數量。
如果Scaling Law持續成立,好訊息是基本靠堆數據、堆算力、堆參數量就能持續提高大模型效能,壞訊息就是這麽搞絕非長久之計,投資巨大也帶來不了質變。
整個業界都等著有人能打破Scaling Law,如果OpenAI能夠不利用參數量增加就能帶來更強只能,那算他真是條漢子。
第二,訓練和推理成本是否顯著下降
上面第一點很有可能OpenAI做不到,也就是還是要靠堆量,但是,如