自动驾驶基座模型
自动驾驶的GPT模式大规模预训练方法。自动驾驶最大的痛点：数据需求量太大，标注成本太高。如果能像GPT那样先通过大规模无监督预训练获得智能，然后标注少量数据微调，那该多好啊！这个东西有时候叫World Model ，有时候叫Foundation Model，比较杂。但总归是这么个意思，就是复制ChatGPT的成功。
现在的状态：
仍然不令人满意，主要是数据太少，像样的车企都是几百上千万的视频，公开数据集的数据根本没法看。缺乏数据，训练这样的模型只能大概看个样子。其次预训练任务也可以再改改，学一下伯克利LVM的做法。
但真正的突破应该不会来自科研机构，只会来自掌握数据的车企，或者谁来创建个大数据集引领一下。我仍然相信特斯拉，现在这个方向基本等于明盘了，堆数据堆算力即可。
有LLM参与的自动驾驶
参与方式很多，现在是各方向全面开花的状态。现在的状态：
这个框架，可以说非常完美了。之前我还对那个memory module颇有微词，觉得这属于作弊。现在我已经改变看法了，记忆模块没有任何问题，人不也是靠记忆开车？到了某个场景，人会回忆老师教过的一套行为模式操作。杨乐昆的世界模型里也有记忆模块，如果记忆模块能解决问题，那就记吧！
要真正跑起来，还需要去nuPlan之类的数据集上测，然后把LLM小型化。明年应该可以！
基于NeRF的自动驾驶闭环仿真
通向自动驾驶的最后一公里：闭环仿真。用于训练RL是必须的，前面某回答里我说强化学习最大瓶颈就是仿真器，只要能仿真，强化学习一定秒杀人类。而使用游戏引擎渲染场景则面临人工建模太贵，虚拟和现实有gap等问题，已经是死路一条。NeRF是出路，现在的状态：
看起来挺厉害，但NeRF仍然存在无法撬动现实世界常识的问题。有没有所谓大规模预训练的NeRF？能让NeRF有一些先验的常识，哪怕他产生幻觉，也不至于想象出一些不符合常理的shi…
所以要解决闭环仿真问题一定要有一个比较好的NeRF，现在最好的NeRF也很一般，明年这方面应该会有大突破！
