就个人所了解而言，自动驾驶未来有三个方向的 难点 ：Behavior(预测/决策/规划)、Metric、Data-driven System.
Behavior
自动驾驶算法可以大致分为两块：Perception 和 Behavior。感知学术圈和工业界都进步很快，现在虽然还有一些难的问题需要解，但是大的框架已经差不多了，剩下就是在这个框架下面逐渐修补，做得更好。而Behavior现在还大量使用规则，尤其后面的决策/规划。但是，当场景越来越多越来越复杂的情况，规则的人力成本逐渐升高、泛化能力逐渐下降，就变成了「按住葫芦起来瓢」。未来自然需要发展更多的 Learning-based 方法。其中，又以预测首先面临这个变化。所以，如何利用learning-based/data-driven的方法提升Behavior的性能表现以及泛化性就是其中很大的一个挑战。
Metric
当前Perception和Behavior都是各自利用对应task的metric进行评测，很难评估各部分对上下游、对整个系统真正的表现。此外，整个系统在不同细分场景下的表现、以及可解释性都需要一个更全面细分的评测系统。
Data-driven System
一个鲁棒完善的自动驾驶系统不是纯靠算法驱动就能成熟的，而是需要算法+落地运营交互迭代才行。算法升级 -> 落地运营获取数据 -> 数据驱动算法升级 -> 运营更多场景 ... 只有这样才能打造出泛化性强的自动驾驶系统，也才有希望把商业模式跑通。其中非常关键的一环就是形成数据和技术的迭代闭环：如何高效获取有效数据、如何利用数据、如何驱动算法升级、如何准确运营到特定场景、如何保证闭环有效迭代等等，其中每一块对于工程和研究都有非常大的空间可以挖掘。而大量数据的获取、ODD的运营又都对落地场景和业务提出了很高的要求。
