就個人所了解而言，自動駕駛未來有三個方向的 難點 ：Behavior(預測/決策/規劃)、Metric、Data-driven System.
Behavior
自動駕駛演算法可以大致分為兩塊：Perception 和 Behavior。感知學術圈和工業界都進步很快，現在雖然還有一些難的問題需要解，但是大的框架已經差不多了，剩下就是在這個框架下面逐漸修補，做得更好。而Behavior現在還大量使用規則，尤其後面的決策/規劃。但是，當場景越來越多越來越復雜的情況，規則的人力成本逐漸升高、泛化能力逐漸下降，就變成了「按住葫蘆起來瓢」。未來自然需要發展更多的 Learning-based 方法。其中，又以預測首先面臨這個變化。所以，如何利用learning-based/data-driven的方法提升Behavior的效能表現以及泛化性就是其中很大的一個挑戰。
Metric
當前Perception和Behavior都是各自利用對應task的metric進行評測，很難評估各部份對上下遊、對整個系統真正的表現。此外，整個系統在不同細分場景下的表現、以及可解釋性都需要一個更全面細分的評測系統。
Data-driven System
一個魯棒完善的自動駕駛系統不是純靠演算法驅動就能成熟的，而是需要演算法+落地營運互動叠代才行。演算法升級 -> 落地營運獲取數據 -> 數據驅動演算法升級 -> 營運更多場景 ... 只有這樣才能打造出泛化性強的自動駕駛系統，也才有希望把商業模式跑通。其中非常關鍵的一環就是形成數據和技術的叠代閉環：如何高效獲取有效數據、如何利用數據、如何驅動演算法升級、如何準確營運到特定場景、如何保證閉環有效叠代等等，其中每一塊對於工程和研究都有非常大的空間可以挖掘。而大量數據的獲取、ODD的營運又都對落地場景和業務提出了很高的要求。
