東晉十六國到南北朝是一段分裂混戰的歷史，這期間很多北方士族逃難到南方，為了維護他們的特權，就在南方僑置了大量州、郡、縣，什麽南兗州，南徐州，南青州等等不一而足；另外因為戰亂頻發，自然要犒賞有功之臣，那麽怎麽犒賞呢，最簡單的就是給個州刺史，郡太守當當，但是地方就那麽大，怎麽辦就只好析置原來的州、郡給功臣；還有一種叫「雙頭州郡」，兩州為同一刺史，並且兩州同治一地，或兩郡為同一太守，並且兩郡合治一地。尤其是南梁、北齊和北周，簡直是亂來的典範。這樣，州就越劃越小，和郡差不多大了，州、郡、縣三級制度就開始糜爛了。
參考下圖【中國行政區劃歷史沿革】一書的描述：
既然已經糜爛，就不得不改革，於是隋文帝統一全國以後，廢天下郡，全國變成州領縣的二級制。隋煬帝時又把州改為相應的郡，變為秦時期的制度。唐朝建立後又改郡為州，唐玄宗又改州為郡，唐肅宗又改郡為州（說實話，改來改去確實挺蛋疼的）。隋唐總體以州為主，另外會附上相應的郡名作為別稱而存在（比如說江州潯陽郡，不是說江州下面有個潯陽郡，而是說江州的別稱又叫潯陽郡）。不過兩級制時間長了馬上會顯露出問題，那就是管不過來，所以唐朝在州之上設立了道作為監察機構，至於後期藩鎮割據以後的事那就不詳細展開了。
