GPU切換上下文是不是很慢，要看具體的情況。
如今大部份的GPU內部都可以緩存好幾個上下文，這些上下文的切換是很快的。
問題在於如果並列的上下文個數超出了GPU硬體可以緩存的個數，那麽正是因為GPU並沒有將上下文溢位到記憶體上進行緩存的手段，所以GPU需要等待當前執行當中的某個工作量完成執行，釋放對應的上下文之後，才能切換到這個新的上下文。
也就是說，正是因為GPU沒有將正在處理的任務退避到記憶體當中的手段，導致其能夠同時維護的上下文個數是十分有限的。
但於此同時，處於執行狀態當中的上下文其實一直是占據著寄存器檔當中的寄存器，所以這些上下文之間的切換基本上是無縫的。
