GPU切换上下文是不是很慢，要看具体的情况。
如今大部分的GPU内部都可以缓存好几个上下文，这些上下文的切换是很快的。
问题在于如果并行的上下文个数超出了GPU硬件可以缓存的个数，那么正是因为GPU并没有将上下文溢出到内存上进行缓存的手段，所以GPU需要等待当前执行当中的某个工作量完成执行，释放对应的上下文之后，才能切换到这个新的上下文。
也就是说，正是因为GPU没有将正在处理的任务退避到内存当中的手段，导致其能够同时维护的上下文个数是十分有限的。
但于此同时，处于执行状态当中的上下文其实一直是占据着寄存器文件当中的寄存器，所以这些上下文之间的切换基本上是无缝的。
