蘋果。
看到上面這兩個字,你是否想到了 一個又大又紅的蘋果?
然而上面這兩個字裏面有任何關於顏色和形狀的資訊嗎?
傳統的插值超分辨率,是透過原本的像素,計算出其之間的像素。比如,左邊一個黑色像素,右邊一個白色像素,那麽中間插入一個灰色像素(黑加白除2),完成過渡,並提高了分辨率。
然而,其實這個中間的像素,很可能並不是灰色,甚至是紅色。但是你是沒有辦法用線性插值的方法算出這個來的。因為這部份資訊已經(因為分辨率不足)完全遺失了。
那麽怎麽辦呢?放棄線性插值,改為匹配。匹配就是死記硬背,用模式去套,找一個最接近的。給電腦看很多很多的圖,然後讓電腦用統計的方式找到,當左邊是黑色右邊是白色的時候,中間是什麽顏色的概率最大,就選這個顏色。
這就是DLSS的原理。
當然,僅僅看左邊右邊兩個像素樣本量太小,中間的可能性太多,不確定性太大,容易出錯。所以真正的演算法裏面是看很多很多周邊的像素,找出一個最為接近的規律。
這就是DLSS的訓練。DLSS本身是幾乎即時的,但是訓練是要耗費很大計算力的,就是給演算法看很多很多遊戲的圖片,讓它記住規律。
然後,就可以起到類似說「蘋果」就能想象出整個蘋果的效果。
也就是,遊戲只需要輸出一個低分辨率的影像,DLSS就能憑著它的訓練記憶將其P成一幅高分辨率的影像。
聽起來很神奇是吧,其實就是這些年很紅的機器學習/神經網絡的一種套用,本質上就是想模仿人類的經驗系統。
一句話回答的話:本質就是腦補。這裏的腦,是GPU。