這是一個很好的問題，從受光角度來說，畫質是變差了，但是如果單單這樣評價畫質，過於局限。如何去評價畫質，參見參考文獻[1]第十章，在這裏我主要解釋以下三點。
第一，分辨率，像素變大了等於分辨率變大了，分辨率變大，拍攝的時候可以獲得更多的細節，舉個極限的例子，5x5分辨率和1000x1000分辨率的對比，5x5拍出來的影像是不是就等同於馬賽克，明顯1000x1000拍出來的畫質要好很多。所以在現在分辨率大的情況下，繼續提升分辨率，依然是在提升畫質呀。人眼的分辨率是上億，目前傳感器還不太能達到人眼這樣的效果，我覺得以後能達到人眼的效果，在提升，差不多人也感受不太到。
第二，動態範圍，動態範圍的意思是傳感器能接受的最強光強比上能拍攝出來的最暗光，它還有另外一個名字，大概叫寬容度。當像素變小了，相當於能接受的最強光強得到了提升，同時我們保證它在暗光下的品質，那麽就等同於動態範圍得到了提升。豈不是美滋滋。
第三，雜訊。題主提到的畫質變差，主要是在雜訊。我們知道光存在散粒雜訊(shot noise)，而這個雜訊等於根號下的進光量。描述這個畫質好不好，我們都會用到訊噪比(SNR )。 這裏我簡單把SNR描述成 = 進光量/noise 。 如果我們只考慮了散粒雜訊，那SNR等於 根號下 進光量。那像素變小，進光量變小，畫質變差，沒錯，如果進光量降低一半，SNR降低6dB。但是noise不僅僅就是shot noise，它還包含read noise。像素把光訊號轉化為電訊號，電訊號還有經過一個讀出電路（readout circuit）讀出。這個讀出電路就引入了read noise。我參照一下這張圖[2]。x軸是進光量，不過是log下的。y軸是光轉化為的電訊號的量。我們主要看兩根線，一跟是read noise，一根是shot noise。我們可以看到read noise是一根水平線，於進光量無關。而shot noise就如我前面所說，是根號下進光量，所以它隨著進光量而增加。我們來看一下暗光的情況。當光很暗的時候，進光量底，自然shot noise也低，但是read noise是定值呀，它會比shot noise還高，所以想提升暗光下的畫質，我們需要降低read noise從而提升SNR，提升畫質。不過當強光的時候，shot noise變大，超過read noise，這時候SNR就卻取決於進光量，就是題主所說的降低了畫質，不過你要想解決，你可以pixel bining [3]，把多個小像素合成一個大像素，這樣小像素進光量就等於了大像素的進光量
除此之外，還有MTF，色調曲線等。同時還有像素的其他參數，比如暗電流，良率等等影響到畫質。
如有錯誤，還請指正。
[1] Junichi Nakamura, image sensors and signal processing for digital still cameras, 2005
[2] Ho, Derek, et al. "CMOS tunable-color image sensor with dual-ADC shot-noise-aware dynamic range extension." IEEE Transactions on Circuits and Systems I: Regular papers 60.8 (2013): 2116-2129.
[3] Pixel Binning in CCD Cameras - Andor Learning Centre
