當前位置: 華文問答 > 科學

深度學習中數據增強究竟在做什麽?

2021-11-16科學

總體而言,我認為是在進行理想數據分布的模擬采樣。不同的數據增強手段對數據進行了不同的變換,然而我們知道變換前後影像的語意是不變的。所謂的語意不變其實說明了變換後的樣本同樣來自理想的數據總體分布。因此透過數據增強,我們能夠獲得更多的目標分布的采樣,從而使得經驗分布的估計趨向於理想分布。

然而數據增強畢竟不是真的實作了數據的無中生有,新數據與舊數據之間的差異依然比較小,換句話說並不能看作自然地依理想數據機率分布采樣,所以數據增強的邊際效益可能比較有限。

具體效果上,我感覺有兩個角度的作用:

  1. 局部平滑正則化:例如加噪,等價於在原數據點附近對模型進行平滑約束。實際上,普通的影像辨識模型對特殊雜訊的魯棒性很差,例如在對抗攻擊領域,微弱的雜訊疊加即可使模型分類錯誤,說明神經網路在數據點附近的預測有著很大的「抖動」。
  2. 變換魯棒性:透過對數據進行特殊的變換,使得模型對該種變換更魯棒,不敏感,學習對該變換具有不變性的特征。例如尺度變換、色彩變換、旋轉等。