當前位置: 華文問答 > 數位

機器學習中常常提到的正則化到底是什麽意思?

2013-04-08數位

我盡量用通俗一點的話來解答一下樓主的問題,

r( d )可以理解為有d的參數進行約束,或者 D 向量有d個維度。

咱們將樓主的給的凸最佳化結構細化一點,別搞得那麽抽象,不好解釋;

min\left\{ \frac{1}{N}\sum_{i=1}^{N}{(y_{i} - f(x_{i} ))^{2} + r(d)} \right\} , 其中,

咱們可以令: f(x_{i} ) = w_{0}x_{0} + w_{1} x_{1} + w_{2}x_{2} + w_{3}x_{3} + ..... + w_{n}x_{n} .

ok,這個先介紹到這裏,至於f(x)為什麽用多項式的方式去模擬?相信也是很多人的疑問,很簡單,大家看看高等數學當中的泰勒展開式就行了,任何函式都可以用多項式的方式去趨近,e^{x} , log x,lnx,\frac{1}{x} 等等都可以去趨近,而不同的函式曲線其實就是這些基礎函式的組合,理所當然也可以用多項式去趨近,好了,這個就先解釋到這裏了。

接下來咱們看一下擬合的基礎概