当前位置: 华文问答 > 数码

机器学习中常常提到的正则化到底是什么意思?

2013-04-08数码

我尽量用通俗一点的话来解答一下楼主的问题,

r( d )可以理解为有d的参数进行约束,或者 D 向量有d个维度。

咱们将楼主的给的凸优化结构细化一点,别搞得那么抽象,不好解释;

min\left\{ \frac{1}{N}\sum_{i=1}^{N}{(y_{i} - f(x_{i} ))^{2} + r(d)} \right\} , 其中,

咱们可以令: f(x_{i} ) = w_{0}x_{0} + w_{1} x_{1} + w_{2}x_{2} + w_{3}x_{3} + ..... + w_{n}x_{n} .

ok,这个先介绍到这里,至于f(x)为什么用多项式的方式去模拟?相信也是很多人的疑问,很简单,大家看看高等数学当中的泰勒展开式就行了,任何函数都可以用多项式的方式去趋近,e^{x} , log x,lnx,\frac{1}{x} 等等都可以去趋近,而不同的函数曲线其实就是这些基础函数的组合,理所当然也可以用多项式去趋近,好了,这个就先解释到这里了。

接下来咱们看一下拟合的基础概