机器学习中正则化项L1和L2的直观理解

一、总结

一句话总结:

l1正则化:$$\operatorname { cost } = ( Wx - \text { real } y ) ^ { 2 } + \text { abs } ( W )$$

l2正则化:$$\operatorname { cost } = ( W x - \text { real } y ) ^ { 2 } + ( W ) ^ { 2 }$$

L1正则化是指权值向量w中各个元素的绝对值之和,通常表示为∣∣w∣∣1 L2正则化是指权值向量w中各个元素的平方和然后再求平方根(可以看到Ridge回归的L2正则化项有平方符号),通常表示为∣∣w∣∣2

 

1、L1正则化和L2正则化的作用?

L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择

L2正则化可以防止模型过拟合(overfitting);一定程度上,L1也可以防止过拟合

 

 

 

二、机器学习中正则化项L1和L2的直观理解

转自或参考:机器学习中正则化项L1和L2的直观理解https://blog.csdn.net/jinping_shi/article/details/52433975

 

 

 

参考阅读

评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。
大家都在看: