机器学习的正则化是什么意思？

经常在各种文章或资料中看到正则化，比如说，一般的目标函数都包含下面两项

其中，误差/损失函数鼓励我们的模型尽量去拟合训练数据，使得最后的模型会有比较少的 bias。而正则化项则鼓励更加简单的模型。因为当模型简单之后，有限数据拟合出来结果的随机性比较小，不容易过拟合，使得最后模型的预测更加稳定。

但一直没有一篇好的文章理清到底什么是正则化？

说到正则化，得先从过拟合问题开始谈起。

1)  The Problem of Overfitting(过拟合问题)

拟合问题举例-线性回归之房价问题：

a) 欠拟合(underfit, 也称High-bias，图片来源：斯坦福大学机器学习第七课“正则化”)

b) 合适的拟合：

c) 过拟合(overfit,也称High variance)

什么是过拟合(Overfitting):

如果我们有非常多的特征，那么所学的Hypothesis有可能对训练集拟合的非常好(

)，但是对于新数据预测的很差。

过拟合例子2-逻辑回归：

与上一个例子相似，依次是欠拟合，合适的拟合以及过拟合：

a) 欠拟合

b) 合适的拟合

c) 过拟合

如何解决过拟合问题：

首先，过拟合问题往往源自过多的特征，例如房价问题，如果我们定义了如下的特征：

那么对于训练集，拟合的会非常完美：

所以针对过拟合问题，通常会考虑两种途径来解决：

a) 减少特征的数量：

-人工的选择保留哪些特征；

-模型选择算法

b) 正则化

-保留所有的特征，但是降低参数的量/值；

-正则化的好处是当特征很多时，每一个特征都会对预测y贡献一份合适的力量；

所以说，使用正则化的目的就是为了是为了防止过拟合。

如上图所示，红色这条想象力过于丰富上下横跳的曲线就是过拟合情形。结合上图和正则化的英文，直译应该叫规则化。

什么是规则？比如明星再红也不能违法，这就是规则，一个限制。同理，规划化就是给需要训练的目标函数加上一些规则（限制），让它们不要自我膨胀，不要过于上下无规则的横跳，不能无法无天。

L1正则化和L2正则化

机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。

对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。

下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1即为L1正则化项。

（编辑：甘孜站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!