机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 L1-norm 和L2-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项，所谓"惩罚"是指对损失函数中的某些参数做一些限制。范数的表达式为：
∣
∣
x
∣
∣
p
=
(
∑
∣
x
i
∣
p
)
1
p
||x||_p=(\sum|x_i|^p)^{\frac{1}{p}}
∣∣x∣∣p=(∑∣xi∣p)p1
当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和
当p=2时，是L2范数， 表示某个向量中所有元素平方和再开根， 也就是欧几里得距离公式
正则化通过降低模型的复杂性，达到避免过拟合的问题，原因是：
（1）加入正则能抑制系数过大的问题。
（2）从贝叶斯的角度来分析，正则化是为模型参数估计增加一个先验知识，先验知识会引导损失函数最小值过程朝着约束方向迭代。
