4.5.11 正则项-L1 惩罚

迭代公式：

${\displaystyle \begin{aligned} L_1 = |w_1|+|w_2|+|w_3|+ \cdots +|w_n| \\ \end{aligned} }$

特性：

1. 根据参数权重绝对值之和，来惩罚权重
2. 当权重 > 0 时，指定权重偏导数为 1，所有权重变化线性统一，因此无法区分主次
3. 当权重 ≤ 0 时，使用 L-1 的参数迭代在 0 处不具备连续性，即 ≤ 0 的值都会为 0
4. 可以使不相关或几乎不相关权重归 0，从模型中移除不相关特征
5. 线性方便计算

L-1 惩罚项（$L_1$ Regularity） 由于其特性，常被用于裁剪参数数量，缩减模型宽度。从另一种角度来理解，可以认为 L-1 的思想其实和 Maxout 激活函数的思想有些类似。都是通过线性关系，来整合实际特征曲线。只不过 L-1 是从模型复杂度的角度，Maxout 是从非线性特征的角度。

L-1 惩罚项被证明，对于稀疏性模型优化非常有效。