L1范数(norm)和L2范数(norm)正则先验分别服从什么分布【面试题详解】

今天爱分享给大家带来L1范数(norm)和L2范数(norm)正则先验分别服从什么分布【面试题详解】，希望能够帮助到大家。
面试中遇到的，L1和L2正则先验分别服从什么分布，L1是拉普拉斯分布，L2是高斯分布。

先验就是优化的起跑线, 有先验的好处就是可以在较小的数据集中有良好的泛化性能，当然这是在先验分布是接近真实分布的情况下得到的了，从信息论的角度看，向系统加入了正确先验这个信息，肯定会提高系统的性能。
对参数引入高斯正态先验分布相当于L2正则化, 这个大家都熟悉：

对参数引入拉普拉斯先验等价于 L1正则化, 如下图：

从上面两图可以看出, L2先验趋向零周围, L1先验趋向零本身。

补充：L2的几何表示是个圆，所以和损失相交在原点周围；L1的几何表示是个矩形，所以和损失（大概率）相交在坐标轴。