本文共 1308 字，大约阅读时间需要 4 分钟。
深度学习中的正则化是一种广泛应用于防止模型过拟合的技术。过拟合指的是模型在训练集上表现优异，但在未见过的验证集或测试集上表现较差的现象。正则化通过引入约束条件，提升模型的泛化能力，从而减轻过拟合问题。本文将详细介绍两种常见的正则化方法：L1和L2正则化。
L1正则化通过在损失函数中添加所有权重的绝对值之和，实现特征选择的目标。其核心思想是鼓励某些权重变为零，从而在模型中保留重要特征。这一机制使得L1正则化特别适合处理高维数据。
数学上，L1正则化的损失函数形式为：[ L = L_{\text{original}} + \lambda \sum |w_i| ]其中，( L_{\text{original}} )为原始损失函数（如均方误差），( w_i )为模型权重，( \lambda )为正则化强度参数。
与L1正则化不同，L2正则化通过在损失函数中添加所有权重的平方和。这种方式的作用是减少权重的整体规模，使得模型的决策边界更加平滑，降低过拟合风险。
其数学表达式为：[ L = L_{\text{original}} + \lambda \sum w_i^2 ]
| 特性 | L1正则化 | L2正则化 |
|---|---|---|
| 目标 | 特征选择（稀疏化） | 减少参数规模（平滑） |
| 权重更新 | 部分权重变为零 | 所有权重通常不为零 |
| 计算复杂度 | 简单 | 稍复杂但高效 |
| 常用场景 | 高维稀疏特征选择任务 | 杂项任务，防止过拟合 |
在Keras框架中，可以通过kernel_regularizer参数为层添加L1或L2正则化。以下是实现示例：
from tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Densefrom tensorflow.keras.regularizers import l1model = Sequential()model.add(Dense(64, activation='relu', input_dim=10, kernel_regularizer=l1(0.01))) # L1 正则化
from tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Densefrom tensorflow.keras.regularizers import l2model = Sequential()model.add(Dense(64, activation='relu', input_dim=10, kernel_regularizer=l2(0.01))) # L2 正则化
通过合理选择正则化强度参数( \lambda )，可以根据具体任务需求调整模型的泛化能力。L1正则化适合需要特征稀疏化的任务，而L2正则化则更适合一般的过拟合防治。
转载地址：http://nkgfk.baihongyu.com/