深度学习优化器：从Adam到AdamW的核心原理与实践

1. 优化器基础：从梯度下降到自适应方法

深度学习模型的训练过程本质上是一个不断调整参数以最小化损失函数的过程。这个调整过程由优化器(Optimizer)控制。在深度学习的早期阶段，最基础的优化方法是随机梯度下降(SGD)，它直接沿着损失函数的负梯度方向更新参数。

SGD的更新公式很简单：

parameters = parameters - learning_rate * gradients

但随着网络结构越来越复杂，SGD暴露出了几个明显问题：

  1. 对所有参数使用相同的学习率不够灵活
  2. 在损失函数曲面不平整时容易陷入局部最优
  3. 对学习率的选择非常敏感

为了解决这些问题，研究者们提出了一系列自适应优化算法，其中最具代表性的就是Adam(Adaptive Moment Estimation)。Adam通过计算梯度的一阶矩估计（均值）和二阶矩估计（未中心化的方差）来为每个参数自适应地调整学习率。

2. Adam优化器的核心原理

2.1 Adam的数学表达

Adam算法结合了动量(Momentum)和RMSProp的思想，其更新规则如下：

  1. 计算梯度的一阶矩（均值）和二阶矩（方差）的指数移动平均：

    m_t = beta1 * m_{t-1} + (1 - beta1) * g_t v_t = beta2 * v_{t-1} + (1 - beta2) * g_t^2

  2. 对矩估计进行偏差校正（特别是在初始阶段）：

    m_hat_t = m_t / (1 - beta1^t) v_hat_t = v_t / (1 - beta2^t)

  3. 更新参数：

    theta_t = theta_{t-1} - alpha * m_hat_t / (sqrt(v_hat_t) + epsilon)

其中：

  • alpha：学习率
  • beta1,beta2：矩估计的衰减率（通常设为0.9和0.999）
  • epsilon：数值稳定项（通常1e-8）

2.2 Adam的优势特点

Adam之所以成为最流行的优化器之一，主要因为以下几个优点：

  1. 自适应学习率：为每个参数计算不同的学习率，适合处理稀疏梯度
  2. 动量机制：通过一阶矩估计保留了梯度方向的历史信息
  3. 数值稳定：二阶矩估计和epsilon项避免了除零错误
  4. 超参数鲁棒：对初始学习率的选择相对不敏感

在实际应用中，Adam通常能比SGD更快收敛，特别是在处理复杂网络结构和非平稳目标函数时表现优异。这也是为什么它成为了许多深度学习框架的默认优化器。

3. 权重衰减与L2正则化

3.1 权重衰减的原理

权重衰减(Weight Decay)是一种经典的防止过拟合的技术，它在每次参数更新时都会对参数值进行一定比例的缩小：

theta_t = theta_{t-1} - alpha * (gradient + lambda * theta_{t-1})

其中lambda是衰减系数。这种方法直观地限制了参数的大小，防止模型过度依赖某些特征。

3.2 L2正则化的数学形式

L2正则化通过在损失函数中添加参数的L2范数惩罚项来实现：

loss = original_loss + (lambda/2) * sum(theta^2)

求导后，梯度更新变为：

gradient = original_gradient + lambda * theta

看起来这与权重衰减的更新形式非常相似，但实际上在自适应优化器中，这两者有着关键区别。

3.3 传统优化器中的等价性

对于SGD这类简单优化器，权重衰减和L2正则化确实是等价的。因为：

L2正则化的梯度更新：

theta = theta - alpha * (gradient + lambda * theta)

权重衰减的实现：

theta = theta * (1 - alpha * lambda) - alpha * gradient

当学习率很小时，(1 - alpha * lambda) ≈ 1，两者几乎相同。这也是为什么很多人会混淆这两个概念。

4. AdamW：修正Adam中的权重衰减问题

4.1 Adam与L2正则化的不兼容性

在Adam优化器中，L2正则化项会被除以sqrt(v_hat_t)（自适应学习率的一部分）。这意味着：

  1. 正则化效果会被自适应学习率缩放
  2. 不同参数受到的正则化强度不一致
  3. 与原始权重衰减的意图不符

具体表现为：L2正则化在Adam中实际产生的效果比预期弱，而且不稳定。

4.2 AdamW的解决方案

AdamW(Adam with Weight decay)通过将权重衰减与梯度更新解耦来解决这个问题：

  1. 像普通Adam一样计算梯度更新
  2. 单独应用权重衰减
  3. 更新公式变为：
    theta_t = theta_{t-1} - alpha * (m_hat_t / (sqrt(v_hat_t) + epsilon) + lambda * theta_{t-1})

关键区别在于权重衰减项lambda * theta不再被自适应学习率缩放，保持了原始权重衰减的强度。

4.3 AdamW的实际效果

根据研究和实践经验，AdamW相比Adam有以下改进：

  1. 更稳定的正则化效果：权重衰减强度不再受自适应学习率影响
  2. 更好的泛化性能：在图像分类等任务上通常能提高1-2%的准确率
  3. 更易调参：权重衰减系数与最终效果的关系更直接可预测

特别是在训练Transformer类模型时，AdamW几乎成为了标准选择。

5. 实践对比与选择建议

5.1 在不同场景下的表现

场景特征推荐优化器原因说明
小数据集AdamW更需要强正则化防止过拟合
大数据集Adam正则化需求相对较低
深层TransformerAdamW原始论文使用且效果验证
CNN图像分类两者皆可差异不太明显
强化学习Adam通常不需要强权重衰减

5.2 超参数设置技巧

对于AdamW，建议的默认参数：

  • 学习率(alpha)：3e-4到1e-3
  • beta1：0.9（保持默认）
  • beta2：0.999（保持默认）
  • 权重衰减(lambda)：0.01（可调整）

调试时可以：

  1. 先固定其他参数，调整学习率
  2. 然后微调权重衰减
  3. 最后如果有必要再调整beta1/beta2

5.3 实现示例（PyTorch）

# Adam 实现 optimizer = torch.optim.Adam(model.parameters(), lr=1e-3, weight_decay=0.01) # 实际是L2正则化 # AdamW 实现 optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=0.01) # 真正的权重衰减

注意：虽然参数名都是weight_decay，但在两个优化器中的实现机制完全不同。

6. 常见问题与解决方案

6.1 为什么我的模型用Adam训练效果不好？

可能原因及解决：

  1. 学习率太大：尝试降低到1e-4或更小
  2. 需要更强正则化：换用AdamW或增加L2系数
  3. 数据量太小：Adam可能过拟合，考虑换SGD或加强数据增强

6.2 如何判断该用Adam还是AdamW？

可以这样测试：

  1. 先用Adam训练，观察验证集表现
  2. 如果出现过拟合迹象（训练损失持续下降但验证损失上升）
  3. 换用AdamW，保持其他参数不变
  4. 比较两者的验证集性能

6.3 权重衰减系数该如何选择？

建议的调试流程：

  1. 从0.01开始（对于AdamW）
  2. 如果模型欠拟合，尝试减小到0.001
  3. 如果过拟合，尝试增大到0.1
  4. 对于特别大的模型，可能需要更小的衰减（如1e-5）

重要提示：Adam中的weight_decay参数实际是L2系数，通常需要比AdamW中的值小10倍左右才能达到类似效果。

7. 优化器选择的高级考量

7.1 批量大小的影响

大批量训练时：

  • Adam/AdamW的优势更明显
  • 可以适当增大学习率
  • 可能需要更强的权重衰减

小批量训练时：

  • 梯度噪声更大
  • Adam的自适应特性更有帮助
  • 学习率不宜过大

7.2 与其他正则化技术的配合

AdamW可以与以下技术共同使用：

  1. Dropout
  2. 数据增强
  3. 标签平滑(Label Smoothing)
  4. 早停(Early Stopping)

但需要注意正则化效果的叠加，避免过度约束模型。

7.3 训练后期的调整策略

常见技巧：

  1. 学习率预热：前几个epoch逐步提高学习率
  2. 余弦退火：周期性调整学习率
  3. 权重衰减调整：后期可以适当降低衰减强度
  4. 切换优化器：后期换用SGD进行微调

这些策略在AdamW中同样适用，通常能带来额外提升。