MARS是什么
MARS（Make vAriance Reduction Shine）是字节跳动推出的创新的优化框架，提升大型模型训练的效率。MARS融合预条件梯度方法与方差减少技术，基于缩放随机递归动量技术优化梯度估计。MARS框架灵活，支持全矩阵或对角Hessian近似，衍生出基于AdamW、Lion和Shampoo的三种优化算法实例。实验结果表明，MARS在训练GPT-2模型时，相较传统的AdamW优化器，展现出卓越的性能。
MARS的主要功能
- 提高训练效率：MARS结合预条件梯度方法和方差减少技术，提高大型模型训练的效率，尤其是在训练深度神经网络和大型语言模型时。
- 统一优化框架：提供适应不同Hessian近似方法的统一框架，包括全矩阵和对角矩阵近似。
- 算法实例化：在MARS框架下，实现三种具体的优化算法实例：MARS-AdamW、MARS-Lion和MARS-Shampoo，分别基于不同的预条件梯度更新策略。
- 方差减少：引入缩放随机递归动量技术，有效减少训练过程中的梯度方差，加速模型收敛。
MARS的技术原理
- 预条件梯度方法：基于预条件梯度方法调整学习率，让每个参数或参数组有定制的学习率，适应其局部曲率。
- 方差减少技术：引入方差减少技术，如STORM（Stochastic Recursive Momentum），减少随机梯度的方差，加速优化过程。
- 缩放随机递归动量：在STORM的基础上引入缩放参数，调整方差减少的强度，定义新的梯度估计器。
- 梯度裁剪和指数移动平均：为优化训练稳定性，MARS在梯度估计器中应用梯度裁剪，用指数移动平均（EMA）计算递归动量。
MARS的项目地址
- arXiv技术论文：https://arxiv.org/pdf/2411.10438
MARS的应用场景
- 深度学习模型训练：训练深度神经网络，尤其是参数众多的复杂模型。
- 大规模语言模型：优化大型语言模型的训练过程，如GPT系列模型，提高训练效率和模型性能。
- 计算机视觉任务：在图像分类、目标检测等计算机视觉领域中，加速模型的训练和提高模型的泛化能力。
- 强化学习算法：在强化学习中，优化策略网络或价值函数的参数，尤其是在面对高方差梯度时。
- 推荐系统模型：在构建推荐系统时，优化模型参数，更好地处理大规模用户和物品特征。
🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）
❓ 常见问题解答（FAQ）
MARS优化框架是什么？
MARS（Make vAriance Reduction Shine）是字节跳动推出的优化框架，核心是把预条件梯度方法与方差减少技术结合起来，用于提升大型模型训练效率，并支持多种 Hessian 近似方式。
MARS和AdamW有什么区别？
MARS不是单一优化器，而是统一框架，可在其中实例化出基于 AdamW、Lion 和 Shampoo 的优化算法。文章提到其在训练 GPT-2 时，相比传统 AdamW 展现出更好的性能。
MARS适合哪些训练场景？
MARS适用于深度学习模型训练、大规模语言模型、计算机视觉、强化学习和推荐系统等场景，尤其适合参数规模大、梯度方差高、需要提升收敛效率的任务。
🔬 语宙深潜追问 · 进阶实操拆解
预条件梯度到底提升了什么？
它通过近似二阶信息调整不同参数维度的更新尺度，让“该快的更快、该稳的更稳”。相比纯一阶方法，通常能减少震荡并加速收敛，但实现复杂度和算力开销也会更高。
如何判断该用哪种 MARS 变体？
若模型规模较大且训练预算充足，可优先评估带更强曲率信息的版本；若追求工程稳定性，则从 MARS-AdamW 这类兼容性更好的变体开始。建议先在小规模任务上对比 loss 曲线和 wall-clock。
🗳️ 读者观点微投票 · 您的实战立场是？
MARS 训练优化会取代 AdamW 吗？
