# MARS – 字节推出优化大模型训练效率的框架

- Link: https://paooo.com/aigc-news/25507/
- Published: 2026-07-14T12:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 融合预条件梯度与方差减少技术，MARS 用缩放随机递归动量优化梯度估计，提升训练效率。
 * 框架支持全矩阵或对角 Hessian 近似，并可衍生出 MARS-AdamW、MARS-Lion、MARS-Shampoo
   三种实例。
 * 实验表明，MARS 在 GPT-2 训练中相较传统 AdamW 表现更优，适合[大模型](https://paooo.com/ai-study/)
   与高方差任务。

## MARS是什么

MARS（Make vAriance Reduction Shine）是字节跳动推出的创新的优化框架，提升大型模型
训练的效率。MARS融合预条件梯度方法与方差减少技术，基于缩放随机递归动量技术优化梯度
估计。MARS框架灵活，支持全矩阵或对角Hessian近似，衍生出基于AdamW、Lion和Shampoo的
三种优化算法实例。实验结果表明，MARS在训练GPT-2模型时，相较传统的AdamW优化器，展现
出卓越的性能。

阅读目录

 * [MARS是什么](https://paooo.com/aigc-news/25507/#mars%e6%98%af%e4%bb%80%e4%b9%88)
 * [MARS的主要功能](https://paooo.com/aigc-news/25507/#mars%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MARS的技术原理](https://paooo.com/aigc-news/25507/#mars%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MARS的项目地址](https://paooo.com/aigc-news/25507/#mars%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MARS的应用场景](https://paooo.com/aigc-news/25507/#mars%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MARS](https://paooo.com/wp-content/uploads/2026/07/MARS-website-1-1.avif)

## MARS的主要功能

 * **提高训练效率**：MARS结合预条件梯度方法和方差减少技术，提高大型模型训练的效率，
   尤其是在训练深度神经网络和大型语言模型时。
 * **统一优化框架**：提供适应不同Hessian近似方法的统一框架，包括全矩阵和对角矩阵
   近似。
 * **算法实例化**：在MARS框架下，实现三种具体的优化算法实例：MARS-AdamW、MARS-Lion
   和MARS-Shampoo，分别基于不同的预条件梯度更新策略。
 * **方差减少**：引入缩放随机递归动量技术，有效减少训练过程中的梯度方差，加速模型
   收敛。

## MARS的技术原理

 * **预条件梯度方法**：基于预条件梯度方法调整学习率，让每个参数或参数组有定制的学习
   率，适应其局部曲率。
 * **方差减少技术**：引入方差减少技术，如STORM（Stochastic Recursive Momentum），
   减少随机梯度的方差，加速优化过程。
 * **缩放随机递归动量**：在STORM的基础上引入缩放参数，调整方差减少的强度，定义新的
   梯度估计器。
 * **梯度裁剪和指数移动平均**：为优化训练稳定性，MARS在梯度估计器中应用梯度裁剪，
   用指数移动平均（EMA）计算递归动量。

## MARS的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2411.10438](https://arxiv.org/pdf/2411.10438)

## MARS的应用场景

 * **深度学习模型训练**：训练深度神经网络，尤其是参数众多的复杂模型。
 * **大规模语言模型**：优化大型语言模型的训练过程，如GPT系列模型，提高训练效率和
   模型性能。
 * **计算机视觉任务**：在图像分类、目标检测等计算机视觉领域中，加速模型的训练和提高
   模型的泛化能力。
 * **强化学习算法**：在强化学习中，优化策略网络或价值函数的参数，尤其是在面对高方
   差梯度时。
 * **推荐系统模型**：在构建推荐系统时，优化模型参数，更好地处理大规模用户和物品特征。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Make ↗**

Make：AI零代码自动化工作流搭建平台，面向AI 开发平台场景提供便捷实用的在线功能支持，
涵盖AI编程等实用方

❓ 常见问题解答（FAQ）

MARS优化框架是什么？

MARS（Make vAriance Reduction Shine）是字节跳动推出的优化框架，核心是把预条件梯度
方法与方差减少技术结合起来，用于提升大型模型训练效率，并支持多种 Hessian 近似方式。

MARS和AdamW有什么区别？

MARS不是单一优化器，而是统一框架，可在其中实例化出基于 AdamW、Lion 和 Shampoo 的
优化算法。文章提到其在训练 GPT-2 时，相比传统 AdamW 展现出更好的性能。

MARS适合哪些训练场景？

MARS适用于深度学习模型训练、大规模语言模型、计算机视觉、强化学习和推荐系统等场景，
尤其适合参数规模大、梯度方差高、需要提升收敛效率的任务。

🔬 语宙深潜追问 · 进阶实操拆解

预条件梯度到底提升了什么？

它通过近似二阶信息调整不同参数维度的更新尺度，让“该快的更快、该稳的更稳”。相比纯
一阶方法，通常能减少震荡并加速收敛，但实现复杂度和算力开销也会更高。

如何判断该用哪种 MARS 变体？

若模型规模较大且训练预算充足，可优先评估带更强曲率信息的版本；若追求工程稳定性，
则从 MARS-AdamW 这类兼容性更好的变体开始。建议先在小规模任务上对比 loss 曲线和 wall-
clock。

🗳️ 读者观点微投票 · 您的实战立场是？

MARS 训练优化会取代 AdamW 吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [最大化大语言模型性能 [译]](https://paooo.com/ai-study/8477/)
 * [NMT – 阿里联合 UC Berkeley 推出的多任务学习框架](https://paooo.com/aigc-news/23253/)
 * [高效大语言模型推理 [译]](https://paooo.com/ai-study/8438/)
 * [MT-TransformerEngine – 摩尔线程开源的高效训练与推理优化框架](https://paooo.com/aigc-news/21115/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25507/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)