# LIMO – 上海交大推出的高效推理方法，仅需817条训练样本

- Link: https://paooo.com/aigc-news/22314/
- Published: 2026-06-09T00:53:21+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 仅817条训练样本，LIMO就显著激活[大模型](https://paooo.com/ai-study/)数学推理能力。
 * AIME达57.1%、MATH达94.8%，体现少样本高质量微调效果。
 * 在10个基准上平均72.8%，验证“少即是多”推理假设。

## LIMO是什么

LIMO（Less Is More for Reasoning）是上海交通大学研究团队提出的高效推理方法，通过
极少量高质量的训练样本激活大语言模型（LLM）的复杂推理能力。核心假设是在预训练阶段
已经具备丰富知识基础的模型中，复杂的推理能力可以通过少量但精心设计的训练样本被有效
激活。 LIMO仅使用817个训练样本，在多个数学推理基准测试中取得显著的性能提升。

阅读目录

 * [LIMO是什么](https://paooo.com/aigc-news/22314/#limo%e6%98%af%e4%bb%80%e4%b9%88)
 * [LIMO的主要功能](https://paooo.com/aigc-news/22314/#limo%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [LIMO的技术原理](https://paooo.com/aigc-news/22314/#limo%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [LIMO的项目地址](https://paooo.com/aigc-news/22314/#limo%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [LIMO的应用场景](https://paooo.com/aigc-news/22314/#limo%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![LIMO](https://paooo.com/wp-content/uploads/2026/06/LIMO-website-1.avif)

## LIMO的主要功能

 * **高效推理激活**：LIMO仅使用817个精心策划的训练样本，在多个数学推理基准测试中
   取得了显著的性能提升。在AIME基准测试中，LIMO的准确率达到了57.1%，在MATH基准测试
   中达到了94.8%，相比之前的模型分别提升了50.6个百分点和35.6个百分点。
 * **出色的泛化能力**：LIMO在10个不同的基准测试中展现了卓越的分布外泛化能力，平均
   准确率达到了72.8%，相比使用100倍数据训练的模型，LIMO实现了40.5%的绝对性能提升。
 * **验证“少即是多”假设**：LIMO的研究提出了“少即是多推理假设”（LIMO Hypothesis），
   即在基础模型中，当领域知识在预训练阶段已被全面编码时，复杂的推理能力可以通过最少
   但精确编排的认知过程示范出现。
 * **数据高效性**：LIMO仅使用了之前方法所需训练数据的1%，挑战了传统观点认为复杂的
   推理任务需要大量训练数据的假设。

## LIMO的技术原理

 * **核心假设**：LIMO的核心假设是“少即是多推理假设”（LIMO Hypothesis）：在基础模型
   中，当领域知识在预训练中已被全面编码时，可以通过对认知过程的最小但精确组织的示例
   而出现。假设认为，复杂推理的引发门槛并不固有地受到目标推理任务复杂性的限制，是
   由两个关键因素决定：
    - **模型在预训练期间编码的知识基础的完整性**：现代基础模型在预训练过程中整合
      了前所未有数量的数学内容。例如，Llama 2和Llama 3在数学推理方面的训练数据分别
      达到了1.8T和3.7T代币。
    - **训练后的范例的有效性**：这些范例作为“认知模板”展示了模型如何有效运用现有
      的知识基础来解决复杂的推理任务。
 * **问题定义**：LIMO关注于具有可验证答案的推理任务，目标是生成一个答案和一个推理
   链。
 * **问题选择**：选择能促进复杂推理链、多样化思考过程和知识整合的挑战性问题。
 * **推理链构建**：收集官方解决方案，补充人类专家和AI专家撰写的解决方案，基于最先进
   的推理模型生成多样化的解决方法。
 * **训练协议**：使用监督微调在LIMO数据集上对大型语言模型进行微调，采用完整参数微调，
   使用DeepSpeed ZeRO-3优化和FlashAttention-2。

## LIMO的项目地址

 * **Github仓库**：[https://github.com/GAIR-NLP/LIMO](https://github.com/GAIR-NLP/LIMO)
 * **HuggingFace模型库**：[https://huggingface.co/GAIR/LIMO](https://huggingface.co/GAIR/LIMO)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.03387](https://arxiv.org/pdf/2502.03387)

## LIMO的应用场景

 * **教育领域**：LIMO提升学生的逻辑思维和复杂问题解决能力。通过少量但高质量的推理
   训练样本，LIMO可以帮助学生更好地理解和掌握复杂的数学和逻辑推理过程。
 * **科学研究**：在科学研究中，LIMO可以用于复杂问题的建模和分析。在数学和物理领域，
   LIMO可以帮助研究人员快速验证和优化复杂的理论模型。
 * **工业应用**：LIMO可以用于优化生产流程和质量控制。LIMO可以帮助企业快速识别和解决
   生产中的复杂问题，提高生产效率和产品质量。
 * **医疗领域**：LIMO可以用于辅助诊断和治疗方案的优化。通过少量高质量的医疗案例，
   LIMO可以帮助医生快速识别复杂的疾病模式，提供更准确的诊断建议。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**DeepSpeed ↗**

微软开源的低成本实现类似ChatGPT的模型训练。

**Llama 3 ↗**

Meta最新开源推出的新一代大模型。

❓ 常见问题解答（FAQ）

LIMO为什么只用817条样本就有效？

因为LIMO假设基础模型在预训练阶段已编码了大量知识，训练重点不在堆数据，而在用少量
但精心设计的高质量推理示例，激活模型已有的复杂推理能力。

LIMO在数学推理测试中的表现如何？

文中给出的结果显示，LIMO在AIME基准上准确率达到57.1%，在MATH基准上达到94.8%，相较
之前模型分别提升50.6和35.6个百分点。

LIMO适合哪些应用场景？

文章提到LIMO可用于教育、科学研究、工业和医疗等场景，尤其适合需要复杂推理、问题建
模和高质量案例驱动分析的任务。

🔬 语宙深潜追问 · 进阶实操拆解

LIMO最适合怎样做数据配比？

优先保证样本覆盖推理链条的关键环节，而不是盲目扩量。实操上可按“高质量题目+标准化解
题过程+少量难例”配比，先做小规模验证，再用错误类型回流补样，持续提升泛化。

如何判断LIMO式训练是否真有效？

不要只看单一数学榜单，建议同时测长链推理、跨题型迁移和错误稳定性。若训练后在新题
型上仍能保持步骤完整、答案波动小，且少量样本就带来明显增益，才算真正有效。

🗳️ 读者观点微投票 · 您的实战立场是？

817条样本真能激活复杂推理吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [Light-R1 – 360智脑开源的长思维链推理模型](https://paooo.com/aigc-news/21281/)
 * [LlamaV-o1 – 多模态视觉推理模型，采用逐步推理学习方法解决复杂任务](https://paooo.com/aigc-news/22879/)
 * [网易有道Confucius4开源发布：27B参数多模态数学推理模型，多项基准SOTA，推理链长度降43% | 免费商用](https://paooo.com/aigc-news/10892/)
 * [Xiaomi MiMo – 小米开源的首个推理大模型](https://paooo.com/aigc-news/20085/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22314/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
