AtomThink – 华为诺亚方舟联合多所高校推出的多模态数学推理框架

AtomThink是什么

AtomThink是中山大学、香港科技大学、上海交通大学、香港大学及华为诺亚方舟实验室的研究人员共同推出的多模态数学推理框架。框架基于构建长链的思维（CoT）引导多模态大型语言模型（MLLMs）进行复杂推理，包含自动CoT注释引擎、原子步骤微调和多种搜索策略。AtomThink基于提升原子步骤的质量，显著增强MLLMs在解决数学问题时的推理能力，为开发通用的慢思维模型提供新的方向。

AtomThink的主要功能

• CoT注释引擎：自动生成高质量的链式思考（Chain-of-Thought，CoT）注释，解决视觉数学数据质量不足的问题。
• 原子步骤微调策略：联合优化多模态大型语言模型（MLLM）和策略奖励模型（Policy Reward Model，PRM），实现逐步推理。
• 搜索策略：提供四种不同的搜索策略，与PRM结合使用，完成复杂的推理任务。
• 数据集构建：提出AtomMATH，一个大规模多模态数据集，包含长CoTs，用在训练和评估模型。
• 原子能力评估：设计一种基于结果监督的原子能力评估方法，评估MLLMs在生成每种原子步骤时的能力。

AtomThink的技术原理

• 慢思考框架：AtomThink框架的核心思想是“慢思考”，基于逐步构建长CoT指导MLLMs进行复杂推理，不依赖于快速直接的预测。
• 动态提示策略：基于动态提示策略，驱动MLLMs迭代构建状态推理路径，每个路径节点代表一个推理步骤，包括前一阶段、当前状态和可能的行动。
• 短CoT增强：基于LLMs将现有的短CoT注释语义分割成多个离散步骤，专注于解决推理过程中的单个原子问题。
• 多模态数据集：从多个数据源采样数学数据，基于动态提示和短CoT增强生成多步骤推理路径，构建AtomMATH数据集。
• 原子步骤微调：在AtomMATH数据集上进行微调，让MLLM能学习基于原子步骤的推理模式。

AtomThink的项目地址

• GitHub仓库：https://github.com/Quinn777/AtomThink
• arXiv技术论文：https://arxiv.org/pdf/2411.11930

AtomThink的应用场景

• 教育辅助：作为智能辅导系统，为学生提供数学问题的逐步解答和解释。
• 自动化测试与评估：在在线考试系统中自动生成和评分数学试题。
• 学术研究：辅助研究者探索和解决复杂的数学问题。
• 软件开发：帮助开发者自动生成和调试数学计算相关的代码。
• 智能客服和技术支持：在需要数学计算或推理的客服场景中提供支持。