百度重磅开源ERNIE-4.5-21B-A3B-Thinking：210亿参数MoE模型，128K长上下文赋能复杂推理与多智能体应用

💡 站外导读：在AI大模型竞赛进入白热化阶段的今天，企业与开发者面临的痛点已不再是“有无模型可用”，而是如何在有限算力下实现更复杂、更深度的推理能力。传统稠密模型在处理长文档分析、多步骤逻辑链和跨领域问题时，常受限于计算成本与上下文长度。百度此次推出的ERNIE-4.5-21B-A3B-Thinking，正是瞄准了这一核心矛盾——以MoE架构大幅降低推理成本，同时以128K长上下文和强化学习技术，将模型能力从“文本生成”推向“深度思考”，为程序合成、科学解答等高阶任务提供了新解法。

ERNIE-4.5-21B-A3B-Thinking是什么

ERNIE-4.5-21B-A3B-Thinking 是百度推出的专注于推理任务的大型语言模型。采用混合专家（MoE）架构，总参数量达210亿，每个token激活30亿参数，支持128K的长上下文窗口，适用于复杂推理任务。模型通过文本预训练构建语言核心骨干，在推理增强后训练阶段，利用监督式微调（SFT）和渐进式强化学习（PRL）等技术，显著提升了逻辑推理、数学计算、科学问题解答等能力。支持高效的工具调用，可与vLLM、Transformers 4.54+和FastDeploy等集成，适用于程序合成、符号推理及多智能体工作流等场景。

ERNIE-4.5-21B-A3B-Thinking的主要功能

• 强大的推理能力：ERNIE-4.5-21B-A3B-Thinking在逻辑推理、数学计算、科学问题解答等需要推理能力的领域表现出色，能处理复杂的推理任务，为用户提供准确的答案。
• 高效的工具调用：模型支持结构化的工具和函数调用，能与vLLM、Transformers 4.54+和FastDeploy等进行集成，实现更高效的任务执行和功能扩展。
• 长上下文理解：具备128K的上下文窗口，能理解和处理长文本信息，适用于需要长上下文的复杂推理任务，如长篇文档分析和多步骤推理。
• 多领域应用：广泛应用于程序合成、符号推理以及多智能体工作流等场景，为不同领域的复杂任务提供解决方案，满足多样化的业务需求。
• 开源与易用：在Apache-2.0许可下开源，可在Hugging Face等平台上使用，方便开发者进行研究和商业部署，降低了使用门槛。

ERNIE-4.5-21B-A3B-Thinking的技术原理

• 混合专家架构：ERNIE-4.5-21B-A3B-Thinking采用混合专家（MoE）架构，将模型参数分为多个专家模块，每个输入token只激活部分专家模块，在保持模型性能的同时，显著提高了计算效率。
• 长上下文窗口：模型支持128K的上下文窗口，能处理长文本输入，这对于需要长上下文理解的任务（如复杂推理和长篇文档分析）至关重要。
• 推理增强训练：通过监督式微调（SFT）和渐进式强化学习（PRL）等技术，对模型进行专门的推理能力训练，使其在逻辑推理、数学计算和科学问题解答等任务上表现出色。
• 激活机制：模型设计了高效的激活机制，每个token激活3B参数，确保在大规模参数下仍能高效运行，同时保持了模型的灵活性和适应性。

ERNIE-4.5-21B-A3B-Thinking的项目地址

• HuggingFace模型库：https://huggingface.co/baidu/ERNIE-4.5-21B-A3B-Thinking

ERNIE-4.5-21B-A3B-Thinking的应用场景

• 复杂推理任务：适用于逻辑推理、数学计算、科学问题解答等需要深度思考和推理的场景，提供准确的分析和解决方案。
• 代码生成与优化：能生成和优化代码，帮助开发者提高编程效率，适用于程序合成、符号推理等任务。
• 多智能体工作流：支持多智能体协作，可用于构建复杂的自动化工作流，提高任务执行效率。
• 长文本分析：凭借长上下文窗口，能处理长篇文档分析、复杂文本推理等任务，适用于学术研究、商业报告分析等场景。
• 工具调用与集成：支持结构化的工具和函数调用，可与多种平台和工具集成，拓展应用场景，满足多样化的业务需求。