# 百度开源ERNIE-4.5-VL多模态大模型：28B参数激活3B，128K超长上下文，2-Bit无损量化领跑文档理解与视频分析 - Link: https://paooo.com/aigc-news/13014/ - Published: 2026-06-17T12:12:22+08:00 - Author: 站外新闻 > **💡 站外导读：**多模态AI正从「看图说话」走向「深度推理」，但企业落地仍面临显存 > 占用高、长文档处理难、跨模态语义对齐弱等痛点。百度文心此次开源ERNIE-4.5-VL系列， > 正是瞄准这些行业瓶颈，以异构MoE架构和模态隔离路由实现视觉与文本的高效解耦，并首次 > 在开源模型中引入2-Bit无损量化，将大模型部署门槛大幅拉低，为制造业图纸解析、智能 > 电表运维等垂直场景提供了真正可用的工业级方案。 ## ERNIE-4.5-VL是什么 ERNIE-4.5-VL是百度文心开源的新一代多模态AI模型，基于ERNIE-4.5-VL-28B-A3B架构，激活 参数3B，主打视觉语言理解与跨模态推理。模型通过海量视觉-语言数据训练强化语义对齐， 并采用多模态强化学习提升稳定性，新增视觉定位与”图像思考”功能，支持文档解析、视频 分析等场景。模型支持2-Bit无损量化和128K超长上下文窗口，优化了显存占用和推理速度， 能处理超长文本内容。 阅读目录 * [ERNIE-4.5-VL是什么](https://paooo.com/aigc-news/13014/#ernie45vl%e6%98%af%e4%bb%80%e4%b9%88) * [ERNIE-4.5-VL的主要功能](https://paooo.com/aigc-news/13014/#ernie45vl%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [ERNIE-4.5-VL的模型版本](https://paooo.com/aigc-news/13014/#ernie45vl%e7%9a%84%e6%a8%a1%e5%9e%8b%e7%89%88%e6%9c%ac) * [ERNIE-4.5-VL的技术原理](https://paooo.com/aigc-news/13014/#ernie45vl%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [ERNIE-4.5-VL的项目地址](https://paooo.com/aigc-news/13014/#ernie45vl%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [ERNIE-4.5-VL的应用场景](https://paooo.com/aigc-news/13014/#ernie45vl%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/13014/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight) ![ERNIE-4.5-VL](https://paooo.com/wp-content/uploads/2026/05/ERNIE-4.5-VL-website- 1.avif) ## ERNIE-4.5-VL的主要功能 * **多模态理解与生成**：ERNIE-4.5-VL 能同时处理文本和图像信息，实现图像描述生成、 图文问答、图像分类等功能，支持多模态内容的综合理解和创作。 * **文档与图表理解**：模型具备强大的文档解析能力，可处理复杂的图表、流程图等，广泛 应用于制造业、科研等领域的工程图纸理解和数据分析。 * **智能推理与决策**：支持复杂的多模态推理任务，如视觉问答、逻辑推理等，能够结合 文本和图像信息进行深度分析和决策。 * **多语言交互**：支持100多种语言的交互，适用于跨语言的多模态任务，如多语言图像 描述和跨语言图文问答。 * **长文本处理**：具备超长上下文窗口（最高支持128K），能够处理大规模文本内容，适用 于长文档分析和复杂任务处理。 * **图像思考功能**：支持图像放大、搜索等工具调用，增强模型在视觉任务中的交互性和 灵活性。 * **高效部署与优化**：通过2-Bit量化技术，显著降低显存占用和提升推理速度，支持单 卡部署，适合资源受限的场景。 ## ERNIE-4.5-VL的模型版本 * **ERNIE-4.5-21B-A3B-Thinking** - **参数规模**：210亿参数，每次激活30亿参数。 - **特点**：支持思考模式，具备更强的推理能力，适合处理复杂的多模态任务。 - **上下文长度**：支持128k上下文长度。 * **ERNIE-4.5-VL-28B-A3B** - **参数规模**：280亿参数，每次激活30亿参数。 - **架构**：采用异构混合专家架构（MoE），包含文本、视觉和共享专家，通过模态隔离 路由机制提升视觉任务性能。 - **性能**：在多模态任务中表现优异，尤其在视觉感知、文档与图表理解方面效果突出。 - **上下文长度**：支持32k上下文长度。 * **ERNIE-4.5-Turbo-VL-Preview** - **特点**：图片理解、创作、翻译、代码等能力显著提升，首次支持32k上下文长度， 首Token时延显著降低。 - **上下文长度**：支持16k上下文长度。 * **ERNIE-4.5-Turbo-VL-32K-Preview** - **特点**：在 ERNIE-4.5-Turbo-VL-Preview 的基础上进一步提升性能，支持更长的 上下文长度。 - **上下文长度**：支持32k上下文长度。 * **ERNIE-4.5-VL-424B-A47B** - **参数规模**：4240亿参数，激活470亿参数。 - **性能**：在多模态评估基准中表现突出，尤其在高难度推理任务上优势明显。 - **特点**：支持思考模式，推理能力强大，同时在感知任务上也保持良好效果。 * **ERNIE-4.5-0.3B** - **参数规模**：仅3亿参数。 - **特点**：轻量级模型，适合边缘设备部署，推理速度快，性能接近大型模型。 ## ERNIE-4.5-VL的技术原理 * **异构混合专家架构（MoE）**：ERNIE-4.5-VL 采用异构混合专家架构，将参数分为文本 专家、视觉专家和共享专家。这种架构允许模型在处理不同模态任务时动态选择最优的专家 组合，提高计算效率和性能。 * **模态隔离路由机制**：通过分离文本和图像的处理路径，并引入路由器正交损失和多模 态平衡损失，模型实现了文本与视觉模态的解耦训练，显著提升视觉任务的性能。 * **2-Bit 无损量化技术**：采用“卷积码量化”算法，实现2-Bit精度下的无损推理。这使得 模型在保持性能的同时，大幅降低显存占用和提升推理速度，支持更高效的部署。 ## ERNIE-4.5-VL的项目地址 * **Github仓库**：https://github.com/PaddlePaddle/ERNIE * **HuggingFace模型库**：https://huggingface.co/collections/baidu/ernie-45 * **技术论文**：https://yiyan.baidu.com/blog/publication/ERNIE_Technical_Report. pdf ## ERNIE-4.5-VL的应用场景 * **文档与图表理解**：用于解析复杂的工程图纸、科研图表和商务文档，帮助用户快速提取 关键信息，应用于制造业、科研、金融等领域。 * **智能电表运维**：嵌入智能电表设备，实时生成用电异常的文本描述并上报故障，提升 运维效率和准确性。 * **多语言交互**：支持100多种语言的交互，适用于跨语言的图文问答、图像描述等任务， 助力全球化应用。 * **智能客服**：结合文本和图像信息，为用户提供更精准的客服支持，例如处理产品咨询 和故障排查。 * **内容创作**：生成高质量的图文内容，如图像描述、创意文案等，适用于广告、媒体和 创意行业。 * **教育领域**：辅助教学，通过图文结合的方式帮助学生更好地理解和学习知识，例如解释 复杂的科学图表。 #### 📝 站长洞察 (Editor’s Insight) ERNIE-4.5-VL的开源，标志着国产多模态大模型进入「精细化工程落地」新阶段。其核心创新 不仅在于28B激活3B的稀疏MoE架构，更在于三个关键突破：一是模态隔离路由，通过正交损失 让视觉与文本专家各司其职，解决了多模态训练中的「跷跷板」难题；二是2-Bit无损量化， 首次在开源模型上实现极致压缩，让单卡部署成为可能，这对边缘计算场景意义重大；三是「 图像思考」功能的引入，让模型能主动调用放大、搜索等工具，开始具备初步的Agent能力。 从行业趋势看，多模态竞争已从单纯的基准跑分，转向对垂直场景的渗透效率——谁能在更少 的显存、更长的上下文、更复杂的文档图表中跑通业务流，谁就能抓住企业级市场的真正痛点。 百度此举，无疑为国内开发者提供了一个兼具性能与性价比的强劲基座。