IBM发布258M参数轻量级视觉语言模型：高效文档转换，支持多语言与复杂版式

💡 站外导读：在数字化浪潮下，企业每日处理海量文档，传统OCR或简单格式转换工具常丢失表格、公式等复杂结构，导致信息失真和二次人工校对，效率低下。IBM针对这一核心痛点，推出了轻量级视觉语言模型Granite-Docling-258M。它不仅是技术突破，更是面向企业级文档处理的一把利器，旨在解决从扫描件、手写笔记到电子文档的精准、结构化转换难题，为智能文档管理铺平道路。

Granite-Docling-258M是什么

Granite-Docling-258M 是 IBM 推出的轻量级视觉语言模型，专为高效文档转换设计。模型能将文档转换为机器可读格式，同时完整保留布局、表格、公式等元素。模型仅含 258M 参数，性能卓越，成本效益高，支持多语言（包括阿拉伯语、中文和日语）处理。模型使用 DocTags 格式精准描述文档结构，避免信息丢失。Granite-Docling-258M能与 Docling 库无缝集成，提供强大的定制化和错误处理能力，适用企业级文档处理，是文档处理领域的强大工具。

Granite-Docling-258M的主要功能

• 精准文档解析：模型能准确识别、解析文档中的文字、表格、公式、图表等各类元素，为后续处理提供清晰、准确的数据基础。
• 结构保留转换：在将文档转换为电子格式时，完整保留原始文档的布局和结构，确保转换后的文档与原文高度一致，便于阅读和进一步编辑。
• 多模态输入支持：同时支持图像和文本输入，能处理扫描文档、手写笔记及电子文档等多种形式的文档，拓宽应用范围。
• 多语言文档处理：具备多语言处理能力，能处理不同语言的文档，为跨国企业和多语言环境下的文档处理提供便利。
• 高效数据提取：支持快速从文档中提取关键信息和结构化数据，提高工作效率，减少人工处理时间。
• 灵活的输出格式：支持将文档转换为多种常见格式，如Markdown、HTML、JSON等，方便用户根据需求进行后续处理和应用。
• 强大的定制化能力：与Docling库集成，用户能根据具体需求定制文档处理流程，实现个性化的文档转换和分析功能。
• 企业级稳定性：经过优化，模型在处理文档时更加稳定，减少错误和异常情况的发生，适合在企业级环境中大规模应用。

Granite-Docling-258M的技术原理

• 模型架构：
  • 视觉编码器：用 siglip2-base-patch16-512 作为视觉编码器，能高效处理图像输入，提取文档中的视觉特征。
  • 视觉语言连接器：基于像素洗牌投影器（pixel shuffle projector），将视觉特征与语言模型连接起来，实现视觉和语言信息的融合。
  • 语言模型：基于 Granite 165M 的语言模型，能处理和生成自然语言文本，确保文档内容的准确转换。
• DocTags 格式：DocTags 通用标记语言，能精准描述文档中的各种元素（如图表、表格、公式等）及上下文关系和位置。：DocTags 格式优化 LLM 的可读性，使模型输出的文档能直接转换为 Markdown、HTML 或 JSON 等格式，便于后续处理和应用。
• 训练数据：训练数据包括公开数据集和内部合成数据集，如 SynthCodeNet（代码片段）、SynthFormulaNet（数学公式）、SynthChartNet（图表）和 DoclingMatix（真实文档页面）。通过高质量的标注数据，模型能更好地学习文档的结构和内容，提高转换的准确性和稳定性。

Granite-Docling-258M的项目地址

• 项目官网：https://www.ibm.com/new/announcements/granite-docling-end-to-end-document-conversion
• HuggingFace模型库：https://huggingface.co/ibm-granite/granite-docling-258M
• 在线体验Demo：https://huggingface.co/spaces/ibm-granite/granite-docling-258m-demo

Granite-Docling-258M的应用场景

• 企业文档管理：模型能快速将纸质文档数字化，便于存储和检索，提升工作效率。
• 学术研究：模型能高效处理大量文献，助力研究人员快速获取和分析资料。
• 政府档案数字化：用在精准转换历史档案，确保信息完整，便于长期保存和查询。
• 教育领域：教师能快速整理教学资料，学生能便捷获取电子版学习材料。
• 多语言文档处理：跨国企业能处理多语言文档，打破语言障碍，促进国际交流。