SmolDocling是什么
SmolDocling(SmolDocling-256M-preview )是高效轻量级的多模态文档处理模型。能将文档图像端到端地转换为结构化文本,支持文本、公式、图表等多种元素识别,适用于学术论文、技术报告等多类型文档。模型参数量仅 256M,推理速度快,A100 GPU 上每页处理仅需 0.35 秒,与 Docling 完全兼容,可导出多种格式。

SmolDocling的主要功能
- 多模态文档转换:能将图像文档高效转换为结构化文本,支持科学和非科学文档。
- 快速推理:在 A100 GPU 上处理一页文档仅需 0.35 秒,使用不到 500MB 的显存。
- OCR 与布局识别:支持光学字符识别(OCR),保留文档结构和元素的边界框。
- 复杂元素识别:能识别代码块、数学公式、图表、表格等复杂文档元素。
- 与 Docling 无缝集成:支持将结果转换为多种格式(如 Markdown、HTML 等),兼容 Docling。
- 指令支持:支持多种指令,如将页面转换为 Docling 格式、将图表转换为表格、将公式转换为 LaTeX 等。
SmolDocling的技术原理
- 轻量级设计:SmolDocling-256M-preview 是仅包含 256M 参数的视觉语言模型,专为文档光学字符识别(OCR)和转换而设计。能在消费级 GPU 上快速处理文档,使用不到 500MB 的显存,每页文档的处理时间仅需 0.35 秒。
- 视觉骨干网络:模型采用了 SigLIP base patch-16/512 作为视觉骨干网络,网络参数量为 93M,能高效地处理图像输入。通过像素压缩技术,每个 512×512 的图像块被压缩为 64 个视觉标记,显著降低了计算资源需求。
- 文本编码器:SmolDocling-256M-preview 使用 SmolLM-2 作为文本编码器,编码器参数量为 135M,能处理文本输入并与视觉信息进行融合。
- 多模态融合与输出:模型能接收图像和文本的多模态输入,生成结构化的文本输出。支持多种文档处理功能,包括将文档图像转换为结构化文本、提取图表和表格信息、将数学公式转换为 LaTeX 格式等。
- 优化的数据集与训练策略:SmolDocling-256M-preview 的训练数据集包括科学和非科学文档,文档理解占比达到 41%。训练过程中采用了更高的像素标记率(4096 像素/标记),相比之前的 1820 像素/标记,显著提升了效率。
SmolDocling的项目地址
- HuggingFace模型库:https://huggingface.co/ds4sd/SmolDocling-256M-preview
- arXiv技术论文:https://arxiv.org/pdf/2503.11576
SmolDocling的应用场景
- 文档转换与数字化:SmolDocling-256M-preview 能高效地将图像形式的文档转换为结构化的文本格式,同时保留文档的原始布局和复杂元素(如代码块、数学公式、图表等)。支持多种输出格式,包括 Markdown、HTML 等,适用于文档的数字化处理。
- 科学与非科学文档处理:能处理非科学内容(如商业文档、专利文件等)。识别和提取文档中的关键信息,如公式、图表和表格。
- 快速 OCR 与布局识别:SmolDocling-256M-preview 提供高效的光学字符识别(OCR)功能,能从图像中准确提取文本,保留文档的结构和元素边界框。
- 移动与低资源设备支持:SmolDocling-256M-preview 可以在移动设备或资源受限的环境中运行,例如智能手机或便携式计算机。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
❓ 常见问题解答(FAQ)
SmolDocling适合处理哪些文档?
它适合学术论文、技术报告,也能处理商业文档、专利文件等非科学文档。模型可识别文本、公式、图表、表格和代码块,并保留原始布局结构,适合文档数字化与信息抽取场景。
SmolDocling的速度和资源占用怎么样?
文章给出的实测结果是:在 A100 GPU 上每页处理约 0.35 秒,显存占用不到 500MB。由于参数量仅 256M,它更适合追求高吞吐、低资源消耗的文档处理任务。
SmolDocling能和Docling一起用吗?
可以。SmolDocling 与 Docling 完全兼容,处理结果可导出为多种格式,如 Markdown、HTML 等;同时还支持将图表转换为表格、将公式转换为 LaTeX,便于后续编辑和集成。
🔬 语宙深潜追问 · 进阶实操拆解
轻量文档模型最适合哪些场景?
适合批量扫描、边缘设备、私有化部署和高并发抽取场景,尤其是表格、公式、代码块等结构化信息提取。若追求极复杂版式理解或跨页推理,仍需更大模型或多阶段流水线配合。
如何把文档识别接进业务流程?
先把输入统一成图像或PDF,再输出结构化中间表示,最后映射到JSON、Markdown或数据库字段。上线时要重点监控页级耗时、字段准确率和异常页回退策略,避免单页失败拖垮整批任务。
🗳️ 读者观点微投票 · 您的实战立场是?
256M文档模型,能替代大模型方案吗?
