GOT-OCR2.0是什么
GOT-OCR 2.0是一种先进的光学字符识别（OCR）模型，推动OCR技术进入2.0时代。GOT-OCR 2.0端到端的模型由高压缩编码器和长上下文解码器组成，能处理包括文本、数学公式、分子式、图表、乐谱和几何图形在内的多种光学字符。GOT-OCR 2.0支持多种语言，尤其是中文和英文，能输出多种格式化结果，如Markdown和LaTeX。模型具备交互式OCR功能，包括区域级识别和动态分辨率策略、多页OCR技术，适用于高分辨率图像和批量文档处理。GOT-OCR 2.0具有580M参数，模型尺寸为1.43GB，提供精准、高效的OCR解决方案。
GOT-OCR2.0的主要功能
- 多语言和多模态识别：支持多种语言的文本识别，包括中文和英文，及手写体和印刷体。
- 多样化输入输出：能处理照片、文档、切片等多种输入格式，支持纯文本、Markdown、TikZ、SMILES、Kern等输出格式。
- 长文本处理：解码器支持长达8K的token，适用于处理学术论文、法律文件等长文本资料。
- 交互式OCR功能：通过坐标或颜色引导的区域级识别，提供更灵活的用户体验。
- 动态分辨率策略：适应超高分辨率图像，如大幅海报或拼接PDF页面，保持识别准确性。
- 多页OCR技术：批量处理多页文档，提高长篇PDF文件或多图片文档的处理效率。
GOT-OCR2.0的技术原理
- 编码器-解码器架构：
- 编码器：负责将输入的图像压缩成一系列的图像token，token捕捉图像中的视觉信息。
- 解码器：接收编码器输出的图像token，转换为文本输出。解码器支持长上下文，能处理长文本。
- 高压缩率编码器：编码器将1024×1024像素的图像压缩成256×1024尺寸的图像token，有助于处理高分辨率图像。
- 长上下文解码器：解码器支持长达8K的token序列，能处理包含大量文本的长文档。
- 多阶段训练策略：
- 预训练阶段：编码器在大量文本数据上进行预训练，学习文本的视觉表示。
- 联合训练阶段：编码器与新的解码器一起训练，适应更广泛的OCR任务。
- 后训练阶段：对解码器进行进一步训练，支持细粒度OCR、动态分辨率和多页OCR等高级功能。
GOT-OCR2.0的项目地址
- GitHub仓库：https://github.com/Ucas-HaoranWei/GOT-OCR2.0
- HuggingFace模型库：https://huggingface.co/stepfun-ai/GOT-OCR2_0
- arXiv技术论文：https://arxiv.org/pdf/2409.01704
GOT-OCR2.0的应用场景
- 文档数字化：纸质文档（如书籍、手稿、法律文件、学术论文等）转换为电子格式，便于存储、检索和编辑。
- 场景文本识别：在自然场景中识别和提取文本，如街道标志、广告牌、菜单等。
- 票据处理：自动识别和提取发票、收据、账单上的文本信息，简化财务和会计流程。
- 身份验证和安全：在需要验证个人身份的场景中，如银行业务、机场安检等，识别护照、身份证或驾驶执照上的信息。
- 物流和运输：自动识别包裹上的条形码和地址信息，提高物流分拣和配送的效率。
- 医疗记录管理：识别和数字化医生的手写处方、病历记录和其他医疗文档。
