PaliGemma 2是什么
PaliGemma 2是Google DeepMind基于Gemma 2语言模型家族推出的新一代视觉语言模型（VLM），作为PaliGemma模型的升级版。结合SigLIP-So400m视觉编码器和不同规模的Gemma 2模型，支持多种分辨率，基于多阶段训练具备广泛的知识迁移能力。PaliGemma 2在多种学术任务上表现出色，尤其在大型模型和高分辨率配置下性能显著，同时在OCR、音乐乐谱识别和医学图像报告生成等新领域也取得了突破。
PaliGemma 2的主要功能
- 多尺度图像处理：支持不同分辨率（224px², 448px², 896px²）的图像输入，适应各种视觉任务的需求。
- 广泛的迁移学习：基于微调预训练模型，PaliGemma 2能迁移到30多个不同的学术任务，包括图像描述、视觉问答（VQA）等。
- 多模态任务处理：结合图像和文本信息，执行如图像字幕生成、视觉推理等多模态任务。
- OCR相关任务：包括表格结构识别、分子结构识别、乐谱识别等。
- 长细粒度描述生成：能生成包含丰富细节的长图像描述。
- 医学图像理解：在放射线报告生成等医学图像理解任务上表现出色。
PaliGemma 2的技术原理
- 模型架构：PaliGemma 2基于Gemma 2家族的语言模型，结合SigLIP-So400m视觉编码器。视觉编码器将图像转换为嵌入表示，基于线性投影映射到Gemma 2的输入空间。
- 多阶段训练：
- 第一阶段：联合预训练视觉编码器和Gemma 2模型，使用大量多模态任务样本。
- 第二阶段：在更高分辨率下进一步训练，增加高分辨率受益任务的权重。
- 第三阶段：针对特定任务进行微调，优化模型性能。
- 自回归采样：用Gemma 2语言模型自回归地从文本提示中采样预测，生成所需的输出序列。
- 参数优化：根据不同模型大小调整学习率，优化迁移学习的性能。
- 计算效率：基于优化LLM中的视图标记控制计算成本。
- 量化和CPU推理：支持8位开关浮点量化，让模型能在CPU上高效运行。
PaliGemma 2的项目地址
- 项目官网：paligemma-2
- HuggingFace模型库：https://huggingface.co/collections/google/paligemma-2
- arXiv技术论文：https://arxiv.org/pdf/2412.03555
PaliGemma 2的应用场景
- 图像识别与描述：自动生成图像的详细描述，适用于社交媒体、内容管理和搜索引擎优化。
- 视觉问答（VQA）：在教育和娱乐应用中，回答用户关于图像内容的问题。
- 光学字符识别（OCR）：识别图像中的文字，用在文档数字化、历史文献存档和自动数据提取。
- 表格结构识别：从图像中提取表格结构和内容，用在财务报告分析、科学研究和数据整理。
- 分子结构识别：在化学和生物医学研究中，识别和重建分子结构。
