--- title: "PaliGemma 2 – 谷歌DeepMind推出的全新视觉语言模型" url: "https://paooo.com/aigc-news/25041/" author: "Prompt 语宙研究院" published_at: "2026-07-11T10:18:29+08:00" updated_at: "2026-07-11T10:18:29+08:00" categories: "AIGC 资讯" source: "Prompt 语宙 (https://paooo.com)" ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)" --- # PaliGemma 2 – 谷歌DeepMind推出的全新视觉语言模型 > 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25041/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-11 ## PaliGemma 2是什么 PaliGemma 2是Google DeepMind基于Gemma 2语言模型家族推出的新一代视觉语言模型（VLM），作为PaliGemma模型的升级版。结合SigLIP-So400m视觉编码器和不同规模的Gemma 2模型，支持多种分辨率，基于多阶段训练具备广泛的知识迁移能力。PaliGemma 2在多种学术任务上表现出色，尤其在大型模型和高分辨率配置下性能显著，同时在OCR、音乐乐谱识别和医学图像报告生成等新领域也取得了突破。 ## PaliGemma 2的主要功能 - **多尺度图像处理**：支持不同分辨率（224px², 448px², 896px²）的图像输入，适应各种视觉任务的需求。 - **广泛的迁移学习**：基于微调预训练模型，PaliGemma 2能迁移到30多个不同的学术任务，包括图像描述、视觉问答（VQA）等。 - **多模态任务处理**：结合图像和文本信息，执行如图像字幕生成、视觉推理等多模态任务。 - **OCR相关任务**：包括表格结构识别、分子结构识别、乐谱识别等。 - **长细粒度描述生成**：能生成包含丰富细节的长图像描述。 - **医学图像理解**：在放射线报告生成等医学图像理解任务上表现出色。 ## PaliGemma 2的技术原理 - **模型架构**：PaliGemma 2基于Gemma 2家族的语言模型，结合SigLIP-So400m视觉编码器。视觉编码器将图像转换为嵌入表示，基于线性投影映射到Gemma 2的输入空间。 - **多阶段训练**： **第一阶段**：联合预训练视觉编码器和Gemma 2模型，使用大量多模态任务样本。 - **第二阶段**：在更高分辨率下进一步训练，增加高分辨率受益任务的权重。 - **第三阶段**：针对特定任务进行微调，优化模型性能。 - **自回归采样**：用Gemma 2语言模型自回归地从文本提示中采样预测，生成所需的输出序列。 - **参数优化**：根据不同模型大小调整学习率，优化迁移学习的性能。 - **计算效率**：基于优化LLM中的视图标记控制计算成本。 - **量化和CPU推理**：支持8位开关浮点量化，让模型能在CPU上高效运行。 ## PaliGemma 2的项目地址 - **项目官网**：[paligemma-2](https://developers.googleblog.com/zh-hans/introducing-paligemma-2-powerful-vision-language-models-simple-fine-tuning/?utm_source=ai-bot.cn) - **HuggingFace模型库**：[https://huggingface.co/collections/google/paligemma-2](https://huggingface.co/collections/google/paligemma-2-release-67500e1e1dbfdd4dee27ba48) - **arXiv技术论文**：[https://arxiv.org/pdf/2412.03555](https://arxiv.org/pdf/2412.03555) ## PaliGemma 2的应用场景 - **图像识别与描述**：自动生成图像的详细描述，适用于社交媒体、内容管理和搜索引擎优化。 - **视觉问答（VQA）**：在教育和娱乐应用中，回答用户关于图像内容的问题。 - **光学字符识别（OCR）**：识别图像中的文字，用在文档数字化、历史文献存档和自动数据提取。 - **表格结构识别**：从图像中提取表格结构和内容，用在财务报告分析、科学研究和数据整理。 - **分子结构识别**：在化学和生物医学研究中，识别和重建分子结构。 --- 探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)