# PaliGemma 2 – 谷歌DeepMind推出的全新视觉语言模型

- Link: https://paooo.com/aigc-news/25041/
- Published: 2026-07-11T10:18:29+08:00
- Author: Prompt 语宙研究院

## PaliGemma 2是什么

PaliGemma 2是Google DeepMind基于Gemma 2语言模型家族推出的新一代视觉语言模型（VLM），
作为PaliGemma模型的升级版。结合SigLIP-So400m视觉编码器和不同规模的Gemma 2模型，支持
多种分辨率，基于多阶段训练具备广泛的知识迁移能力。PaliGemma 2在多种学术任务上表现
出色，尤其在大型模型和高分辨率配置下性能显著，同时在OCR、音乐乐谱识别和医学图像报告
生成等新领域也取得了突破。

阅读目录

 * [PaliGemma 2是什么](https://paooo.com/aigc-news/25041/#paligemma-2%e6%98%af%e4%bb%80%e4%b9%88)
 * [PaliGemma 2的主要功能](https://paooo.com/aigc-news/25041/#paligemma-2%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [PaliGemma 2的技术原理](https://paooo.com/aigc-news/25041/#paligemma-2%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [PaliGemma 2的项目地址](https://paooo.com/aigc-news/25041/#paligemma-2%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [PaliGemma 2的应用场景](https://paooo.com/aigc-news/25041/#paligemma-2%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![PaliGemma 2 – 谷歌DeepMind推出的全新视觉语言模型 - 配图](https://paooo.com/wp-
content/uploads/2026/07/PaliGemma-2-website1-1-1.avif)

## PaliGemma 2的主要功能

 * **多尺度图像处理**：支持不同分辨率（224px², 448px², 896px²）的图像输入，适应各种
   视觉任务的需求。
 * **广泛的迁移学习**：基于微调预训练模型，PaliGemma 2能迁移到30多个不同的学术任务，
   包括图像描述、视觉问答（VQA）等。
 * **多模态任务处理**：结合图像和文本信息，执行如图像字幕生成、视觉推理等多模态任务。
 * **OCR相关任务**：包括表格结构识别、分子结构识别、乐谱识别等。
 * **长细粒度描述生成**：能生成包含丰富细节的长图像描述。
 * **医学图像理解**：在放射线报告生成等医学图像理解任务上表现出色。

## PaliGemma 2的技术原理

 * **模型架构**：PaliGemma 2基于Gemma 2家族的语言模型，结合SigLIP-So400m视觉编码
   器。视觉编码器将图像转换为嵌入表示，基于线性投影映射到Gemma 2的输入空间。
 * **多阶段训练**：
    - **第一阶段**：联合预训练视觉编码器和Gemma 2模型，使用大量多模态任务样本。
    - **第二阶段**：在更高分辨率下进一步训练，增加高分辨率受益任务的权重。
    - **第三阶段**：针对特定任务进行微调，优化模型性能。
 * **自回归采样**：用Gemma 2语言模型自回归地从文本提示中采样预测，生成所需的输出
   序列。
 * **参数优化**：根据不同模型大小调整学习率，优化迁移学习的性能。
 * **计算效率**：基于优化LLM中的视图标记控制计算成本。
 * **量化和CPU推理**：支持8位开关浮点量化，让模型能在CPU上高效运行。

## PaliGemma 2的项目地址

 * **项目官网**：[paligemma-2](https://developers.googleblog.com/zh-hans/introducing-paligemma-2-powerful-vision-language-models-simple-fine-tuning/?utm_source=ai-bot.cn)
 * **HuggingFace模型库**：[https://huggingface.co/collections/google/paligemma-2](https://huggingface.co/collections/google/paligemma-2-release-67500e1e1dbfdd4dee27ba48)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.03555](https://arxiv.org/pdf/2412.03555)

## PaliGemma 2的应用场景

 * **图像识别与描述**：自动生成图像的详细描述，适用于社交媒体、内容管理和搜索引擎
   优化。
 * **视觉问答（VQA）**：在教育和娱乐应用中，回答用户关于图像内容的问题。
 * **光学字符识别（OCR）**：识别图像中的文字，用在文档数字化、历史文献存档和自动
   数据提取。
 * **表格结构识别**：从图像中提取表格结构和内容，用在财务报告分析、科学研究和数据
   整理。
 * **分子结构识别**：在化学和生物医学研究中，识别和重建分子结构。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25041/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)