# CogVLM2 – 智谱AI推出的新一代多模态大模型 - Link: https://paooo.com/aigc-news/27884/ - Published: 2026-07-09T22:01:44+08:00 - Author: Prompt 语宙研究院 ## CogVLM2是什么 CogVLM2是由智谱AI推出的新一代多模态[大模型](https://paooo.com/ai-study/)，在视觉 和语言理解方面实现了显著的性能提升，支持高达8K的文本长度和1344*1344分辨率的图像输入， 具备强大的文档图像理解能力。该模型采用50亿参数的视觉编码器与70亿参数的视觉专家模 块，通过深度融合策略，优化了视觉与语言模态的交互，确保了在增强视觉理解的同时，语言 处理能力也得到保持。CogVLM2的开源版本支持中英文双语，模型大小为19亿参数，但实际推理 时激活的参数量约为120亿，展现了在多模态任务中的高效性能。 阅读目录 * [CogVLM2是什么](https://paooo.com/aigc-news/27884/#cogvlm2%e6%98%af%e4%bb%80%e4%b9%88) * [CogVLM2的改进点](https://paooo.com/aigc-news/27884/#cogvlm2%e7%9a%84%e6%94%b9%e8%bf%9b%e7%82%b9) * [CogVLM2的模型信息](https://paooo.com/aigc-news/27884/#cogvlm2%e7%9a%84%e6%a8%a1%e5%9e%8b%e4%bf%a1%e6%81%af) * [CogVLM2的模型架构](https://paooo.com/aigc-news/27884/#cogvlm2%e7%9a%84%e6%a8%a1%e5%9e%8b%e6%9e%b6%e6%9e%84) * [CogVLM2的模型性能](https://paooo.com/aigc-news/27884/#cogvlm2%e7%9a%84%e6%a8%a1%e5%9e%8b%e6%80%a7%e8%83%bd) ![CogVLM2](https://paooo.com/wp-content/uploads/2026/07/cogvlm2-model-1.avif) ## CogVLM2的改进点 CogVLM2模型相比前代的改进点主要包括以下几个方面： * **性能提升**：在OCRbench和TextVQA等多个关键基准测试上，CogVLM2的性能有了显著提升， 例如在OCRbench上性能提升了32%，在TextVQA上性能提升了21.9%。 * **文档图像理解**：CogVLM2增强了对文档图像的理解和问答能力，特别是在DocVQA基准 测试中表现出色。 * **支持高分辨率图像**：模型支持高达1344*1344像素的图像分辨率，能够处理更高清晰度 的图像。 * **支持长文本**：CogVLM2支持长达8K的文本输入，这使得模型能够处理更长的文档和更 复杂的语言任务。 * **双语支持**：CogVLM2提供了支持中英文双语的开源模型版本，增强了模型的多语言能力。 ## CogVLM2的模型信息 CogVLM2开源了两款以Meta-Llama-3-8B-Instruct为语言基座模型的CogVLM2，分别是cogvlm2- llama3-chat-19B和cogvlm2-llama3-chinese-chat-19B，感兴趣的用户可以前往GitHub、Hugging Face或魔搭社区进行下载或在线体验。 | 模型名称 | cogvlm2-llama3-chat-19B | cogvlm2-llama3-chinese-chat-19B | | 基座模型 | Meta-Llama-3-8B-Instruct | Meta-Llama-3-8B-Instruct | | 语言 | 英文 | 中文、英文 | | 模型大小 | 19B | 19B | | 任务 | 图像理解，对话模型 | 图像理解，对话模型 | | 模型链接 | [🤗 Huggingface](https://huggingface.co/THUDM/cogvlm2-llama3-chat-19B) [🤖 ModelScope](https://modelscope.cn/models/ZhipuAI/cogvlm2-llama3-chat-19B/) [💫 始智AI](https://wisemodel.cn/models/ZhipuAI/cogvlm2-llama3-chat-19B/) [🐙GitHub](https://github.com/THUDM/CogVLM2) | [🤗 Huggingface](https://huggingface.co/THUDM/cogvlm2-llama3-chinese-chat-19B) [🤖 ModelScope](https://modelscope.cn/models/ZhipuAI/cogvlm2-llama3-chinese-chat-19B/) [💫 始智AI](https://wisemodel.cn/models/ZhipuAI/cogvlm2-llama3-chinese-chat-19B/) | | 体验链接 | [📙 官方页面](https://36.103.203.44:7861/) | [📙 官方页面](https://36.103.203.44:7861/) [🤖 ModelScope](https://modelscope.cn/studios/ZhipuAI/Cogvlm2-llama3-chinese-chat-Demo/summary) | | Int4模型 | 暂未推出 | 暂未推出 | | 文本长度 | 8K | 8K | | 图片分辨率 | 1344 * 1344 | 1344 * 1344 | ## CogVLM2的模型架构 CogVLM2的模型架构在继承上一代模型的基础上进行了优化和创新，具体特点如下： 1. **视觉编码器**：CogVLM2采用了一个拥有50亿参数的视觉编码器，负责对输入图像进行特征 提取和编码。 2. **视觉专家模块**：在大语言模型中整合了一个70亿参数的视觉专家模块，这一模块通过独特 的参数设置，精细地建模了视觉与语言序列的交互。 3. **深度融合策略**：CogVLM2采用了深度融合策略，使得视觉模态与语言模态能够更加紧密 地结合，从而增强了模型在视觉理解能力的同时，保持了在语言处理上的优势。 4. **MLP Adapter**：模型中使用了MLP（多层感知器）Adapter，用于调整和适配不同模态之间 的特征。 5. **降采样模块**：为了更好地处理和理解高分辨率的文档或网页图片，CogVLM2在视觉编码 器后引入了一个专门的降采样模块，有效提取关键信息，减少输入到语言模型中的序列长度。 6. **Word Embedding**：模型包含了Word Embedding层，用于将文本转换为模型可以理解的数值 型向量。 7. **多专家模块结构**：CogVLM2设计了多专家模块结构，使得在进行推理时，实际激活的参数 量仅约120亿，这种设计既保证了模型的性能，又提高了推理效率。 8. **语言基座模型**：CogVLM2使用了Meta-Llama-3-8B-Instruct作为语言基座模型，为模型 提供了强大的语言理解和生成能力。 ![CogVLM2的架构](https://paooo.com/wp-content/uploads/2026/07/cogvlm2-architecture. avif) ## CogVLM2的模型性能 CogVLM2的团队在一系列多模态基准上进行了定量评估，这些基准包括 TextVQA、DocVQA、ChartQA、 OCRbench、MMMU、MMVet、MMBench等。从下表可以看出CogVLM2 的两个模型，尽管具有较小 的模型尺寸，但在多个基准中取得 SOTA性能；而在其他性能上，也能达到与闭源模型（例如 GPT-4V、Gemini Pro等）接近的水平。 ⌊CogVLM2的基准测试得分⌉ | 模型 | 是否开源 | 模型规模 | TextVQA | DocVQA | ChartQA | OCRbench | MMMU | MMVet | MMBench | | LLaVA-1.5 | ✅ | 13B | 61.3 | – | – | 337 | 37.0 | 35.4 | 67.7 | | Mini-Gemini | ✅ | 34B | 74.1 | – | – | – | 48.0 | 59.3 | 80.6 | | LLaVA-NeXT-LLaMA3 | ✅ | 8B | – | 78.2 | 69.5 | – | 41.7 | – | 72.1 | | LLaVA-NeXT-110B | ✅ | 110B | – | 85.7 | 79.7 | – | 49.1 | – | 80.5 | | InternVL-1.5 | ✅ | 20B | 80.6 | 90.9 | **83.8** | 720 | 46.8 | 55.4 | **82.3** | | QwenVL-Plus | ❌ | – | 78.9 | 91.4 | 78.1 | 726 | 51.4 | 55.7 | 67.0 | | Claude3-Opus | ❌ | – | – | 89.3 | 80.8 | 694 | **59.4** | 51.7 | 63.3 | | Gemini Pro 1.5 | ❌ | – | 73.5 | 86.5 | 81.3 | – | 58.5 | – | – | | GPT-4V | ❌ | – | 78.0 | 88.4 | 78.5 | 656 | 56.8 | **67.7** | 75.0 | | CogVLM1.1 (Ours) | ✅ | 7B | 69.7 | – | 68.3 | 590 | 37.3 | 52.0 | 65.8 | | CogVLM2-LLaMA3 (Ours) | ✅ | 8B | 84.2 | **92.3** | 81.0 | 756 | 44.3 | 60.4 | 80.5 | | CogVLM2-LLaMA3-Chinese (Ours) | ✅ | 8B | **85.0** | 88.4 | 74.7 | **780** | 42.8 | 60.5 | 78.9 | [🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（ paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示 词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发 者与创作者提供一手、可复现的深度技术洞察。 [📄 Markdown 纯净版](https://paooo.com/aigc-news/27884/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)