# 4 个 GPT-4 Vision 的开源替代方案 [译]

- Link: https://paooo.com/ai-study/7168/
- Published: 2024-03-09T12:22:54+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * LLaVA 以视觉编码器+Vicuna 组合实现通用视觉语言理解，适合研究场景。
 * CogAgent 强化 GUI [智能体](https://paooo.com/trends/)能力，支持高分辨率输入、
   任务规划与坐标级操作建议。
 * Qwen-VL 与 BakLLaVA 分别在多语言识别、图像定位和开源可用性上各有优势。

免费开源替代品探索指南：寻找 GPT-4 Vision 的替代方案

阅读目录

 * [1. LLaVa（大型语言和视觉助手）](https://paooo.com/ai-study/7168/#1-llava%e5%a4%a7%e5%9e%8b%e8%af%ad%e8%a8%80%e5%92%8c%e8%a7%86%e8%a7%89%e5%8a%a9%e6%89%8b)
 * [2. CogAgent](https://paooo.com/ai-study/7168/#2-cogagent)
 * [3. Qwen 大型视觉语言模型 (Qwen-VL)](https://paooo.com/ai-study/7168/#3-qwen-%e5%a4%a7%e5%9e%8b%e8%a7%86%e8%a7%89%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b-qwenvl)
 * [4. BakLLaVA](https://paooo.com/ai-study/7168/#4-bakllava)

GPT-4 Vision 凭借其在语言理解和视觉处理方面的卓越能力，已成为该领域的重要参与者。
然而，对于那些追求高性能却又不想花大价钱的人来说，开源解决方案提供了众多选择。

在这份指南中，我们将为您介绍四款开源的 GPT-4 Vision 替代方案，它们不仅易于获取，
还具有很好的适应性。

我们将详细探讨四个开源视觉语言模型：LLaVa（大型语言和视觉助手），CogAgent，Qwen 
大型视觉语言模型（Qwen-VL），以及 BakLLaVA。这些模型各具特色，并有潜力在语言与视觉
处理领域大放异彩。

![4 个 GPT-4 Vision 的开源替代方案 [译]](https://paooo.com/wp-content/uploads/2024/
03/56e30f768540630962cbf133d62837ab38e8093f.webp)

##  1. LLaVa（大型语言和视觉助手）

**LLaVA** 代表了一种创新的、从头到尾训练的大型多模态（multimodal）模型。它融合了
视觉编码器和 Vicuna，旨在实现通用的视觉和语言理解。LLaVa 在模仿多模态 GPT-4 的功能
方面表现出色，并在科学问答（Science QA）方面达到了新的最高精准度。

**LLaVA** 是一款仅限非商业用途的研究预览版产品。使用该产品需遵守 LLaMA 的模型许可、
[OpenAI](https://paooo.com/tag/openai/) 生成数据的使用条款以及 ShareGPT 的隐私政策。
用户在使用本服务时，需同意其为研究预览版，仅限非商业用途。该服务只提供有限的安全
保护，可能产生冒犯性内容。不得将其用于任何非法、有害、暴力、种族主义或性相关目的。
此外，服务可能会收集用户对话数据，用于未来的研究。

以下是一些视觉指令的实例：

 * **视觉推理**

![4 个 GPT-4 Vision 的开源替代方案 [译]](https://paooo.com/wp-content/uploads/2024/
03/e25b6c4edab720ef3114f7109b3752f6ce31c3ec.webp)

![4 个 GPT-4 Vision 的开源替代方案 [译]](https://paooo.com/wp-content/uploads/2024/
03/5f9fdcf199d5694ea9ba240e7861c1690f80a6ad.webp)

 * **光学字符识别（OCR）**

![4 个 GPT-4 Vision 的开源替代方案 [译]](https://paooo.com/wp-content/uploads/2024/
03/adffafd15b7154d1bdce5fc6778dfa47a2c4d80f.webp)

![4 个 GPT-4 Vision 的开源替代方案 [译]](https://paooo.com/wp-content/uploads/2024/
03/9af7d6e82062da7009f3f2bc3292fde632093b6a.webp)

![4 个 GPT-4 Vision 的开源替代方案 [译]](https://paooo.com/wp-content/uploads/2024/
03/3335e9aa582356e1a3050ea0443982d4e47124a0.webp)

##  2. CogAgent

**CogAgent** 是一个基于 CogVLM 进行改进的开源视觉语言模型（Visual Language Model）。
CogAgent-18B 模型包含了 110 亿视觉参数和 70 亿语言参数。

CogAgent-18B 在 9 大经典的跨媒介基准测试中表现卓越，这些测试包括 VQAv2、OK-VQ、TextVQA、
ST-VQA、ChartQA、infoVQA、DocVQA、MM-Vet 和 POPE 等。它在处理像 AITW 和 Mind2Web
这样的图形用户界面（GUI）操作数据集时，性能远超现有模型。

除了 CogVLM 已有的功能，如能进行基于视觉的多轮对话和对视觉内容进行准确定位，CogAgent
还新增了以下特点：

 1. 支持更高分辨率的视觉输入和对话式问题解答，可以处理高达 1120×1120 分辨率的图像。
 2. 具备视觉智能体的能力，可以针对任何图形用户界面截图，提供任务计划、下一步操作指南
    及具体操作的坐标信息。
 3. 加强了针对图形用户界面的问答能力，能够处理关于各种界面截图（如网页、PC 应用、移动
    应用等）的问题。
 4. 通过更高效的预训练和微调，提升了在光学字符识别（OCR）相关任务上的表现。

**图形用户界面智能体示例**

![4 个 GPT-4 Vision 的开源替代方案 [译]](https://paooo.com/wp-content/uploads/2024/
03/01d47acd05102a6caedf5bdd6d054b0cbe234453.webp)

![4 个 GPT-4 Vision 的开源替代方案 [译]](https://paooo.com/wp-content/uploads/2024/
03/01d47acd05102a6caedf5bdd6d054b0cbe234453.webp)

##  3. Qwen 大型视觉语言模型 (Qwen-VL)

**Qwen-VL (Qwen 大型视觉语言模型)** 是阿里巴巴云推出的大型模型系列 Qwen（简称 Tongyi
Qianwen）的多模态版本。Qwen-VL 能够处理图像、文本和边界框这些不同类型的输入，并输出
文本和边界框。Qwen-VL 的主要特点有：

 * 卓越的性能：在包括零样本 (Zero-shot) 图像描述、视觉问答 (VQA)、文档视觉问答 (
   DocVQA) 和图像定位 (Grounding) 等多个英语评估指标上，Qwen-VL 显著优于其他相似
   规模的开源大型视觉语言模型。
 * 支持多语言文本识别的视觉语言模型：Qwen-VL 不仅支持英语和中文，还能处理多种语言
   的对话。特别在图像中的中英双语文本识别方面，实现了端到端的高效处理。
 * 多图交织对话功能：这项功能使得 Qwen-VL 能够处理多张图像的输入和比较，用户可以
   针对这些图像提出相关问题，甚至进行多图像串联的故事叙述。
 * 第一个支持中文图像定位的通用模型：Qwen-VL 能够通过开放领域的语言表达，在中文和
   英文中识别和标记图像中的边界框。
 * 细腻的识别和理解能力：相较于其他开源视觉语言模型目前使用的 224*224 分辨率，Qwen-
   VL 的 448*448 分辨率更有助于精细化的文本识别、文档问答和边界框标注。

![4 个 GPT-4 Vision 的开源替代方案 [译]](https://paooo.com/wp-content/uploads/2024/
03/0bf7056fba1c9bf01c80535802520e46407fe8fa.gif)

##  4. BakLLaVA

**BakLLaVA** 1 是一种新型 AI 模型，它基于原有的 Mistral 7B 模型，并融合了最新的 
LLaVA 1.5 架构技术。在这个初始版本中，开发者们展示了这一模型在多个性能测试中相较
于 Llama 2 13B 模型有更出色的表现。你可以在他们的GitHub 仓库中找到并试用 BakLLaVA-
1。目前，他们正努力更新这一模型，使用户能更容易地对它进行个性化调整和数据分析。

BakLLaVA-1 是完全开放源代码的，但它的训练过程中使用了特定的数据集，包括 LLaVA 的
语料库，这些数据并不适合商业用途。目前，BakLLaVA 2 正在研发中，它将使用一个更大的、
适合商业应用的数据集，并采用一种创新的架构设计，以超越现有的 LLaVA 方法。BakLLaVA-
2 的出现预计将消除 BakLLaVA-1 目前面临的一些使用限制。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**LLaMA ↗**

Meta（Facebook）推出的AI大语言模型。

**LLaMA ↗**

在线AI大模型微调平台，零代码、可视化操作。

❓ 常见问题解答（FAQ）

GPT-4 Vision 有哪些开源替代方案？

文章重点介绍了 4 个开源替代方案：LLaVA、CogAgent、Qwen-VL 和 BakLLaVA。它们都属于
视觉语言模型，但侧重点不同，分别偏向通用多模态理解、GUI 智能体、多语言图像理解与
开源研究应用。

Qwen-VL 和其他开源视觉模型相比强在哪？

Qwen-VL 的优势在于支持图像、文本和边界框输入输出，且在零样本图像描述、VQA、DocVQA
和图像定位等任务上表现突出。它还支持中英双语及多语言文本识别，并具备多图交织对话
能力。

CogAgent 适合做什么场景？

CogAgent 更适合图形用户界面相关任务，例如网页、PC 应用和移动应用截图理解。它能提供
任务计划、下一步操作建议和坐标信息，同时在 OCR 相关任务和多项跨模态基准测试中表现
较强。

🔬 语宙深潜追问 · 进阶实操拆解

四个开源替代该怎么选？

如果重视多语言和图像定位，优先看 Qwen-VL；如果偏 GUI 操作和 OCR，CogAgent 更合适；
LLaVA 生态成熟，BakLLaVA 更适合轻量实验。选型核心是任务匹配，不是只看榜单。

部署开源视觉模型要注意什么？

要先评估显存、推理延迟和输入分辨率成本，再决定是否量化或分层部署。生产环境还要补
上安全过滤、失败回退和人工接管，否则模型一旦看错图，后果会比文本更直接。

🗳️ 读者观点微投票 · 您的实战立场是？

开源视觉模型，能替代 GPT-4V 吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Qwen3-VL：阿里通义最强视觉语言模型发布，4B/8B版开源，全面超越GPT-5 Mini与Claude4 Sonnet](https://paooo.com/aigc-news/13561/)
 * [Qwen2.5-VL – 阿里通义千问开源的视觉语言模型](https://paooo.com/aigc-news/22547/)
 * [智谱开源GLM-4.5V：106B参数视觉推理新标杆，代码复刻、视频理解多场景实测](https://paooo.com/aigc-news/14290/)
 * [LLaVA-o1 – 北大清华联合多所机构推出开源的视觉语言模型](https://paooo.com/aigc-news/25543/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/7168/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
