# DeepEyes多模态模型：小红书&西安交大联手，90.1%准确率实现AI’用图思考’，超越OpenAI o3

- Link: https://paooo.com/aigc-news/15027/
- Published: 2026-06-29T15:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * DeepEyes用端到端强化学习实现“用图思考”，无需监督微调即可学会动态调用裁剪、缩放
   工具。
 * 在V* Bench上取得90.1%准确率，核心优势是高分辨率细节搜索更强、视觉幻觉更少。
 * 它更适合医疗影像、智能交通、安防和工业检测等需要主动定位细节的多模态场景。

> **💡 站外导读：**当多模态大模型还在追求’看懂’图片时，业界已开始探索更深度的’用
> 图思考’。小红书与西安交通大学联合发布的DeepEyes模型，标志着视觉智能从被动识别向
> 主动探索的范式转变。在自动驾驶需要识别远处路标、医生需要分析细微病灶的今天，静态
> 看图已无法满足需求。DeepEyes通过创新的强化学习框架，让AI像人一样在推理中主动裁剪、
> 放大关键区域，从而在复杂场景中实现高达90.1%的视觉推理准确率，为多模态AI的落地应用
> 开辟了全新路径。

## DeepEyes是什么

DeepEyes 是小红书团队和西安交通大学联合推出的多模态深度思考模型。基于端到端强化学习，
实现类似 [OpenAI o3](https://ai-bot.cn/openai-o3/) 的“用图思考”能力，无需依赖监督
微调（SFT）。DeepEyes 在推理过程中动态调用图像工具，如裁剪和缩放，增强对细节的感知
与理解。模型在视觉推理基准测试 V* Bench 上准确率高达 90.1%，展现出强大的视觉搜索
和多模态推理能力。DeepEyes 具备出色的图像定位能力，能有效减少幻觉现象，提升模型的
可靠性和泛化能力。

阅读目录

 * [DeepEyes是什么](https://paooo.com/aigc-news/15027/#deepeyes%e6%98%af%e4%bb%80%e4%b9%88)
 * [DeepEyes的主要功能](https://paooo.com/aigc-news/15027/#deepeyes%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DeepEyes的技术原理](https://paooo.com/aigc-news/15027/#deepeyes%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DeepEyes的项目地址](https://paooo.com/aigc-news/15027/#deepeyes%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DeepEyes的应用场景](https://paooo.com/aigc-news/15027/#deepeyes%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/15027/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![DeepEyes](https://paooo.com/wp-content/uploads/2026/05/DeepEyes-website-1.avif)

## DeepEyes的主要功能

 * **用图思考**：直接将图像融入推理过程，不仅“看图”，还能“用图思考”，在推理过程中
   动态调用图像信息，增强对细节的感知与理解。
 * **视觉搜索**：在高分辨率图像中快速定位小物体或模糊区域，基于裁剪和缩放工具进行
   详细分析，显著提升搜索准确率。
 * **幻觉缓解**：基于聚焦图像细节，减少模型在生成回答时可能出现的幻觉现象，提升回答
   的准确性和可靠性。
 * **多模态推理**：在视觉和文本推理之间实现无缝融合，提升模型在复杂任务中的推理能力。
 * **动态工具调用**：模型能自主决定何时调用图像工具，如裁剪、缩放等，无需外部工具
   支持，实现更高效、更准确的推理。

## DeepEyes的技术原理

 * **端到端强化学习**：DeepEyes 用端到端强化学习（RL）训练模型，无需冷启动监督微调（
   SFT）。基于奖励信号直接优化模型的行为，自主学习如何在推理过程中有效利用图像信息。
   奖励函数包括准确率奖励、格式奖励和条件工具奖励，确保模型在正确回答问题的同时，
   高效地使用图像工具。
 * **交错多模态思维链（iMCoT）**：DeepEyes 引入交错多模态思维链（Interleaved Multimodal
   Chain-of-Thought, iMCoT），支持模型在推理过程中动态地交替使用视觉和文本信息。
   模型在每一步推理中决定是否需要进一步的视觉信息，基于生成边界框坐标裁剪图像中的
   关键区域，将区域重新输入模型，作为新的视觉证据。
 * **工具使用导向的数据选择**：为更好地激励模型的工具使用行为，基于工具使用导向的
   数据选择机制。训练数据经过精心筛选，确保样本有效促进模型的工具调用能力。数据集
   包括高分辨率图像、图表数据和推理数据，覆盖多种任务类型，提升模型的泛化能力。
 * **动态工具调用行为**：在训练过程中，模型的工具调用行为经历三个阶段：初始探索、
   积极使用和高效利用。模型从最初的随机尝试逐渐发展到高效、准确地调用工具，最终实现
   与人类类似的视觉推理过程。
 * **多模态融合**：DeepEyes 基于将视觉和文本信息深度融合，构建一个统一的推理框架。
   融合提升了模型在视觉任务中的表现，增强了在多模态任务中的整体性能。

## DeepEyes的项目地址

 * **项目官网**：[https://visual-agent.github.io/](https://visual-agent.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/Visual-Agent/DeepEyes](https://github.com/Visual-Agent/DeepEyes)
 * **HuggingFace模型库**：[https://huggingface.co/ChenShawn/DeepEyes](https://huggingface.co/ChenShawn/DeepEyes-7B)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2505.14362](https://arxiv.org/pdf/2505.14362)

## DeepEyes的应用场景

 * **教育辅导**：解析试卷中的图表和几何图形，为学生提供详细的解题步骤，提升学习效率。
 * **医疗影像**：分析医学影像，辅助医生进行诊断，提高诊断的准确性和效率。
 * **智能交通**：实时分析路况图像，辅助自动驾驶系统做出更准确的决策，提升交通安全。
 * **安防监控**：分析监控视频，识别异常行为，增强公共安全和犯罪预防能力。
 * **工业制造**：在生产线上进行质量检测和设备故障预测，提高生产效率并降低维护成本。

#### 📝 站长洞察 (Editor’s Insight)

DeepEyes的发布绝非仅是又一个模型上线，它揭示了多模态[大模型](https://paooo.com/ai-study/)
进化的关键方向：从静态感知到动态交互式推理。其核心价值在于，它绕过了成本高昂的监督
微调，直接通过强化学习训练出模型的’工具使用’能力，这很像教会一个孩子如何聪明地使用
放大镜观察世界。在行业层面，这解决了高分辨率图像细节丢失和模型幻觉两大痛点。结合
当前Agent智能体热潮，DeepEyes让视觉模型具备了自主规划工具链的能力，是通往更通用视觉
智能体（Visual Agent）的重要一步。它预示着未来AI应用将更少依赖预设流程，而是能根据
任务需求，像人类专家一样动态获取和处理信息，其在医疗、工业检测等精密视觉任务中的
潜力值得高度关注。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**小红书 ↗**

小红书（Xiaohongshu）是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户
生成内容（UGC）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

DeepEyes是什么模型？

DeepEyes是小红书团队与西安交通大学联合推出的多模态深度思考模型，核心能力是让模型
在推理过程中主动调用裁剪、缩放等图像工具，实现“用图思考”而不只是被动看图。

DeepEyes为什么能提升视觉推理准确率？

它通过端到端强化学习直接优化工具使用行为，并结合交错多模态思维链，让模型在需要时
主动获取局部视觉证据，因此更擅长定位细节、减少幻觉，V* Bench准确率达到90.1%。

DeepEyes适合哪些实际应用场景？

DeepEyes适合需要高精度视觉分析的任务，如医疗影像、自动驾驶、安防监控、工业质检和
教育辅导。它尤其适合高分辨率图像中寻找小目标、模糊区域或关键细节的场景。

🔬 语宙深潜追问 · 进阶实操拆解

动态裁剪放大怎么避免漏信息？

要把裁剪策略和任务目标绑定，先粗定位再细放大，并保留全局上下文做校验。工程上可用
多阶段视觉编码、置信度阈值和回退机制，避免只盯局部导致关键线索丢失。

医疗场景怎么验证低幻觉？

必须用高质量标注集、分层难例和专家复核来评估，不只看准确率。还要测不确定性输出、
错误定位能力和跨设备泛化，确保模型在高风险场景里能“拒答”而不是硬猜。

🗳️ 读者观点微投票 · 您的实战立场是？

多模态模型该先看图还是先推理？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [DeepEyesV2：小红书开源多模态智能体，引爆AI工具调用与复杂推理新范式](https://paooo.com/aigc-news/13026/)
 * [微软重磅开源Phi-4-reasoning-vision-15B：150亿参数多模态推理模型，速度超同类10倍，定义AI推理新范式](https://paooo.com/aigc-news/11335/)
 * [美团联合上交大发布OneCAT：纯解码器多模态大模型，开启AI视觉生成与理解新范式](https://paooo.com/aigc-news/13844/)
 * [Insight-V – 提升长链视觉推理能力的多模态模型](https://paooo.com/aigc-news/24880/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/15027/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
