Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DeepEyes多模态模型:小红书&西安交大联手,90.1%准确率实现AI’用图思考’,超越OpenAI o3
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DeepEyes多模态模型:小红书&西安交大联手,90.1%准确率实现AI'用图思考',超越OpenAI o3
Prompt 语宙 > AI 工具 > DeepEyes多模态模型:小红书&西安交大联手,90.1%准确率实现AI’用图思考’,超越OpenAI o3
AI 工具AIGC 资讯

DeepEyes多模态模型:小红书&西安交大联手,90.1%准确率实现AI’用图思考’,超越OpenAI o3

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:27
AIGC 多模态大模型 小红书 深度思考 视觉推理
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • DeepEyes用端到端强化学习实现“用图思考”,无需监督微调即可学会动态调用裁剪、缩放工具。
  • 在V* Bench上取得90.1%准确率,核心优势是高分辨率细节搜索更强、视觉幻觉更少。
  • 它更适合医疗影像、智能交通、安防和工业检测等需要主动定位细节的多模态场景。

💡 站外导读:当多模态大模型还在追求’看懂’图片时,业界已开始探索更深度的’用图思考’。小红书与西安交通大学联合发布的DeepEyes模型,标志着视觉智能从被动识别向主动探索的范式转变。在自动驾驶需要识别远处路标、医生需要分析细微病灶的今天,静态看图已无法满足需求。DeepEyes通过创新的强化学习框架,让AI像人一样在推理中主动裁剪、放大关键区域,从而在复杂场景中实现高达90.1%的视觉推理准确率,为多模态AI的落地应用开辟了全新路径。

DeepEyes是什么

DeepEyes 是小红书团队和西安交通大学联合推出的多模态深度思考模型。基于端到端强化学习,实现类似 OpenAI o3 的“用图思考”能力,无需依赖监督微调(SFT)。DeepEyes 在推理过程中动态调用图像工具,如裁剪和缩放,增强对细节的感知与理解。模型在视觉推理基准测试 V* Bench 上准确率高达 90.1%,展现出强大的视觉搜索和多模态推理能力。DeepEyes 具备出色的图像定位能力,能有效减少幻觉现象,提升模型的可靠性和泛化能力。

阅读目录
  • DeepEyes是什么
  • DeepEyes的主要功能
  • DeepEyes的技术原理
  • DeepEyes的项目地址
  • DeepEyes的应用场景
      • 📝 站长洞察 (Editor’s Insight)

DeepEyes

DeepEyes的主要功能

  • 用图思考:直接将图像融入推理过程,不仅“看图”,还能“用图思考”,在推理过程中动态调用图像信息,增强对细节的感知与理解。
  • 视觉搜索:在高分辨率图像中快速定位小物体或模糊区域,基于裁剪和缩放工具进行详细分析,显著提升搜索准确率。
  • 幻觉缓解:基于聚焦图像细节,减少模型在生成回答时可能出现的幻觉现象,提升回答的准确性和可靠性。
  • 多模态推理:在视觉和文本推理之间实现无缝融合,提升模型在复杂任务中的推理能力。
  • 动态工具调用:模型能自主决定何时调用图像工具,如裁剪、缩放等,无需外部工具支持,实现更高效、更准确的推理。

DeepEyes的技术原理

  • 端到端强化学习:DeepEyes 用端到端强化学习(RL)训练模型,无需冷启动监督微调(SFT)。基于奖励信号直接优化模型的行为,自主学习如何在推理过程中有效利用图像信息。奖励函数包括准确率奖励、格式奖励和条件工具奖励,确保模型在正确回答问题的同时,高效地使用图像工具。
  • 交错多模态思维链(iMCoT):DeepEyes 引入交错多模态思维链(Interleaved Multimodal Chain-of-Thought, iMCoT),支持模型在推理过程中动态地交替使用视觉和文本信息。模型在每一步推理中决定是否需要进一步的视觉信息,基于生成边界框坐标裁剪图像中的关键区域,将区域重新输入模型,作为新的视觉证据。
  • 工具使用导向的数据选择:为更好地激励模型的工具使用行为,基于工具使用导向的数据选择机制。训练数据经过精心筛选,确保样本有效促进模型的工具调用能力。数据集包括高分辨率图像、图表数据和推理数据,覆盖多种任务类型,提升模型的泛化能力。
  • 动态工具调用行为:在训练过程中,模型的工具调用行为经历三个阶段:初始探索、积极使用和高效利用。模型从最初的随机尝试逐渐发展到高效、准确地调用工具,最终实现与人类类似的视觉推理过程。
  • 多模态融合:DeepEyes 基于将视觉和文本信息深度融合,构建一个统一的推理框架。融合提升了模型在视觉任务中的表现,增强了在多模态任务中的整体性能。

DeepEyes的项目地址

  • 项目官网:https://visual-agent.github.io/
  • GitHub仓库:https://github.com/Visual-Agent/DeepEyes
  • HuggingFace模型库:https://huggingface.co/ChenShawn/DeepEyes
  • arXiv技术论文:https://arxiv.org/pdf/2505.14362

DeepEyes的应用场景

  • 教育辅导:解析试卷中的图表和几何图形,为学生提供详细的解题步骤,提升学习效率。
  • 医疗影像:分析医学影像,辅助医生进行诊断,提高诊断的准确性和效率。
  • 智能交通:实时分析路况图像,辅助自动驾驶系统做出更准确的决策,提升交通安全。
  • 安防监控:分析监控视频,识别异常行为,增强公共安全和犯罪预防能力。
  • 工业制造:在生产线上进行质量检测和设备故障预测,提高生产效率并降低维护成本。

📝 站长洞察 (Editor’s Insight)

DeepEyes的发布绝非仅是又一个模型上线,它揭示了多模态大模型进化的关键方向:从静态感知到动态交互式推理。其核心价值在于,它绕过了成本高昂的监督微调,直接通过强化学习训练出模型的’工具使用’能力,这很像教会一个孩子如何聪明地使用放大镜观察世界。在行业层面,这解决了高分辨率图像细节丢失和模型幻觉两大痛点。结合当前Agent智能体热潮,DeepEyes让视觉模型具备了自主规划工具链的能力,是通往更通用视觉智能体(Visual Agent)的重要一步。它预示着未来AI应用将更少依赖预设流程,而是能根据任务需求,像人类专家一样动态获取和处理信息,其在医疗、工业检测等精密视觉任务中的潜力值得高度关注。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
小红书 ↗
小红书(Xiaohongshu)是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户生成内容(UGC)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
DeepEyes是什么模型?

DeepEyes是小红书团队与西安交通大学联合推出的多模态深度思考模型,核心能力是让模型在推理过程中主动调用裁剪、缩放等图像工具,实现“用图思考”而不只是被动看图。

DeepEyes为什么能提升视觉推理准确率?

它通过端到端强化学习直接优化工具使用行为,并结合交错多模态思维链,让模型在需要时主动获取局部视觉证据,因此更擅长定位细节、减少幻觉,V* Bench准确率达到90.1%。

DeepEyes适合哪些实际应用场景?

DeepEyes适合需要高精度视觉分析的任务,如医疗影像、自动驾驶、安防监控、工业质检和教育辅导。它尤其适合高分辨率图像中寻找小目标、模糊区域或关键细节的场景。

🔬 语宙深潜追问 · 进阶实操拆解
动态裁剪放大怎么避免漏信息?

要把裁剪策略和任务目标绑定,先粗定位再细放大,并保留全局上下文做校验。工程上可用多阶段视觉编码、置信度阈值和回退机制,避免只盯局部导致关键线索丢失。

医疗场景怎么验证低幻觉?

必须用高质量标注集、分层难例和专家复核来评估,不只看准确率。还要测不确定性输出、错误定位能力和跨设备泛化,确保模型在高风险场景里能“拒答”而不是硬猜。

🗳️ 读者观点微投票 · 您的实战立场是?
多模态模型该先看图还是先推理?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
⚡ 所属权威专题:OpenAI GPT 与 Sora 生态 →
  • DeepEyesV2:小红书开源多模态智能体,引爆AI工具调用与复杂推理新范式
  • 微软重磅开源Phi-4-reasoning-vision-15B:150亿参数多模态推理模型,速度超同类10倍,定义AI推理新范式
  • 美团联合上交大发布OneCAT:纯解码器多模态大模型,开启AI视觉生成与理解新范式
  • Insight-V – 提升长链视觉推理能力的多模态模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
阿里巴巴宣布大模型组织架构升级,成立Token Foundry事业部并设立AI未来研究院
08-02 AIGC 早报
MarDini – Meta联合KAUST推出的视频生成扩散模型
OpenAI承认GPT-5.6Codex存在误删文件问题,建议用户关闭高权限模式
Willow 量子芯片 – 谷歌推出的最强量子芯片,成功解决30年纠错难题
TAGGED:AIGC多模态大模型小红书深度思考视觉推理
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 银河通用发布TrackVLA:纯视觉端到端导航大模型,无需建图实现机器人自主智能导航与跟踪 银河通用发布TrackVLA:纯视觉端到端导航大模型,无需建图实现机器人自主智能导航与跟踪
下一篇 云从科技「从容大模型」多模态AI重磅发布:权威评测登顶,超越谷歌OpenAI,赋能金融医疗等多领域 云从科技「从容大模型」多模态AI重磅发布:权威评测登顶,超越谷歌OpenAI,赋能金融医疗等多领域
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

算力基建如高楼暴涨却回报受阻:光流通向断裂的应用桥,中心智能组织网络维系闭环,隐喻AI泡沫风险。
AIGC 资讯

算力翻倍但回报率不及预期!李彦宏2026 APEC峰会直指AI泡沫风险:为何应用之上必须补齐“智能组织”?

Prompt 语宙研究院
AI泡沫 APEC峰会 智能组织 李彦宏 百度
Being-M0 – 北大联合人民大学推出的人形机器人通用动作生成模型
AIGC 资讯

Being-M0 – 北大联合人民大学推出的人形机器人通用动作生成模型

Prompt 语宙研究院
3D与空间智能 AI智能体 开源大模型
Pyramid-Flow – 北大、快手、北邮联合开源的AI视频生成模型
AIGC 资讯

Pyramid-Flow – 北大、快手、北邮联合开源的AI视频生成模型

Prompt 语宙研究院
AI视频生成 HuggingFace 开源大模型
告别海量示教数据与黑盒端到端陷阱!UC Berkeley联合NVIDIA重磅提出“智能体机器人 (Agentic Robotics)”:代码闭环对抗仿真、产线重构从8小时压至2分钟全景深度拆解
AIGC 资讯

告别海量示教数据与黑盒端到端陷阱!UC Berkeley联合NVIDIA重磅提出“智能体机器人 (Agentic Robotics)”:代码闭环对抗仿真、产线重构从8小时压至2分钟全景深度拆解

Prompt 语宙研究院
UC Berkeley 仿真环境 具身智能 智能体机器人 英伟达
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.