Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 小红书×剑桥大学重磅发布HyperEyes:并行多模态搜索智能体,效率飙升5.3倍,准确率提升9.9%
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
小红书×剑桥大学重磅发布HyperEyes:并行多模态搜索智能体,效率飙升5.3倍,准确率提升9.9%
Prompt 语宙 > AI 工具 > 小红书×剑桥大学重磅发布HyperEyes:并行多模态搜索智能体,效率飙升5.3倍,准确率提升9.9%
AI 工具AIGC 资讯

小红书×剑桥大学重磅发布HyperEyes:并行多模态搜索智能体,效率飙升5.3倍,准确率提升9.9%

Prompt 语宙研究院
最近更新: 2026年5月21日 下午1:27
多模态搜索 大模型 小红书 智能体 视觉定位
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • HyperEyes通过UGS重构动作空间,把视觉定位与检索合并为单轮并发搜索,解决传统串行裁剪-搜索低效问题。
  • 30B版本在6个基准上准确率较最强开源同规模模型提升9.9%,平均工具调用轮次仅2.2次,效率提升5.3倍。
  • TRACE+OPD双粒度强化学习与CAS评分共同优化准确率、Token消耗和工具轮次,形成效率与效果的帕累托最优。

💡 站外导读:在AIGC与多模态技术爆发的时代,传统AI搜索智能体仍深陷“串行裁剪-搜索”的效率泥潭。每处理一个实体,都要重复一次裁剪、定位、检索的流程,导致工具调用轮次多、错误级联风险高,难以应对复杂场景下的实时需求。小红书与剑桥大学联合研发的HyperEyes智能体,直击这一行业痛点,通过重构动作空间,将视觉定位与检索融合为单一原子动作,实现单轮多实体并发搜索,从根本上重塑了效率与准确率的平衡。

HyperEyes是什么

HyperEyes是小红书与剑桥大学联合推出的并行多模态搜索智能体,首创 UGS 范式,将视觉定位与检索融合为单一原子动作,实现单轮多实体并发搜索。HyperEyes采用双粒度效率感知强化学习框架,在6个基准测试中,30B版本准确率超越最强开源同规模模型9.9%,工具调用轮次减少5.3倍,实现准确率与效率的帕累托最优。

阅读目录
  • HyperEyes是什么
  • HyperEyes的主要功能
  • HyperEyes的技术原理
  • 如何使用HyperEyes
  • HyperEyes的核心优势
  • HyperEyes的项目地址
  • HyperEyes的同类竞品对比
  • HyperEyes的应用场景
      • 📝 站长洞察 (Editor’s Insight)

HyperEyes

HyperEyes的主要功能

  • 并行多模态搜索:单轮内并发定位并检索图片中的多个实体,替代传统串行裁剪-搜索流程。
  • 统一有依据搜索:将视觉定位框直接嵌入检索动作参数,一次函数调用携带多个目标框。
  • 渐进式拒绝采样:在递增轮次预算下提纯高效轨迹,构建3万条零冗余并行种子数据。
  • 双粒度效率感知RL:TRACE动态收紧轨迹级效率标尺,OPD在失败轨迹上注入Token级纠正信号。
  • IMEB基准评估:发布300实例多实体视觉评测集,配套CAS评分联合量化准确率与搜索效率。
  • 多工具协同:集成图像搜索与文本搜索工具,支持视觉证据与文字证据的并发获取。

HyperEyes的技术原理

  • UGS动作空间重构:将视觉定位从独立前置步骤转化为检索动作的内嵌参数,物理层面打通单轮多目标并发通路。
  • 并行数据合成流水线:通过多类图片拼接合成多实体查询,基于图谱随机游走构造多约束交集问题并剔除捷径解。
  • TRACE动态参考奖励:用当前最优轨迹为动态标尺,仅当模型比标尺更高效时给予奖励,每轮自动收紧标准。
  • OPD非对称策略蒸馏:在轨迹最终答错时启动235B教师模型,为失败轨迹提供密集Token级监督,保护高效并发本能。
  • 联合优化目标:GRPO结合轨迹级效率奖励与Token级蒸馏损失,同步优化策略网络的准确率与效率。
  • CAS成本感知评分:采用Acc²×100/(N_tok+2N_tool+1)公式,将准确率、Token消耗与工具轮次统一为效率指标。

如何使用HyperEyes

  • 获取开源资源:访问 GitHub 仓库 https://github.com/DeepExperience/HyperEyes 。
  • 准备基础模型:下载并部署 Qwen3-VL-30B 或 235B 作为视觉语言模型 backbone,确保 GPU 显存满足推理需求。
  • 配置外部检索工具:接入图像搜索与文本搜索 API(如 Bing Image Search、Google Custom Search),作为 Agent 执行 UGS 并行搜索的外部工具。
  • 输入多实体查询:上传包含多个实体的复杂图片,输入自然语言问题,HyperEyes 将自动执行 UGS 统一有依据搜索,单轮并发定位并检索所有目标。
  • 查看并行搜索结果:模型返回结构化检索结果与最终答案,包含每个实体的视觉证据与文本证据。
  • 评估搜索效率:通过 CAS(成本感知评分)指标量化评估准确率、Token 消耗与工具调用轮次的综合效率

HyperEyes的核心优势

  • 效率飞跃:30B版本平均工具调用轮次仅2.2次,为同规模最强开源模型的1/5,实现5.3倍效率提升。
  • 准确率领先:在6个基准上超越最强开源同规模模型9.9%,235B版本以1.1%差距逼近Gemini-3.1-Pro。
  • 抗噪声鲁棒:并行策略规避过度检索幻觉,在真假证据混合测试中准确率提升3.7%-5.8%。
  • 消除错误级联:UGS消除串行裁剪依赖,前置定位偏差不再污染后续搜索结果。
  • 帕累托最优:在准确率-效率联合前沿全面占优,CAS评分达次优开源模型的7.6倍。
  • 全栈效率重塑:从动作空间、数据合成到RL训练进行底层重构,系统性解决串行困局。

HyperEyes的项目地址

  • GitHub仓库:https://github.com/DeepExperience/HyperEyes
  • arXiv技术论文:https://arxiv.org/abs/2605.07177

HyperEyes的同类竞品对比

对比维度 HyperEyes-30B DeepEyes-V2 VDR
开发团队 小红书/剑桥大学 小红书 未公开
搜索范式 并行并发(UGS) 串行裁剪-搜索 串行深度搜索
平均工具轮次 2.2 3.6 11.6
6基准平均准确率 64.0% 39.1% 54.1%
IMEB准确率 46.7% 18.0% 21.2%
CAS效率评分 0.910 0.119 0.014
核心机制 TRACE+OPD双粒度RL 工具奖励激励 多轮深度推理
错误级联风险 免疫(原子动作) 高风险 中等风险

HyperEyes的应用场景

  • 多人物视觉推理:识别合影中特定人物的身份、职业与历史事件,并发检索多人生平信息。
  • 电商商品比对:对包含多个商品的复杂场景图进行并发搜索,获取价格、品牌与评价信息。
  • 跨模态知识问答:回答涉及图片中多个物体、地标、艺术品之间关系的复杂查询。
  • 新闻事实核查:对包含多人物、多场景的新闻图片并发检索,验证事件真实性与背景信息。
  • 学术图表解析:对包含多个图表、公式、引用的论文截图进行并行定位与内容检索。
  • 社交媒体审核:对复杂图片中的多个实体并发搜索,快速判断违规或误导性内容。

📝 站长洞察 (Editor’s Insight)

HyperEyes的发布标志着多模态智能体从“串行思维”向“并行原生”的范式跃迁。它不仅是一个模型升级,更是对整个搜索Agent底层架构的重构:通过UGS动作空间将定位与检索物理绑定,再结合双粒度强化学习,系统性解决了效率与准确率的权衡难题。这反映了当前顶尖AI研究的核心趋势——从单一能力堆叠转向系统工程优化。小红书作为实践方,将复杂视觉理解需求(如电商比对、内容审核)反哺至基础模型研究,形成了需求驱动创新的正循环。对于行业而言,HyperEyes的开源意味着“并行搜索”这一新范式将成为标配,倒逼所有多模态智能体重新审视其动作设计哲学。未来,能否在单轮内高效协同多种模态与工具,将是衡量智能体先进性的关键标尺。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
小红书 ↗
小红书(Xiaohongshu)是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户生成内容(UGC)
❓ 常见问题解答(FAQ)
HyperEyes和传统AI搜索智能体有什么区别?

传统智能体通常采用“裁剪-定位-检索”的串行流程,每个实体都要重复多轮工具调用。HyperEyes把视觉定位嵌入检索动作,支持单轮并发搜索多个实体,能显著减少轮次并降低错误级联风险。

HyperEyes的5.3倍效率提升是怎么来的?

文章给出的核心原因是UGS并行范式与双粒度效率感知RL。30B版本平均工具调用轮次降到2.2次,较同规模最强开源模型约减少5.3倍,从而在效率和准确率之间取得更优平衡。

HyperEyes适合哪些实际应用场景?

它适合多实体、多证据的复杂视觉问答场景,例如多人合影识别、电商商品比对、跨模态知识问答等。凡是需要同时定位多个目标并结合图像与文本证据检索的任务,都很适合。

🔬 语宙深潜追问 · 进阶实操拆解
UGS范式到底改了什么?

它把“定位”和“检索”合并成单轮原子动作,减少多轮工具调用和中间误差传播。这样既能压缩搜索链路,也能让模型在一次决策里同时考虑位置、内容和任务目标。

多模态搜索怎么评估真实收益?

不能只看准确率,要同时看轮次、时延、工具调用成本和失败恢复率;在复杂任务里,少一次错误检索往往比单点精度更重要。最好用端到端任务成功率衡量。

🗳️ 读者观点微投票 · 您的实战立场是?
并行多模态搜索,速度和准确率能兼得吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🤖 所属权威专题:AI Agent 智能体工作流 →
  • DeepEyes多模态模型:小红书&西安交大联手,90.1%准确率实现AI’用图思考’,超越OpenAI o3
  • DeepEyesV2:小红书开源多模态智能体,引爆AI工具调用与复杂推理新范式
  • Karpathy 开源 autoresearch:单 GPU 实现 AI 自主科研,自动跑实验、调参、迭代,打造你的专属 AI 科学家
  • 上海交大开源PC Agent-E框架:仅312条数据训练,性能暴涨241%超越Claude 3.7
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
我国首个水风光一体化智慧运营大模型亮相,未来能源智能化迈出重要一步!
CriticGPT – OpenAI推出的识别GPT输出代码错误的模型
告别Token生成狂澜!谷歌重磅发布Gemini Decisions API:单次前向传递破局、端到端150ms超低延迟打分与多模态AI Agent高频路由实战架构全景拆解
Swarm – OpenA推出的轻量级多智能体编排框架
PearAI – 开源的AI代码编辑器,基于VSCode开发直接与代码库对话
TAGGED:多模态搜索大模型小红书智能体视觉定位
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 字节跳动Lance开源:3B参数统一模型,一模型搞定图像视频理解生成编辑全链路 字节跳动Lance开源:3B参数统一模型,一模型搞定图像视频理解生成编辑全链路
下一篇 ZCube架构深度解析:智谱AI联合清华发布,如何降低33%网络成本并提升40%推理性能? ZCube架构深度解析:智谱AI联合清华发布,如何降低33%网络成本并提升40%推理性能?
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

Grok 4 Fast:xAI推出极速AI模型,响应提速10倍,每秒生成75个token
AI 工具AIGC 资讯

Grok 4 Fast:xAI推出极速AI模型,响应提速10倍,每秒生成75个token

Prompt 语宙研究院
AI模型 Grok 4 Fast xAI 代码生成 快速响应
DUSt3R – 从任意图像集合中重建3D场景的框架
AIGC 资讯

DUSt3R – 从任意图像集合中重建3D场景的框架

Prompt 语宙研究院
3D与空间智能 开源大模型
曹操出行在杭州开放Robotaxi主驾无人测试 首款原生Robotaxi计划2027年量产
AIGC 资讯

曹操出行在杭州开放Robotaxi主驾无人测试 首款原生Robotaxi计划2027年量产

Prompt 语宙研究院
3D与空间智能 AI办公效率 AI智能体
Meissonic – 阿里联合多所高校推出的文本到图像合成模型
AIGC 资讯

Meissonic – 阿里联合多所高校推出的文本到图像合成模型

Prompt 语宙研究院
AI绘画提示词 HuggingFace 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.