# Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型

- Link: https://paooo.com/aigc-news/23181/
- Published: 2026-06-09T01:07:01+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 端到端整合视觉预测与逆动力学动作生成，让机器人更准确地理解目标并执行操作。
 * 在真实机器人任务中较当前Sota提升43%，并在CALVIN ABC-D Benchmark取得4.28的平均
   任务完成长度。
 * 支持多模态融合与大规模预训练，面对未见场景、新物体和复杂干扰仍保持较强泛化。

## Seer是什么

Seer是由上海AI实验室、北京大学计算机科学与技术学院、北京大学软件与微电子学院等机构
联合推出的端到端操作模型，实现机器人视觉预测与动作执行的高度协同。模型结合历史信息
和目标信号（如语言指令），预测未来时刻的状态，用逆动力学模型生成动作信号。Seer基于
Transformer的结构，处理多模态输入数据，有效融合视觉、语言和机器人本体信号。在真实
机器人任务中，Seer的操作成功率较当前Sota提升43%，且在多种复杂场景下表现出优异的泛
化能力。Seer在控制算法测试基准CALVIN ABC-D Benchmark中，Seer的平均任务完成长度达
4.28，综合领先同类模型。

阅读目录

 * [Seer是什么](https://paooo.com/aigc-news/23181/#seer%e6%98%af%e4%bb%80%e4%b9%88)
 * [Seer的主要功能](https://paooo.com/aigc-news/23181/#seer%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Seer的技术原理](https://paooo.com/aigc-news/23181/#seer%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Seer的项目地址](https://paooo.com/aigc-news/23181/#seer%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Seer的应用场景](https://paooo.com/aigc-news/23181/#seer%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Seer](https://paooo.com/wp-content/uploads/2026/06/Seer-website-1.avif)

## Seer的主要功能

 * **动作预测**：根据当前的视觉状态和目标，预测出合适的机器人动作。基于逆动力学模型
   估计实现目标所需的中间动作序列。
 * **视觉预测**：Seer具备条件视觉预测功能，能预测未来一定时间步内的RGB图像。让机器
   人“预见”未来的视觉状态，更好地规划和调整动作。
 * **多模态融合**：融合视觉、语言和机器人状态等多种模态的信息，实现对复杂任务的理解
   和执行。基于多模态编码器将不同模态的特征进行整合，为动作预测和视觉预测提供全面
   的上下文信息。
 * **泛化能力**：经过在大规模机器人数据集上的预训练，Seer展现出强大的泛化能力，在
   未见场景、新物体、不同光照条件下以及面对高强度干扰时，依然保持稳定的性能。
 * **数据效率**：Seer在预训练阶段用大量数据学习到丰富的先验知识，因此在下游任务中
   仅需要少量的微调数据即可达到较好的性能，降低数据采集和标注的成本。

## Seer的技术原理

 * **端到端架构**：基于端到端的架构设计，将视觉预测和逆动力学预测紧密结合在一起。
   在训练过程中，视觉预测模块和逆动力学模块协同优化，让模型能充分利用视觉和动作信息，
   实现更准确的动作预测。
 * **Transformer架构**：基于Transformer架构处理视觉状态和动作信息。Transformer能
   捕捉到视觉和动作序列中的复杂依赖关系，为模型提供强大的特征提取和表示能力。
 * **先见令牌和动作令牌**：Seer引入先见令牌（foresight token）和动作令牌（action
   token）。先见令牌预测未来的RGB图像，动作令牌估计当前和预测未来观察之间的中间动作。
   两个令牌基于多模态编码器与输入的RGB图像、机器人状态和语言令牌进行融合，用单向
   注意力掩码实现深度的信息整合。
 * **单向注意力掩码**：Seer设计特殊的单向注意力掩码，让动作令牌充分整合过去和未来
   的预测信息，有助于模型在多层网络中实现更深层次的信息融合，提高动作预测的准确性
   和鲁棒性。
 * **大规模预训练与微调**：Seer首先在大规模机器人数据集（如DROID）上进行预训练，
   学习到丰富的视觉和动作先验知识。在下游任务中，基于少量的微调数据对模型进行调整，
   适应具体的任务场景和目标。

## Seer的项目地址

 * **项目官网**：[https://nimolty.github.io/Seer](https://nimolty.github.io/Seer/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/OpenRobotLab/Seer](https://github.com/OpenRobotLab/Seer)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.15109](https://arxiv.org/pdf/2412.15109)

## Seer的应用场景

 * **工业自动化**：指导机器人精准安装汽车部件，提高装配效率和质量。
 * **服务机器人**：帮助服务机器人按需将物品准确送达客房，提升客户体验。
 * **医疗健康**：作为虚拟手术机器人的核心，辅助医学生学习和练习手术技能。
 * **物流与仓储**：自动化分拣系统快速准确地将包裹分拣到指定通道，提高分拣效率。
 * **教育行业**：作为教学案例，帮助学生深入理解机器人编程的高级技术和算法。

❓ 常见问题解答（FAQ）

Seer模型主要解决什么问题？

Seer主要解决机器人在复杂环境中的视觉理解、未来状态预测和动作执行协同问题。它把视觉
预测与逆动力学动作生成结合起来，帮助机器人根据语言指令和当前状态更准确地完成任务。

Seer相比传统机器人操作模型有什么优势？

Seer采用端到端架构和Transformer建模多模态信息，能同时处理视觉、语言和机器人本体信号。
文章提到它在真实机器人任务中的成功率较当前Sota提升43%，并具备更强泛化能力。

Seer适合哪些应用场景？

Seer可用于工业自动化、服务机器人、医疗健康、物流仓储和教育行业等场景。它适合需要
精准操作、未来状态预测和少量微调即可落地的机器人任务。

🔬 语宙深潜追问 · 进阶实操拆解

端到端操作模型怎么提升泛化？

关键是把视觉、语言和动作放进同一训练目标里，并覆盖更多任务变体；同时加入失败回放
和数据增强，让模型学会从不同初始状态恢复执行，比只看成功轨迹更能提升泛化。

真实机器人落地最怕什么问题？

最怕感知误差和执行误差叠加。落地时要加安全约束、动作限幅和异常中止机制，并把高风险
动作交给规则或控制器兜底，否则模型在仿真里能做，到了真机就容易失手。

🗳️ 读者观点微投票 · 您的实战立场是？

端到端机器人操作，真能替代分模块方案吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Seed1.8深度解析：字节跳动如何用全能Agent模型重新定义AI工作流？](https://paooo.com/aigc-news/12594/)
 * [Keye-VL-2.0-30B-A3B – 快手开源的自研多模态大模型](https://paooo.com/aigc-news/18708/)
 * [字节跳动Seed2.0大模型系列发布：多模态SOTA、Agent能力跃迁，API成本降一个数量级](https://paooo.com/aigc-news/11470/)
 * [智元Genie Envisioner开源：首个机器人世界模型平台，视频生成驱动跨形态策略泛化](https://paooo.com/aigc-news/14085/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/23181/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
