---
title: "Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型"
url: "https://paooo.com/aigc-news/23181/"
author: "Prompt 语宙研究院"
published_at: "2026-06-09T01:07:01+08:00"
updated_at: "2026-06-09T01:07:01+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI智能体, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/23181/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-09

## AI 30 秒核心看点 (TL;DR)

- 端到端整合视觉预测与逆动力学动作生成，让机器人更准确地理解目标并执行操作。
- 在真实机器人任务中较当前Sota提升43%，并在CALVIN ABC-D Benchmark取得4.28的平均任务完成长度。
- 支持多模态融合与大规模预训练，面对未见场景、新物体和复杂干扰仍保持较强泛化。

## Seer是什么

Seer是由上海AI实验室、北京大学计算机科学与技术学院、北京大学软件与微电子学院等机构联合推出的端到端操作模型，实现机器人视觉预测与动作执行的高度协同。模型结合历史信息和目标信号（如语言指令），预测未来时刻的状态，用逆动力学模型生成动作信号。Seer基于Transformer的结构，处理多模态输入数据，有效融合视觉、语言和机器人本体信号。在真实机器人任务中，Seer的操作成功率较当前Sota提升43%，且在多种复杂场景下表现出优异的泛化能力。Seer在控制算法测试基准CALVIN ABC-D Benchmark中，Seer的平均任务完成长度达4.28，综合领先同类模型。

## Seer的主要功能

- **动作预测**：根据当前的视觉状态和目标，预测出合适的机器人动作。基于逆动力学模型估计实现目标所需的中间动作序列。

- **视觉预测**：Seer具备条件视觉预测功能，能预测未来一定时间步内的RGB图像。让机器人“预见”未来的视觉状态，更好地规划和调整动作。

- **多模态融合**：融合视觉、语言和机器人状态等多种模态的信息，实现对复杂任务的理解和执行。基于多模态编码器将不同模态的特征进行整合，为动作预测和视觉预测提供全面的上下文信息。

- **泛化能力**：经过在大规模机器人数据集上的预训练，Seer展现出强大的泛化能力，在未见场景、新物体、不同光照条件下以及面对高强度干扰时，依然保持稳定的性能。

- **数据效率**：Seer在预训练阶段用大量数据学习到丰富的先验知识，因此在下游任务中仅需要少量的微调数据即可达到较好的性能，降低数据采集和标注的成本。

## Seer的技术原理

- **端到端架构**：基于端到端的架构设计，将视觉预测和逆动力学预测紧密结合在一起。在训练过程中，视觉预测模块和逆动力学模块协同优化，让模型能充分利用视觉和动作信息，实现更准确的动作预测。

- **Transformer架构**：基于Transformer架构处理视觉状态和动作信息。Transformer能捕捉到视觉和动作序列中的复杂依赖关系，为模型提供强大的特征提取和表示能力。

- **先见令牌和动作令牌**：Seer引入先见令牌（foresight token）和动作令牌（action token）。先见令牌预测未来的RGB图像，动作令牌估计当前和预测未来观察之间的中间动作。两个令牌基于多模态编码器与输入的RGB图像、机器人状态和语言令牌进行融合，用单向注意力掩码实现深度的信息整合。

- **单向注意力掩码**：Seer设计特殊的单向注意力掩码，让动作令牌充分整合过去和未来的预测信息，有助于模型在多层网络中实现更深层次的信息融合，提高动作预测的准确性和鲁棒性。

- **大规模预训练与微调**：Seer首先在大规模机器人数据集（如DROID）上进行预训练，学习到丰富的视觉和动作先验知识。在下游任务中，基于少量的微调数据对模型进行调整，适应具体的任务场景和目标。

## Seer的项目地址

- **项目官网**：[https://nimolty.github.io/Seer](https://nimolty.github.io/Seer/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/OpenRobotLab/Seer](https://github.com/OpenRobotLab/Seer)

- **arXiv技术论文**：[https://arxiv.org/pdf/2412.15109](https://arxiv.org/pdf/2412.15109)

## Seer的应用场景

- **工业自动化**：指导机器人精准安装汽车部件，提高装配效率和质量。

- **服务机器人**：帮助服务机器人按需将物品准确送达客房，提升客户体验。

- **医疗健康**：作为虚拟手术机器人的核心，辅助医学生学习和练习手术技能。

- **物流与仓储**：自动化分拣系统快速准确地将包裹分拣到指定通道，提高分拣效率。

- **教育行业**：作为教学案例，帮助学生深入理解机器人编程的高级技术和算法。

## 常见问题解答 (FAQ)

### Seer模型主要解决什么问题？
Seer主要解决机器人在复杂环境中的视觉理解、未来状态预测和动作执行协同问题。它把视觉预测与逆动力学动作生成结合起来，帮助机器人根据语言指令和当前状态更准确地完成任务。

### Seer相比传统机器人操作模型有什么优势？
Seer采用端到端架构和Transformer建模多模态信息，能同时处理视觉、语言和机器人本体信号。文章提到它在真实机器人任务中的成功率较当前Sota提升43%，并具备更强泛化能力。

### Seer适合哪些应用场景？
Seer可用于工业自动化、服务机器人、医疗健康、物流仓储和教育行业等场景。它适合需要精准操作、未来状态预测和少量微调即可落地的机器人任务。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
