Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型
Prompt 语宙 > AIGC 资讯 > Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型
AIGC 资讯

Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型

Prompt 语宙研究院
最近更新: 2026年6月9日 上午1:07
3D与空间智能 AI智能体 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 端到端整合视觉预测与逆动力学动作生成,让机器人更准确地理解目标并执行操作。
  • 在真实机器人任务中较当前Sota提升43%,并在CALVIN ABC-D Benchmark取得4.28的平均任务完成长度。
  • 支持多模态融合与大规模预训练,面对未见场景、新物体和复杂干扰仍保持较强泛化。

Seer是什么

Seer是由上海AI实验室、北京大学计算机科学与技术学院、北京大学软件与微电子学院等机构联合推出的端到端操作模型,实现机器人视觉预测与动作执行的高度协同。模型结合历史信息和目标信号(如语言指令),预测未来时刻的状态,用逆动力学模型生成动作信号。Seer基于Transformer的结构,处理多模态输入数据,有效融合视觉、语言和机器人本体信号。在真实机器人任务中,Seer的操作成功率较当前Sota提升43%,且在多种复杂场景下表现出优异的泛化能力。Seer在控制算法测试基准CALVIN ABC-D Benchmark中,Seer的平均任务完成长度达4.28,综合领先同类模型。

阅读目录
  • Seer是什么
  • Seer的主要功能
  • Seer的技术原理
  • Seer的项目地址
  • Seer的应用场景

Seer

Seer的主要功能

  • 动作预测:根据当前的视觉状态和目标,预测出合适的机器人动作。基于逆动力学模型估计实现目标所需的中间动作序列。
  • 视觉预测:Seer具备条件视觉预测功能,能预测未来一定时间步内的RGB图像。让机器人“预见”未来的视觉状态,更好地规划和调整动作。
  • 多模态融合:融合视觉、语言和机器人状态等多种模态的信息,实现对复杂任务的理解和执行。基于多模态编码器将不同模态的特征进行整合,为动作预测和视觉预测提供全面的上下文信息。
  • 泛化能力:经过在大规模机器人数据集上的预训练,Seer展现出强大的泛化能力,在未见场景、新物体、不同光照条件下以及面对高强度干扰时,依然保持稳定的性能。
  • 数据效率:Seer在预训练阶段用大量数据学习到丰富的先验知识,因此在下游任务中仅需要少量的微调数据即可达到较好的性能,降低数据采集和标注的成本。

Seer的技术原理

  • 端到端架构:基于端到端的架构设计,将视觉预测和逆动力学预测紧密结合在一起。在训练过程中,视觉预测模块和逆动力学模块协同优化,让模型能充分利用视觉和动作信息,实现更准确的动作预测。
  • Transformer架构:基于Transformer架构处理视觉状态和动作信息。Transformer能捕捉到视觉和动作序列中的复杂依赖关系,为模型提供强大的特征提取和表示能力。
  • 先见令牌和动作令牌:Seer引入先见令牌(foresight token)和动作令牌(action token)。先见令牌预测未来的RGB图像,动作令牌估计当前和预测未来观察之间的中间动作。两个令牌基于多模态编码器与输入的RGB图像、机器人状态和语言令牌进行融合,用单向注意力掩码实现深度的信息整合。
  • 单向注意力掩码:Seer设计特殊的单向注意力掩码,让动作令牌充分整合过去和未来的预测信息,有助于模型在多层网络中实现更深层次的信息融合,提高动作预测的准确性和鲁棒性。
  • 大规模预训练与微调:Seer首先在大规模机器人数据集(如DROID)上进行预训练,学习到丰富的视觉和动作先验知识。在下游任务中,基于少量的微调数据对模型进行调整,适应具体的任务场景和目标。

Seer的项目地址

  • 项目官网:https://nimolty.github.io/Seer
  • GitHub仓库:https://github.com/OpenRobotLab/Seer
  • arXiv技术论文:https://arxiv.org/pdf/2412.15109

Seer的应用场景

  • 工业自动化:指导机器人精准安装汽车部件,提高装配效率和质量。
  • 服务机器人:帮助服务机器人按需将物品准确送达客房,提升客户体验。
  • 医疗健康:作为虚拟手术机器人的核心,辅助医学生学习和练习手术技能。
  • 物流与仓储:自动化分拣系统快速准确地将包裹分拣到指定通道,提高分拣效率。
  • 教育行业:作为教学案例,帮助学生深入理解机器人编程的高级技术和算法。
❓ 常见问题解答(FAQ)
Seer模型主要解决什么问题?

Seer主要解决机器人在复杂环境中的视觉理解、未来状态预测和动作执行协同问题。它把视觉预测与逆动力学动作生成结合起来,帮助机器人根据语言指令和当前状态更准确地完成任务。

Seer相比传统机器人操作模型有什么优势?

Seer采用端到端架构和Transformer建模多模态信息,能同时处理视觉、语言和机器人本体信号。文章提到它在真实机器人任务中的成功率较当前Sota提升43%,并具备更强泛化能力。

Seer适合哪些应用场景?

Seer可用于工业自动化、服务机器人、医疗健康、物流仓储和教育行业等场景。它适合需要精准操作、未来状态预测和少量微调即可落地的机器人任务。

🔬 语宙深潜追问 · 进阶实操拆解
端到端操作模型怎么提升泛化?

关键是把视觉、语言和动作放进同一训练目标里,并覆盖更多任务变体;同时加入失败回放和数据增强,让模型学会从不同初始状态恢复执行,比只看成功轨迹更能提升泛化。

真实机器人落地最怕什么问题?

最怕感知误差和执行误差叠加。落地时要加安全约束、动作限幅和异常中止机制,并把高风险动作交给规则或控制器兜底,否则模型在仿真里能做,到了真机就容易失手。

🗳️ 读者观点微投票 · 您的实战立场是?
端到端机器人操作,真能替代分模块方案吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Seed1.8深度解析:字节跳动如何用全能Agent模型重新定义AI工作流?
  • Keye-VL-2.0-30B-A3B – 快手开源的自研多模态大模型
  • 字节跳动Seed2.0大模型系列发布:多模态SOTA、Agent能力跃迁,API成本降一个数量级
  • 智元Genie Envisioner开源:首个机器人世界模型平台,视频生成驱动跨形态策略泛化
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ChatGPT周活用户逼近 10 亿大关:晚了 7 个月,但上线不到四年
Create AI Voiceovers
Agents-A1 – 上海 AI Lab开源的混合专家智能体模型
昆仑万维把 2026 定为世界模型元年:Matrix-Game 3. 5 单卡实时生成,5B模型跑出20FPS
交交 – 上海交大推出的口语对话情感大模型
TAGGED:3D与空间智能AI智能体大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 TIGER – 清华大学推出的轻量级语音分离模型 TIGER – 清华大学推出的轻量级语音分离模型
下一篇 LaDeCo – 西安交大联合微软推出的自动图形设计构图方法 LaDeCo – 西安交大联合微软推出的自动图形设计构图方法
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

MiniMax 因新模型计费模式变更致歉:承认沟通不足,公布老用户补偿与退款方案
AIGC 资讯

MiniMax 因新模型计费模式变更致歉:承认沟通不足,公布老用户补偿与退款方案

Prompt 语宙研究院
AI办公效率 AI智能体 Kimi MiniMax
WonderWorld – 斯坦福和MIT联合推出的生成多样化连贯3D场景AI框架
AIGC 资讯

WonderWorld – 斯坦福和MIT联合推出的生成多样化连贯3D场景AI框架

Prompt 语宙研究院
3D与空间智能 AI视频生成 开源大模型
Firefox Project Nova重构:一键关闭所有AI功能,隐私可控再升级
AIGC 资讯最新趋势

Firefox Project Nova重构:一键关闭所有AI功能,隐私可控再升级

Prompt 语宙研究院
AI功能开关 Firefox Project Nova 浏览器重构 隐私控制
环比暴跌转亏5.67亿、1万亿算力债务压顶!Anthropic更新招股书深度拆解:短期加购50亿算力反噬、每美元产出下滑与IPO生死大考
AIGC 资讯最新趋势

环比暴跌转亏5.67亿、1万亿算力债务压顶!Anthropic更新招股书深度拆解:短期加购50亿算力反噬、每美元产出下滑与IPO生死大考

Prompt 语宙研究院
Anthropic Claude IPO招股书 SRE算力治理 算力成本 财务模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.