Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: VLN-R1:港大联合上海AI Lab发布具身智能框架,用视觉语言模型实现3D连续导航
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
VLN-R1:港大联合上海AI Lab发布具身智能框架,用视觉语言模型实现3D连续导航
Prompt 语宙 > AI 工具 > VLN-R1:港大联合上海AI Lab发布具身智能框架,用视觉语言模型实现3D连续导航
AI 工具AIGC 资讯

VLN-R1:港大联合上海AI Lab发布具身智能框架,用视觉语言模型实现3D连续导航

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:25
VLN-R1 具身智能 强化微调 港大上海AI Lab 视觉语言模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • VLN-R1打通“看懂语言—生成动作”链路,直接输出连续3D导航指令。
  • 通过SFT对齐专家演示、RFT优化多步未来动作,提升长期导航表现。
  • 基于VLN-Ego数据集与开源代码,降低具身智能研究与落地门槛。

💡 站外导读:当前具身智能领域面临核心瓶颈:如何让机器人真正理解自然语言指令并在复杂3D环境中连续自主导航?传统方案依赖离散节点图或专用模块堆叠,泛化能力差、数据需求高。港大与上海AI Lab联合推出的VLN-R1框架,首次用大型视觉语言模型直接将第一人称视频流转为连续动作序列,配合长短期记忆采样和两阶段训练策略,在数据有限条件下显著提升导航性能,为家庭服务、工业自动化等场景落地提供新范式。

VLN-R1是什么

VLN-R1是香港大学和上海人工智能实验室联合推出的全新具身智能框架,基于大型视觉语言模型(LVLM)直接将第一人称视频流转换为连续的导航动作。框架基于Habitat 3D模拟器构建VLN-Ego数据集,用长短期记忆采样策略平衡历史和当前观测。框架训练分为两阶段,监督微调(SFT)让模型动作序列文本预测与专家演示对齐,强化微调(RFT)基于时间衰减奖励(TDR)机制优化多步未来动作。VLN-R1在VLN-CE基准测试中表现强劲,证明LVLM在具身导航中的有效性,提升任务特定推理能力,且数据效率高。

阅读目录
  • VLN-R1是什么
  • VLN-R1的主要功能
  • VLN-R1的技术原理
  • VLN-R1的项目地址
  • VLN-R1的应用场景
      • 📝 站长洞察 (Editor’s Insight)

VLN-R1

VLN-R1的主要功能

  • 连续环境导航:直接处理第一人称视频流,让智能体在连续的3D环境中自由移动,不仅仅局限于预定义的节点。
  • 动作生成:生成四种基本动作命令(FORWARD、TURN-LEFT、TURN-RIGHT、STOP),实现精确的导航控制。
  • 数据高效训练:基于监督微调(SFT)和强化微调(RFT),用有限的数据实现高效的模型训练,提升导航性能。
  • 跨领域适应:基于强化微调(RFT),模型能快速适应新的导航任务和环境,即使只有少量数据。
  • 任务特定推理:基于时间衰减奖励(TDR)机制,优化多步未来动作的预测,增强长期导航性能。

VLN-R1的技术原理

  • 数据集构建:VLN-Ego数据集基于Habitat 3D模拟器生成,包含第一人称视频流和对应的未来动作预测,为模型训练提供丰富的数据。
  • 长短期记忆采样:在处理视频输入时,用长短期记忆采样策略,动态平衡历史帧的重要性与实时输入的敏感性,确保模型在导航过程中既考虑短期相关性,又不丢失长期上下文信息。
  • 监督微调(SFT):基于最小化模型预测文本与专家演示文本之间的交叉熵损失,让模型的动作序列预测与真实动作对齐,确保模型能准确理解语言指令生成相应的动作。
  • 强化微调(RFT):基于组相对策略优化(GRPO)的强化学习方法,用时间衰减奖励(TDR)机制评估和优化多步未来动作的预测,增强模型在长期导航任务中的性能。
  • 大型视觉语言模型(LVLM):基于先进的LVLM(如Qwen2-VL)处理视觉和语言输入,实现从第一人称视频流到导航动作的直接映射,提升模型的泛化能力和适应性。

VLN-R1的项目地址

  • 项目官网:https://vlnr1.github.io/
  • GitHub仓库:https://github.com/Qi-Zhangyang/GPT4Scene-and-VLN-R1
  • arXiv技术论文:https://arxiv.org/pdf/2506.17221

VLN-R1的应用场景

  • 家庭服务机器人:让家庭服务机器人根据主人的自然语言指令在家中自由导航,完成打扫卫生、取物等任务,提升生活便利性。
  • 工业自动化:在工厂车间助力机器人按操作员指令灵活导航,完成物料搬运和设备维护,提高生产效率。
  • 智能仓储:让仓库机器人依据指令在货架间精准导航,高效完成货物存储与检索,优化仓储管理。
  • 医疗保健:支持医院或养老院机器人按医护人员或患者指令导航,完成送药、送餐等任务,减轻医护负担。
  • 智能交通:帮助自动驾驶车辆在复杂城市环境中按交通信号和指令导航,增强行驶安全性和灵活性。

📝 站长洞察 (Editor’s Insight)

具身智能正从实验室走向产业深水区,VLN-R1的发布标志着一个关键拐点:视觉语言大模型不再只是“看图说话”,而是成为机器人在物理世界行动的“大脑”。其核心创新在于用SFT对齐专家演示、用RFT强化长期决策,配合时间衰减奖励机制,让模型既学得快又记得远。更值得关注的是,项目已开源代码与数据集,这将大幅降低研究与产业门槛。从趋势看,具身智能的竞争焦点正从“感知精度”转向“决策智能”,谁能让大模型在真实环境中高效行动,谁就握住了下一代AI落地的钥匙。VLN-R1为这条赛道提供了极具参考价值的技术路线。

❓ 常见问题解答(FAQ)
VLN-R1是什么框架?

VLN-R1是香港大学与上海AI Lab联合推出的具身智能框架,基于大型视觉语言模型,将第一人称视频流直接转换为连续导航动作,面向3D环境中的自然语言导航任务。

VLN-R1相比传统导航方法有什么优势?

它不依赖离散节点图或复杂模块堆叠,而是直接从视频和语言生成动作序列,泛化能力和数据效率更好;同时通过SFT和RFT提升了长期决策与任务适应能力。

VLN-R1适合哪些应用场景?

适合家庭服务、工业自动化、智能仓储、医疗保健等需要机器人按自然语言指令在复杂环境中连续导航的场景,也可为相关具身智能研究提供参考。

🔬 语宙深潜追问 · 进阶实操拆解
VLN-R1训练里最关键的奖励是什么?

最关键的是把到达目标、路径效率和中间决策质量一起纳入奖励,而不是只看终点。再配合时间衰减奖励,模型会更重视早期正确转向,减少后期补救式乱走。

连续导航如何提升真实机器人可用性?

要补上传感器噪声、动态障碍和动作延迟的仿真差距,并加入失败恢复策略。上线前最好做小范围实机闭环测试,验证模型在长路径和遮挡环境中的稳定性。

🗳️ 读者观点微投票 · 您的实战立场是?
VLM直接做连续导航,具身智能会少走弯路吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🌐 所属权威专题:Gemini 全模态与空间智能 →
  • 上海AI Lab重磅开源:InternVLA·N1双系统导航大模型,纯合成数据训练,实现真实场景跨楼宇导航
  • TinyVLA – 华东师范和上海大学推出面向机器人操控VLA模型
  • LingBot-VLA 2.0 – 蚂蚁灵波开源的新一代具身智能基座模型
  • VLM-R1 – 浙大 Om AI Lab 推出的视觉语言模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
DeepMind Dreamer 4:仅用离线数据,《我的世界》里挖钻石!世界模型智能体实现高效安全想象训练
Pneuma
MiniMax MCP Server – MiniMax 推出基于 MCP 的多模态生成服务器
腾讯开源Covo-Audio:70亿参数端到端语音大模型,挑战GPT-4o的实时对话新标杆
上海交大开源PC Agent-E框架:仅312条数据训练,性能暴涨241%超越Claude 3.7
TAGGED:VLN-R1具身智能强化微调港大上海AI Lab视觉语言模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Nanonets-OCR-s:终极文档OCR模型,支持LaTeX、签名、表格等复杂元素识别与Markdown转换 Nanonets-OCR-s:终极文档OCR模型,支持LaTeX、签名、表格等复杂元素识别与Markdown转换
下一篇 Twocast:AI双人播客自动生成器,一键产出专业级多人对话播客 Twocast:AI双人播客自动生成器,一键产出专业级多人对话播客
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

谷歌重磅开源T5Gemma 2:128K超长上下文多模态模型,重新定义端侧AI部署
AI 工具AIGC 资讯

谷歌重磅开源T5Gemma 2:128K超长上下文多模态模型,重新定义端侧AI部署

Prompt 语宙研究院
T5Gemma 2 多模态模型 端侧AI 谷歌 长上下文
美国国会拟在英伟达丑闻后收紧对华AI芯片出口限制与远程访问法案
AIGC 资讯

两党联手传唤黄仁勋作证!美国国会紧急解冻远程访问安全法案:参院银行委发函、商务部长列席与AI算力出口硬隔离全景深度拆解

Prompt 语宙研究院
AI算力 出口管制 美国国会 英伟达 黄仁勋
ArtHub
AI 工具

ArtHub

remaker
AI办公效率 AI智能体 AI绘画提示词 Midjourney stable diffusion 开源大模型
Facial Assessment Tool
AI 工具

Facial Assessment Tool

remaker
AI办公效率 AI智能体
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.