# VLN-R1：港大联合上海AI Lab发布具身智能框架，用视觉语言模型实现3D连续导航

- Link: https://paooo.com/aigc-news/14674/
- Published: 2026-06-27T12:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * VLN-R1打通“看懂语言—生成动作”链路，直接输出连续3D导航指令。
 * 通过SFT对齐专家演示、RFT优化多步未来动作，提升长期导航表现。
 * 基于VLN-Ego数据集与开源代码，降低具身智能研究与落地门槛。

> **💡 站外导读：**当前具身智能领域面临核心瓶颈：如何让机器人真正理解自然语言指令
> 并在复杂3D环境中连续自主导航？传统方案依赖离散节点图或专用模块堆叠，泛化能力差、
> 数据需求高。港大与上海AI Lab联合推出的VLN-R1框架，首次用大型视觉语言模型直接将
> 第一人称视频流转为连续动作序列，配合长短期记忆采样和两阶段训练策略，在数据有限
> 条件下显著提升导航性能，为家庭服务、工业自动化等场景落地提供新范式。

## VLN-R1是什么

VLN-R1是香港大学和上海人工智能实验室联合推出的全新具身智能框架，基于大型视觉语言
模型（LVLM）直接将第一人称视频流转换为连续的导航动作。框架基于Habitat 3D模拟器构
建VLN-Ego数据集，用长短期记忆采样策略平衡历史和当前观测。框架训练分为两阶段，监督
微调（SFT）让模型动作序列文本预测与专家演示对齐，强化微调（RFT）基于时间衰减奖励（
TDR）机制优化多步未来动作。VLN-R1在VLN-CE基准测试中表现强劲，证明LVLM在具身导航中的
有效性，提升任务特定推理能力，且数据效率高。

阅读目录

 * [VLN-R1是什么](https://paooo.com/aigc-news/14674/#vlnr1%e6%98%af%e4%bb%80%e4%b9%88)
 * [VLN-R1的主要功能](https://paooo.com/aigc-news/14674/#vlnr1%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VLN-R1的技术原理](https://paooo.com/aigc-news/14674/#vlnr1%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VLN-R1的项目地址](https://paooo.com/aigc-news/14674/#vlnr1%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VLN-R1的应用场景](https://paooo.com/aigc-news/14674/#vlnr1%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/14674/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![VLN-R1](https://paooo.com/wp-content/uploads/2026/05/VLN-R1-website-1.avif)

## VLN-R1的主要功能

 * **连续环境导航**：直接处理第一人称视频流，让[智能体](https://paooo.com/trends/)
   在连续的3D环境中自由移动，不仅仅局限于预定义的节点。
 * **动作生成**：生成四种基本动作命令（FORWARD、TURN-LEFT、TURN-RIGHT、STOP），实现
   精确的导航控制。
 * **数据高效训练**：基于监督微调（SFT）和强化微调（RFT），用有限的数据实现高效的
   模型训练，提升导航性能。
 * **跨领域适应**：基于强化微调（RFT），模型能快速适应新的导航任务和环境，即使只有
   少量数据。
 * **任务特定推理**：基于时间衰减奖励（TDR）机制，优化多步未来动作的预测，增强长期
   导航性能。

## VLN-R1的技术原理

 * **数据集构建**：VLN-Ego数据集基于Habitat 3D模拟器生成，包含第一人称视频流和对应
   的未来动作预测，为模型训练提供丰富的数据。
 * **长短期记忆采样**：在处理视频输入时，用长短期记忆采样策略，动态平衡历史帧的重要性
   与实时输入的敏感性，确保模型在导航过程中既考虑短期相关性，又不丢失长期上下文信息。
 * **监督微调（SFT）**：基于最小化模型预测文本与专家演示文本之间的交叉熵损失，让
   模型的动作序列预测与真实动作对齐，确保模型能准确理解语言指令生成相应的动作。
 * **强化微调（RFT）**：基于组相对策略优化（GRPO）的强化学习方法，用时间衰减奖励（
   TDR）机制评估和优化多步未来动作的预测，增强模型在长期导航任务中的性能。
 * **大型视觉语言模型（LVLM）**：基于先进的LVLM（如Qwen2-VL）处理视觉和语言输入，
   实现从第一人称视频流到导航动作的直接映射，提升模型的泛化能力和适应性。

## VLN-R1的项目地址

 * **项目官网**：https://vlnr1.github.io/
 * **GitHub仓库**：https://github.com/Qi-Zhangyang/GPT4Scene-and-VLN-R1
 * **arXiv技术论文**：https://arxiv.org/pdf/2506.17221

## VLN-R1的应用场景

 * **家庭服务机器人**：让家庭服务机器人根据主人的自然语言指令在家中自由导航，完成
   打扫卫生、取物等任务，提升生活便利性。
 * **工业自动化**：在工厂车间助力机器人按操作员指令灵活导航，完成物料搬运和设备维护，
   提高生产效率。
 * **智能仓储**：让仓库机器人依据指令在货架间精准导航，高效完成货物存储与检索，优
   化仓储管理。
 * **医疗保健**：支持医院或养老院机器人按医护人员或患者指令导航，完成送药、送餐等
   任务，减轻医护负担。
 * **智能交通**：帮助自动驾驶车辆在复杂城市环境中按交通信号和指令导航，增强行驶安全
   性和灵活性。

#### 📝 站长洞察 (Editor’s Insight)

具身智能正从实验室走向产业深水区，VLN-R1的发布标志着一个关键拐点：视觉语言[大模型](https://paooo.com/ai-study/)
不再只是“看图说话”，而是成为机器人在物理世界行动的“大脑”。其核心创新在于用SFT对齐
专家演示、用RFT强化长期决策，配合时间衰减奖励机制，让模型既学得快又记得远。更值得
关注的是，项目已开源代码与数据集，这将大幅降低研究与产业门槛。从趋势看，具身智能
的竞争焦点正从“感知精度”转向“决策智能”，谁能让大模型在真实环境中高效行动，谁就握住
了下一代AI落地的钥匙。VLN-R1为这条赛道提供了极具参考价值的技术路线。

❓ 常见问题解答（FAQ）

VLN-R1是什么框架？

VLN-R1是香港大学与上海AI Lab联合推出的具身智能框架，基于大型视觉语言模型，将第一人称
视频流直接转换为连续导航动作，面向3D环境中的自然语言导航任务。

VLN-R1相比传统导航方法有什么优势？

它不依赖离散节点图或复杂模块堆叠，而是直接从视频和语言生成动作序列，泛化能力和数据
效率更好；同时通过SFT和RFT提升了长期决策与任务适应能力。

VLN-R1适合哪些应用场景？

适合家庭服务、工业自动化、智能仓储、医疗保健等需要机器人按自然语言指令在复杂环境
中连续导航的场景，也可为相关具身智能研究提供参考。

🔬 语宙深潜追问 · 进阶实操拆解

VLN-R1训练里最关键的奖励是什么？

最关键的是把到达目标、路径效率和中间决策质量一起纳入奖励，而不是只看终点。再配合
时间衰减奖励，模型会更重视早期正确转向，减少后期补救式乱走。

连续导航如何提升真实机器人可用性？

要补上传感器噪声、动态障碍和动作延迟的仿真差距，并加入失败恢复策略。上线前最好做
小范围实机闭环测试，验证模型在长路径和遮挡环境中的稳定性。

🗳️ 读者观点微投票 · 您的实战立场是？

VLM直接做连续导航，具身智能会少走弯路吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🌐 所属权威专题：Gemini 全模态与空间智能 →](https://paooo.com/topics/gemini-multimodal/)

 * [上海AI Lab重磅开源：InternVLA·N1双系统导航大模型，纯合成数据训练，实现真实场景跨楼宇导航](https://paooo.com/aigc-news/13643/)
 * [TinyVLA – 华东师范和上海大学推出面向机器人操控VLA模型](https://paooo.com/aigc-news/26460/)
 * [LingBot-VLA 2.0 – 蚂蚁灵波开源的新一代具身智能基座模型](https://paooo.com/aigc-news/29086/)
 * [VLM-R1 – 浙大 Om AI Lab 推出的视觉语言模型](https://paooo.com/aigc-news/21574/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/14674/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
