Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Qwen-VLA – 阿里通义推出的通用视觉-语言-动作模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Qwen-VLA – 阿里通义推出的通用视觉-语言-动作模型
Prompt 语宙 > AIGC 资讯 > Qwen-VLA – 阿里通义推出的通用视觉-语言-动作模型
AIGC 资讯

Qwen-VLA – 阿里通义推出的通用视觉-语言-动作模型

Prompt 语宙研究院
最近更新: 2026年6月7日 下午6:05
3D与空间智能 AI智能体 大模型微调 开源大模型 通义千问
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 统一操作、导航、轨迹预测三任务,Qwen-VLA 用同一模型实现具身智能通用行动能力。
  • 通过本体感知文本提示切换机器人平台,支持 11 种本体,部署时无需改架构。
  • 零样本动态操作和 OOD 泛化表现突出,DOMINO 26.6%,真实世界平均成功率 76.9%。

Qwen-VLA是什么

Qwen-VLA 是通义实验室推出的通用视觉-语言-动作模型,以 Qwen3.5-4B 为视觉语言主干,搭配 1.15B 参数的 DiT 动作解码器。模型通过统一动作轨迹预测框架,将操作、导航、轨迹预测三大任务统一到同一模型;借助本体感知提示条件化,仅需修改文本描述即可适配 11 种机器人平台。模型在多项基准中超越专用模型,零样本动态操作成功率达 26.6%,推动具身智能从技能专家走向通用行动者。

阅读目录
  • Qwen-VLA是什么
  • Qwen-VLA的主要功能
  • Qwen-VLA的技术原理
  • 如何使用Qwen-VLA
  • Qwen-VLA的核心优势
  • Qwen-VLA的项目地址
  • Qwen-VLA的同类竞品对比
  • Qwen-VLA的应用场景

Qwen-VLA

Qwen-VLA的主要功能

  • 跨任务统一控制:单一模型同时处理操作、导航、轨迹预测三大任务,打破传统专用模型割裂局面。
  • 跨本体即插即用:支持 WidowX、Franka Panda、Mobile ALOHA、Galaxea R1 等 11种机器人平台,覆盖单臂/双臂/移动底座等配置,仅需修改文本提示可切换。
  • 零样本开放世界泛化:在未见过的颜色、实例、位置、背景、指令五个分布外维度上保持高成功率,无需针对新环境重新训练。
  • 动态物体操作:无需动态训练数据,零样本操作运动中的物体,DOMINO 基准成功率 26.6% 超越专用微调模型。
  • 长时程导航:任务自适应 token 分配机制,为长指令保留更丰富的 episode 历史,VLN-CE 基准 R2R 57.5%、RxR 59.6% 超越专用导航模型。

Qwen-VLA的技术原理

  • 统一动作轨迹预测框架:传统具身智能将操作、导航、轨迹预测拆分为独立模型,导致跨任务迁移受限。Qwen-VLA 发现三者计算结构同构——均为”观察场景 + 理解指令 → 预测未来动作序列”,因此统一建模。模型将 Qwen3.5-4B 视觉语言主干与 1.15B DiT 动作解码器结合,不同任务数据在同一训练中共同监督,视觉定位和空间推理能力跨任务迁移。
  • 本体感知提示条件化:面对机器人硬件差异,传统方案为每种本体定制独立分支。Qwen-VLA 将硬件差异编码为结构化文本提示作为唯一平台接口,提示包含机器人型号、臂数、关节配置、控制频率等信息,交由 VLM 处理。骨干网络隐藏状态与噪声动作块拼接后送入 DiT 解码器,推理时仅替换提示可切换平台。
  • 文本到动作 DiT 预训练(T2A):训练面临 VLM 已预训练而 DiT 从零初始化的问题。解决方案:冻结 VLM,单独训练 DiT,且不提供图像仅输入文本。让 DiT 先学会动作分布、文本-动作对齐、本体条件化。此阶段计算代价仅为多模态训练的 1/10。消融实验验证:20%合成+80%真实数据最佳(71.1%),无图像反而优于有图像,2,000步达峰值。

如何使用Qwen-VLA

  • 环境准备:从 GitHub 克隆官方仓库并安装依赖,下载预训练权重。
  • 模型推理:根据机器人硬件配置生成本体提示,将图像、指令和提示输入模型,获取动作序列并发送给机器人执行,循环迭代实现闭环控制。
  • 模型训练(进阶):按 T2A → CPT → SFT → RL 四阶段流程训练,逐步提升动作生成、视觉感知、任务适配和闭环优化能力。
  • 跨平台部署:切换机器人时仅需修改提示中的硬件描述字段,适配新本体时采集数据在 SFT 阶段微调即可。

Qwen-VLA的核心优势

  • 通用性超越专用性:单一通用模型在 5 个仿真基准中的 3 个超越最佳专用模型。
  • 轻量跨本体适配:仅需修改文本提示,无需为每种机器人重新训练模型。
  • 高效预训练策略:T2A 阶段计算成本仅为多模态训练的 1/10,避免干扰 VLM 预训练成果。
  • 强 OOD 泛化能力:真实世界平均 OOD 成功率 76.9%,超越 π₀.₅+35.4pp及无预训练变体+40.7pp。
  • 动态场景零样本突破:DOMINO 基准零样本 26.6%,超越专用微调模型 PUMA 17.2%。

Qwen-VLA的项目地址

  • 项目官网:https://qwen.ai/blog?id=qwenvla
  • GitHub仓库:https://github.com/QwenLM/Qwen-VLA
  • arXiv技术论文:https://arxiv.org/pdf/2605.30280

Qwen-VLA的同类竞品对比

维度 Qwen-VLA π₀.₅ (Physical Intelligence)
架构底座 Qwen3.5-4B VLM + 1.15B DiT 解码器 基于流匹配的 VLA 架构
任务统一性 操作+导航+轨迹预测三任务统一 专注操作任务
跨本体方式 文本提示条件化,无需改架构 需针对不同本体微调或适配
支持平台数 11 种(WidowX、ALOHA、Franka 等) 主要支持少量主流平台
预训练策略 T2A 无视觉预训练(计算成本 1/10) 端到端多模态联合训练
动态操作 零样本 26.6%(DOMINO) 零样本 7.5%
OOD 泛化 真实世界平均 76.9% 41.5%
导航能力 VLN-CE R2R 57.5%,超越专用导航模型 不支持
开源程度 论文+代码+权重全开源 部分开源
训练效率 T2A 阶段计算成本为多模态 1/10 标准多模态训练成本

Qwen-VLA的应用场景

  • 多任务工业机器人:同一模型在装配线上完成抓取、搬运、导航至不同工位等异构任务,无需为每个任务单独部署模型。
  • 服务机器人跨场景部署:家用机器人在厨房执行操作、客厅自主导航、走廊规划轨迹,无缝切换任务类型。
  • 科研教育平台:研究人员无需为每种机器人重新训练模型,仅需修改文本提示即可在新硬件平台上快速验证算法。
  • 动态环境操作:物流仓储中抓取传送带上的运动包裹,无需针对动态场景重新采集训练数据。
  • 长时程复杂指令跟随:博物馆导览机器人执行”先去A展厅拍照,绕过人群去B展厅”等多步骤长指令任务。
❓ 常见问题解答(FAQ)
Qwen-VLA适合哪些机器人平台?

文章显示,Qwen-VLA 可通过本体感知提示适配 11 种机器人平台,包括 WidowX、Franka Panda、Mobile ALOHA、Galaxea R1 等。切换平台时通常只需修改文本中的硬件描述,无需重新设计模型结构。

Qwen-VLA为什么能统一操作和导航任务?

它把操作、导航、轨迹预测视为同构问题:都是“观察场景+理解指令→预测未来动作序列”。因此可用统一动作轨迹预测框架联合训练,让视觉定位与空间推理能力跨任务迁移。

Qwen-VLA的零样本表现怎么样?

文章给出的结果显示,Qwen-VLA 在动态物体操作上零样本成功率达 26.6%,在真实世界平均 OOD 成功率达 76.9%。这说明它对未见颜色、实例、位置、背景和指令具备较强泛化能力。

🔬 语宙深潜追问 · 进阶实操拆解
VLA模型落地最难跨过哪道坎?

最大难点是数据分布和本体差异。模型在仿真里表现好,不代表能适配不同机械臂、夹爪和传感器;要想落地,必须做跨平台校准、动作约束和失败恢复策略。

如何评估VLA是否真能替代传统控制栈?

看它在长尾任务、开放环境和零样本迁移上的收益。若任务高度固定、精度要求极高,传统控制仍更稳;若需要快速适配多平台、多任务,VLA 的统一建模价值更大。

🗳️ 读者观点微投票 · 您的实战立场是?
通用视觉-语言-动作模型,机器人真会迎来统一底座吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🏮 所属权威专题:国产大模型选型与资费对比 →
  • Wall-OSS-0.5 – 自变量机器人开源的国产具身智能模型
  • Qwen-Robot Suite – 阿里通义推出的物理世界基础模型套件
  • Qwen2.5-VL – 阿里通义千问开源的视觉语言模型
  • 宇树科技重磅开源UnifoLM-VLA-0:基于Qwen2.5-VL-7B,单一模型实现12类机器人操作,准确率98.7%
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Roast Dating
Oumi – 开源 AI 平台,支持 1000 万到 4050 亿参数模型训练
AI教学视频革命:新加坡国立大学Code2Video框架,用Python代码一键生成精准教育动画
绿植花卉展台
LingBot-Depth 2.0 – 蚂蚁灵波科技推出的深度补全模型
TAGGED:3D与空间智能AI智能体大模型微调开源大模型通义千问
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Cosmos 3 – 英伟达开源的全模态物理 AI 基础大模型 Cosmos 3 – 英伟达开源的全模态物理 AI 基础大模型
下一篇 Hermes Desktop – Hermes Agent 的桌面应用,开箱即用 Hermes Desktop – Hermes Agent 的桌面应用,开箱即用
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

环球音乐与TikTok续签多年协议:AI生成音乐监管成核心,重塑行业版权新标准
AIGC 资讯最新趋势

环球音乐与TikTok续签多年协议:AI生成音乐监管成核心,重塑行业版权新标准

Prompt 语宙研究院
AI生成音乐 TikTok 版权监管 环球音乐 音乐版权
Brandmate AI
AI 工具

Brandmate AI

remaker
AI办公效率 AI智能体
Macaron-V1 – MindLab 推出的后训练多能力模型系统
AIGC 资讯

Macaron-V1 – MindLab 推出的后训练多能力模型系统

Prompt 语宙研究院
AI智能体 AI绘画提示词 大模型微调 智谱AI 通义千问
EICopilot – 百度推出基于AI智能体的企业信息搜索与探索工具
AIGC 资讯

EICopilot – 百度推出基于AI智能体的企业信息搜索与探索工具

Prompt 语宙研究院
AI办公效率 AI智能体 RAG检索增强
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.