# HMA – MIT联合Meta等推出的机器人动作视频动态建模方法

- Link: https://paooo.com/aigc-news/22167/
- Published: 2026-06-09T08:29:51+08:00
- Author: 站外新闻

## HMA是什么

HMA（Heterogeneous Masked Autoregression）是麻省理工学院、Meta和伊利诺伊大学香槟
分校开源的，用在建模机器人动作视频动态的方法。HMA基于异构预训练，用不同机器人实体、
领域和任务中的观测和动作序列，结合掩码自回归技术生成视频预测。HMA支持离散和连续两
种变体，分别用在快速生成和高保真度生成，处理动作空间的异构性，包括不同的动作频率、
维度和动作空间，基于模块化网络架构实现高效的实时交互。HMA在机器人学习中具有广泛的
应用前景，包括视频模拟、策略评估、[合成数据](https://ai-bot.cn/what-is-synthetic-data/)
生成和作为模仿策略使用，在扩展性和实时性方面表现出色。

阅读目录

 * [HMA是什么](https://paooo.com/aigc-news/22167/#hma%e6%98%af%e4%bb%80%e4%b9%88)
 * [HMA的主要功能](https://paooo.com/aigc-news/22167/#hma%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [HMA的技术原理](https://paooo.com/aigc-news/22167/#hma%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [HMA的项目地址](https://paooo.com/aigc-news/22167/#hma%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [HMA的应用场景](https://paooo.com/aigc-news/22167/#hma%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![HMA](https://paooo.com/wp-content/uploads/2026/06/HMA-website-1.avif)

## HMA的主要功能

 * **视频模拟**：生成高质量的视频序列，模拟机器人在不同环境中的动作效果，用在虚拟
   环境中的交互和测试。
 * **策略评估**：作为高保真度的模拟器，评估机器人策略的性能，预测策略在真实环境中的
   表现。
 * **合成数据生成**：生成大量的合成数据，增强机器人的训练数据集，提升策略的泛化能力。
 * **模仿策略**：直接作为模仿学习的策略，预测机器人在给定观测下的动作。

## HMA的技术原理

 * **异构预训练**：
    - **数据来源**：用来自不同机器人实体、任务和领域的大量观测和动作序列数据进行
      预训练，涵盖从简单到复杂的动作空间。
    - **动作异构性处理**：基于为每个领域设计特定的动作编码器和解码器，将不同动作
      空间映射到共享的潜在空间中，处理动作频率、维度和动作空间的异构性。
    - **模块化架构**：网络架构包括多个动作输入模块（“stem”）和动作输出模块（“head”），
      及共享的核心时空变换器（“trunk”），支持高效预训练和灵活扩展。
 * **掩码自回归**：
    - **掩码目标**：在训练时，模型基于掩码自编码目标随机掩码部分标记，并基于未掩
      码的标记预测掩码部分，学习序列的联合分布。
    - **自回归生成**：在推理时，模型逐步取消掩码，生成未来的视频帧和动作序列。既
      高效又能保持高生成质量。
    - **两种变体**：HMA支持离散变体（生成矢量量化标记）和连续变体（生成软标记），
      分别用在快速生成和高保真度生成。

## HMA的项目地址

 * **项目官网**：[https://liruiw.github.io/hma/](https://liruiw.github.io/hma/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/liruiw/HMA](https://github.com/liruiw/HMA)
 * **HuggingFace模型库**：[https://huggingface.co/liruiw/hma-base-disc](https://huggingface.co/liruiw/hma-base-disc)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.04296](https://arxiv.org/pdf/2502.04296)
 * **在线体验Demo**：[https://huggingface.co/spaces/liruiw/hma](https://huggingface.co/spaces/liruiw/hma)

## HMA的应用场景

 * **实时视频模拟**：快速生成机器人在不同环境中的动作视频，用在虚拟交互测试，验证
   策略效果，节省实际部署成本。
 * **策略评估**：作为高保真模拟器，评估机器人策略性能，预测策略在真实环境中的表现，
   辅助策略优化。
 * **合成数据生成**：生成大量合成数据，扩充训练数据集，提升策略泛化能力，尤其在数据
   稀缺时效果显著。
 * **模仿学习**：直接作为模仿策略，根据当前观测预测机器人动作，快速响应环境变化，
   提高任务执行效率。
 * **长期规划与控制**：HMA支持生成长序列的视频和动作预测，助力机器人进行长期规划
   和模型预测控制，提升复杂任务的完成率。