# Boximator – 字节推出的控制视频生成中对象运动的框架

- Link: https://paooo.com/aigc-news/28332/
- Published: 2026-07-09T14:31:34+08:00
- Author: 站外新闻

## Boximator是什么？

Boximator是由字节跳动的研究团队开发的一种视频合成技术，旨在生成丰富且可控的运动，
以增强视频合成的质量和可控性。该技术通过引入两种类型的约束框（硬框和软框）来实现
对视频中对象位置、形状或运动路径的精细控制。

阅读目录

 * [Boximator是什么？](https://paooo.com/aigc-news/28332/#boximator%e6%98%af%e4%bb%80%e4%b9%88)
 * [Boximator的工作原理](https://paooo.com/aigc-news/28332/#boximator%e7%9a%84%e5%b7%a5%e4%bd%9c%e5%8e%9f%e7%90%86)
 * [Boximator的应用场景](https://paooo.com/aigc-news/28332/#boximator%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

 * **官方项目主页**：[https://boximator.github.io/](https://boximator.github.io/)
 * **Arxiv研究论文**：[https://arxiv.org/abs/2402.01566](https://arxiv.org/abs/2402.01566)

![Boximator](https://paooo.com/wp-content/uploads/2026/07/boximator-framework-1.
avif)

## Boximator的工作原理

Boximator的工作原理基于视频扩散模型，它通过引入一种新的控制机制来增强视频合成的精细
度和可控性。以下是Boximator工作原理的关键步骤：

 1.  **对象选择与框定义**：
 2.   * 用户在视频的起始帧或条件帧中使用硬框（Hard Box）来选择和精确定位对象。这些硬
        框定义了对象的精确边界。
      * 对于需要更宽松控制的场景，用户可以定义软框（Soft Box），这些框提供了一个对象
        必须存在的大致区域，允许对象在该区域内自由移动。
 3.  **对象ID与框关联**：
 4.   * Boximator为每个对象分配一个唯一的对象ID，这个ID以RGB颜色空间表示，使得每个对象
        的框都有一个独特的“颜色”。这样，模型可以跨帧跟踪和控制同一个对象。
 5.  **视频扩散模型集成**：
 6.   * Boximator作为一个插件，与现有的视频扩散模型（如PixelDance和ModelScope）集成。
        在训练过程中，基础模型的权重被冻结，以保留其预训练的知识，而只训练新增的控制
        模块。
 7.  **自跟踪技术**：
 8.   * 为了简化模型学习框-对象关联的过程，Boximator引入了自跟踪技术。在训练阶段，模型
        被训练生成彩色的边界框，这些框的颜色与对象ID相对应。模型需要在每一帧中生成正确
        的框并将其与Boximator的约束对齐。
 9.  **多阶段训练过程**：
 10.  * Boximator的训练分为三个阶段。第一阶段使用硬框约束，帮助模型建立对坐标和ID的
        基本理解。第二阶段引入软框，通过随机扩展硬框来增加训练的难度。第三阶段继续使用
        软框，但不生成可见的边界框，而是让模型内部保留这种关联。
 11. **推理阶段**：
 12.  * 在推理（生成视频）阶段，Boximator在用户定义的框之外的帧中插入软框。这些软框
        通过线性插值和放松处理来生成，确保对象大致遵循预期的运动轨迹，同时给予模型足够
        的灵活性来引入变化。
 13. **运动控制与质量评估**：
 14.  * Boximator通过平均精度（AP）分数来评估运动控制的准确性，这涉及到比较生成的视频
        中的检测到的边界框与真实边界框的一致性。
      * 视频质量则通过Fréchet Video Distance（FVD）分数和CLIP相似性分数（CLIPSIM）来
        衡量。

通过这些步骤，Boximator能够在视频合成过程中实现对对象运动的精细控制，同时保持视频
的高质量和逼真度。

![Boximator视频合成](https://paooo.com/wp-content/uploads/2026/07/boximator-frame-
detection.avif)

## Boximator的应用场景

 * **电影和电视制作**：在电影和电视剧的后期制作中，Boximator可以用来生成或修改场景，
   例如添加或移除角色、调整动作场景，或者创造复杂的特效，而无需昂贵的现场拍摄。
 * **游戏开发**：游戏开发者可以使用Boximator来创建动态的游戏场景和角色动画，特别
   是在需要高度定制化或快速迭代内容时，这可以大大节省开发时间和成本。
 * **VR和AR内容创作**：在虚拟现实（VR）和增强现实（AR）领域，Boximator可以用来生成
   逼真的虚拟环境和交互式对象，为用户提供沉浸式的体验。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)