# Perception-as-Control – 阿里通义实验室推出的图像动画框架

- Link: https://paooo.com/aigc-news/22954/
- Published: 2026-06-09T10:46:37+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于3D感知运动表示，把相机与物体运动转成直观一致的视觉控制信号。
 * 采用U-Net扩散模型与双编码器设计，兼顾参考图像外观保真和运动可控性。
 * 支持运动生成、克隆、转移、编辑等任务，适合视频特效、游戏与AR/VR。

## Perception-as-Control是什么

Perception-as-Control是阿里巴巴通义实验室推出的图像动画框架，能根据用户意图实现细
粒度的运动控制。Perception-as-Control基于构建3D感知运动表示，将相机和物体运动转化
为直观、一致的视觉变化，用感知结果作为运动控制信号，支持多种与运动相关的视频合成
任务。Perception-as-Control框架基于U-Net架构的扩散模型，结合参考图像的外观信息和
运动控制信号的运动信息，生成可控的图像动画。Perception-as-Control推出三阶段训练策略，
平衡相机和物体运动控制，促进细粒度运动控制，在多种应用场景中展现出优越的性能。

阅读目录

 * [Perception-as-Control是什么](https://paooo.com/aigc-news/22954/#perceptionascontrol%e6%98%af%e4%bb%80%e4%b9%88)
 * [Perception-as-Control的主要功能](https://paooo.com/aigc-news/22954/#perceptionascontrol%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Perception-as-Control的技术原理](https://paooo.com/aigc-news/22954/#perceptionascontrol%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Perception-as-Control的项目地址](https://paooo.com/aigc-news/22954/#perceptionascontrol%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Perception-as-Control的应用场景](https://paooo.com/aigc-news/22954/#perceptionascontrol%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Perception-as-Control](https://paooo.com/wp-content/uploads/2026/06/Perception-
as-Control-website-1.avif)

## Perception-as-Control的主要功能

 * **细粒度协同运动控制**：实现相机和物体运动的协同控制，支持用户用细粒度的方式控制
   动画中的各个元素。让用户精确地调整场景中物体的运动及相机的视角变化。
 * **多种运动相关视频合成任务**：支持多种与运动相关的视频合成任务，包括基于图像的
   运动生成、基于视频的运动克隆、运动转移和运动编辑。
    - **运动生成**：根据用户输入的参考图像和2D轨迹生成动画。
    - **运动克隆**：模仿源视频中的相机和物体运动。
    - **运动转移**：将源视频中的局部运动转移到参考图像中的不同位置和尺度的对象上。
    - **运动编辑**：用户提供分割掩码，编辑分割掩码内的运动。
 * **3D感知运动表示**：基于构建3D感知运动表示，将复杂的3D场景简化为关键对象部分（
   用单位球表示）和世界包络，实现直观且一致的视觉变化。

## Perception-as-Control的技术原理

 * **3D感知运动表示**：将3D场景简化为关键对象部分（用单位球表示）和世界包络，基于
   3D点跟踪和视觉里程计技术捕捉局部物体运动和全局相机运动。
 * **网络架构**：基于去噪U-Net架构，用两个轻量级编码器分别编码相机和物体控制信号，
   避免RGB级别的干扰，融合模块合并编码信号。
 * **参考图像注入**：ReferenceNet将参考图像的外观信息注入到生成过程中，确保生成的
   视频保持参考图像的特定外观。
 * **三阶段训练策略**：
    - **第一阶段**：仅训练相机编码器，处理仅含相机运动的视频剪辑。
    - **第二阶段**：加入物体编码器和融合模块，处理包含相机和物体运动的视频剪辑。
    - **第三阶段**：基于稀疏单位球实现细粒度物体运动控制，自适应确定每个渲染点的
      控制范围。
 * **扩散模型**：用图像扩散概率模型的基本原理，使用去噪U-Net架构生成视频，优化目标
   是最小化预测噪声与实际噪声之间的差异，条件输入包括参考图像和运动控制信号。

## Perception-as-Control的项目地址

 * **项目官网**：[https://chen-yingjie.github.io/projects/Perception-as-Control/](https://chen-yingjie.github.io/projects/Perception-as-Control/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/chen-yingjie/Perception-as-Control](https://github.com/chen-yingjie/Perception-as-Control)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.05020](https://arxiv.org/pdf/2501.05020)

## Perception-as-Control的应用场景

 * **电影和视频特效**：生成具有特定运动的动画场景，模仿现有视频中的复杂运动，或将
   一个角色的运动转移到另一个角色上。
 * **游戏开发**：为游戏角色和物体生成自然且可控的动画，提升游戏的沉浸感和动态效果。
 * **虚拟现实（VR）和增强现实（AR）**：在VR环境中生成实时动画反馈，增强用户互动体验；
   在AR应用中将虚拟物体动画与现实场景融合。
 * **广告和营销**：生成吸引人的动态广告和品牌推广动画，提升品牌形象和记忆点。
 * **教育和培训**：生成科学实验动画和技能培训模拟动画，帮助学生和学员更好地理解和
   掌握知识和技能。

❓ 常见问题解答（FAQ）

Perception-as-Control主要解决什么问题？

它主要解决图像动画中的细粒度运动控制问题。框架将相机运动和物体运动转化为可感知的
控制信号，并结合参考图像外观信息，生成更可控、更一致的动画结果。

Perception-as-Control支持哪些视频合成任务？

它支持基于图像的运动生成、基于视频的运动克隆、运动转移和运动编辑。用户可输入参考
图像、轨迹或分割掩码，实现不同类型的可控动画合成。

Perception-as-Control的核心技术亮点是什么？

核心亮点是3D感知运动表示、U-Net扩散生成框架、参考图像注入和三阶段训练策略。它通过
分离相机与物体控制信号，提升了复杂场景下的运动控制精度。

🔬 语宙深潜追问 · 进阶实操拆解

三阶段训练对动画控制有何价值？

它通常能把运动表示、控制信号和最终渲染分开优化，减少“能动但不听话”的问题。实战里
这类分阶段训练更利于稳定收敛，也方便单独调相机、物体和局部编辑能力。

如何把图像动画用于内容生产？

先把静态素材按镜头拆成可复用资产，再用相机运动、主体位移和局部编辑组合出短视频模板。
若要批量生产，建议建立风格库和动作库，减少每次都从零生成。

🗳️ 读者观点微投票 · 您的实战立场是？

图像动画最关键的是生成还是可控？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🎬 所属权威专题：AI 视频生成与影视工作流 →](https://paooo.com/topics/ai-video-generation/)

 * [Motion Prompting – 谷歌联合密歇根和布朗大学推出的运动轨迹控制视频生成模型](https://paooo.com/aigc-news/25050/)
 * [DreamVideo-2 – 复旦和阿里联合多机构推出的零样本视频定制生成框架](https://paooo.com/aigc-news/25954/)
 * [MotionCtrl – 腾讯等推出的视频生成模型的运动控制器](https://paooo.com/aigc-news/28349/)
 * [DragAnything – 快手联合浙大等机构开源的可控视频生成方法](https://paooo.com/aigc-news/21954/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22954/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
